A/B-тестирование: что это, как провести и сколько нужно трафика

A/B-тестирование (а/б тест, сплит-тест) — это сравнение двух вариантов страницы, объявления или письма на живых людях: аудиторию случайно делят пополам, одной половине показывают вариант A, другой вариант B, и смотрят, где больше заявок или покупок. Решение принимает цифра, а не вкус. Подвох в объёме: чтобы заметить прирост в 20% при конверсии 3% (3 заявки на 100 визитов), нужно около 14 000 посетителей на каждый вариант.

Данные в статье актуальны на октябрь 2026 года. Разберём, как устроен тест и как его провести в Google Ads и на сайте. И отдельно ответим на вопрос, важный для небольшого бизнеса: при каком трафике A/B-тест вообще имеет смысл и что делать, если столько посетителей нет.

Что такое A/B-тест простыми словами?

Допустим, вы не знаете, какой заголовок лучше продаёт: «Ремонт iPhone за 30 минут» или «Ремонт iPhone с гарантией 1 год». Можно спросить коллег, можно поверить дизайнеру. A/B-тест предлагает третий путь: показать оба заголовка реальным людям в одно и то же время и посчитать, после какого из них чаще оставляют заявку.

Три обязательных условия, без которых это уже не тест:

1. Случайное деление. Кто увидит A, а кто B, решает жребий. Если вариант A показывали утром, а B вечером, вы сравниваете время суток, а не заголовки.
2. Одновременность. Оба варианта работают параллельно. Сравнение «в сентябре было так, в октябре поменяли» ломается о сезонность, акции конкурентов и погоду.
3. Одна цель, выбранная заранее. До запуска решите, что считаете победой: заявки, покупки, звонки. Если после теста начать искать хоть какую-то метрику, где B лучше, вы её найдёте, и она будет случайной.

Вариант A называют контрольным: это то, что работает сейчас. Вариант B называют тестовым. Конверсия здесь означает долю посетителей, которые сделали целевое действие: 3 заявки на 100 визитов дают конверсию 3%. Подробно о ней мы писали в разборе что такое конверсия.

Зачем бизнесу A/B-тесты, если есть опыт и интуиция?

Потому что интуиция ошибается чаще, чем кажется, и это хорошо видно у тех, кто тестирует больше всех. Рон Кохави, руководивший командой экспериментов в Microsoft, вместе с профессором Гарвардской школы бизнеса Стефаном Томке описал в Harvard Business Review (сентябрь–октябрь 2017) такую картину: в Google и Bing положительный результат дают лишь 10–20% экспериментов. В Microsoft в целом треть идей срабатывает, треть ничего не меняет, а треть делает хуже.

Там же история, которую стоит знать каждому, кто платит за рекламу. В 2012 году сотрудник Bing предложил немного изменить то, как показываются заголовки объявлений. Руководители сочли идею второстепенной, и она пролежала в очереди больше полугода. Когда её наконец проверили тестом, выручка выросла на 12%. По оценке авторов, это больше $100 млн в год только в США, самая прибыльная идея в истории Bing.

Если в компаниях с тысячами аналитиков большинство «очевидно хороших» идей не работает, ваши тоже не обязаны работать. Тест защищает от двух дорогих ошибок: внедрить изменение, которое тихо снижает продажи, и отказаться от идеи, которая могла их поднять.

Сколько трафика нужно для A/B-теста?

Ответ на него обычно неприятный. Чем меньше разница между вариантами и чем ниже исходная конверсия, тем больше людей нужно, чтобы отличить реальный эффект от случайного везения.

Мы посчитали по стандартной формуле сравнения двух долей. Условия расчёта: уверенность 95% (шанс принять случайность за победу не выше 5%) и мощность 80% (если эффект реально есть, тест заметит его в 8 случаях из 10). В таблице посетители на один вариант, на два нужно вдвое больше.

Прирост здесь относительный: «+20% при конверсии 3%» означает рост с 3% до 3,6%.

Теперь переведём в календарь. Сайт с конверсией 3% и 300 визитами в день хочет проверить, даст ли новая форма заявки +20%. Нужно около 27 800 визитов на оба варианта, то есть примерно 93 дня. За три месяца успеют смениться сезон, цены конкурентов и половина рекламных настроек, и чистого сравнения уже не будет.

А если этот трафик покупать? При условной цене клика $0,50 (≈ 226 ₸, ≈ 40 ₽ по курсам на 25 октября) те же 27 800 визитов стоят около $13 900. Для небольшого бизнеса это заметная часть рекламного бюджета, а то и весь он. Кохави и Томке в той же статье пишут, что такие тесты может проводить любая компания, у которой есть хотя бы несколько тысяч активных пользователей в день. У многих небольших сайтов их нет, и это нормально. Значит, тестировать нужно по-другому.

Что тестировать, если трафика мало?

Посмотрите на последнюю колонку таблицы: при приросте +50% нужного трафика в 5–6 раз меньше, чем при +20%. Отсюда главное правило для небольшого бизнеса: тестируйте большие различия, а не оттенки кнопки. Мелкая правка даёт мелкий эффект, а мелкий эффект на маленьком трафике не измерить ничем.

Что обычно даёт заметную разницу:

Не стоит тратить трафик на цвет кнопки, шрифт, порядок пунктов в меню. Даже если эффект есть, он в пределах нескольких процентов, и вы просто не наберёте выборку.

Второе правило: выбирайте метрику ближе к началу воронки, если до продаж далеко. Кликов по объявлению больше, чем заявок, поэтому тест на CTR набирает статистику быстрее. CTR (кликабельность) показывает, какая доля увидевших объявление по нему кликнула; подробнее в разборе что такое CTR. Но помните: клик ещё не деньги. Заголовок с громким обещанием может собрать больше кликов и меньше заявок.

Третье: если трафика совсем мало, тест не нужен. При 30 визитах в день полезнее посмотреть записи сессий (видео того, как люди ведут себя на сайте), позвонить пяти последним клиентам и спросить, что их чуть не остановило. Статистикой это не назовёшь, зато вы узнаете о клиенте то, чего не покажет ни один счётчик, и бесплатно.

Как провести A/B-тест в Google Ads?

В Google Ads для этого есть встроенный инструмент «Эксперименты» (Кампании → Эксперименты). Сторонние сервисы не нужны: система сама делит трафик и считает значимость.

1. Выберите, что проверяете

   Одна гипотеза на эксперимент: стратегия ставок, новые заголовки, другая посадочная страница. Если поменять три вещи сразу, вы не узнаете, какая сработала.

2. Создайте эксперимент

   Google Ads копирует исходную кампанию в тестовую часть, где вы вносите изменение. Исходная кампания остаётся контрольной.

3. Задайте долю бюджета

   Вы выбираете, какая часть бюджета исходной кампании уйдёт на эксперимент, а Google делит её поровну между контрольной и тестовой частью.

4. Выберите способ деления

   Для поисковых кампаний доступно деление по cookie (небольшому файлу в браузере, по которому система узнаёт вернувшегося человека) или по поисковым запросам. Для проверки посадочной страницы мы советуем cookie: человек видит одну и ту же версию при повторных заходах.

5. Дождитесь результата

   Google советует держать эксперимент 2–3 недели. Значимый результат отмечается синей звёздочкой.

6. Примените или откажитесь

   Если тестовая часть выиграла, изменения можно применить к исходной кампании или превратить тестовую часть в новую кампанию.

Важные ограничения из справки Google Ads на октябрь 2026:

• Эксперименты доступны для поисковых, медийных, видео- и гостиничных кампаний. Для товарных кампаний и кампаний приложений этот тип экспериментов недоступен.
• Одновременно работает один эксперимент, запланировать можно до пяти.
• По умолчанию интерфейс показывает уверенность 80%. Это мягче привычных 95%: если реальной разницы между вариантами нет, такая проверка примерно в одном случае из пяти всё равно объявит победителя. Для решений, которые стоят денег, переключите уровень на 95% и будьте готовы ждать дольше. По нашему расчёту для конверсии 3% и прироста 20% переход с 80% на 95% увеличивает нужную выборку примерно с 8 000 до 14 000 посетителей на вариант.
• Автоприменение можно настроить двумя способами: по «направлению» результата или только при статистической значимости. Выбирайте второе, иначе система может внедрить случайного победителя.

Для объявлений внутри одной группы проще: адаптивное объявление само крутит заголовки и показывает, какие работают чаще. Чистым тестом это назвать нельзя: система сама решает, какие сочетания показывать чаще, но для подбора формулировок обычно хватает.

Как провести A/B-тест посадочной страницы?

Посадочная страница (лендинг) — это страница, куда человек попадает по клику на рекламу; о ней подробно в разборе что такое лендинг. Её можно тестировать двумя путями.

Через Google Ads. Создайте две версии страницы с разными адресами, например /remont и /remont-b. В эксперименте замените в тестовой части конечный адрес объявлений на второй. Трафик разделит Google Ads, конверсии он уже считает. Способ бесплатный и хорошо подходит тем, кто получает основной трафик из рекламы.

Через сервис тестирования на сайте. Бесплатный Google Optimize, которым многие пользовались для этого, закрыт с 30 сентября 2023 года. Теперь это платные сервисы или самописный код, который случайно показывает одну из версий и передаёт вариант в аналитику. Если идёте этим путём, проверьте, что вариант пишется в Google Analytics отдельным параметром, иначе сравнивать будет нечего.

Три технические ловушки, которые портят тест посадочной страницы:

1. Мигание. Скрипт подменяет страницу после загрузки, и человек на долю секунды видит вариант A, а потом B. Это искажает результат: тестовая версия может проиграть из-за мигания, а не из-за содержания.
2. Разная скорость. Если версия B тяжелее и грузится на секунду дольше, выиграет более быстрая страница, и дизайн тут ни при чём.
3. Дубли для поисковиков. Тестовой версии нужен тег canonical (подсказка поисковику, какая из двух страниц главная) на основную страницу, чтобы поисковик не посчитал их копиями.

Как понять, что результат A/B-теста настоящий?

Статистическая значимость — это мера того, насколько маловероятно получить такую разницу случайно, если варианты на самом деле одинаковы. Уверенность 95% означает: если бы разницы не было, такой результат выпадал бы не чаще чем в 1 случае из 20.

Перед тем как внедрять победителя, проверьте пять пунктов:

1. Выборка набрана целиком, как считали до запуска. Остановка на середине обесценивает результат.
2. Тест шёл полными неделями. В понедельник и в субботу покупают разные люди. Мы советуем минимум 7 дней, лучше 14.
3. Деление было ровным. Если запланировали 50 на 50, а получили 60 на 40, где-то сломалось разделение, и результату нельзя верить.
4. Ничего не меняли по ходу. Новая акция, поднятые ставки, правка сайта во время теста смешивают эффекты.
5. Победа видна в деньгах. Вариант с большим числом заявок, но более дешёвыми или нецелевыми клиентами, может проиграть по выручке.

Какие ошибки делают в A/B-тестах чаще всего?

Тестируют без гипотезы. «Давайте попробуем другую картинку» не гипотеза. Гипотеза звучит так: «Клиенты боятся скрытых доплат, поэтому цена „под ключ“ в заголовке даст больше заявок». Если тест проиграл, вы всё равно узнали что-то о клиенте.

Подглядывают и останавливают. Именно так чаще всего получают ложного победителя. Каждый лишний взгляд с готовностью остановить тест повышает шанс поймать ложного победителя.

Тестируют сразу всё. Пять изменений на одной странице дают ответ «новая страница лучше» или «хуже», но не объясняют почему. Это допустимо, если вы проверяете две концепции целиком, и бесполезно, если хотите понять, что именно сработало.

Считают не то. Тест на клики выиграл, а заявки упали. Метрика победы должна быть как можно ближе к деньгам, насколько позволяет трафик.

Бросают после первого провала. По данным Кохави и Томке, даже в Google большинство экспериментов не дают положительного результата. Проигравший тест сэкономил вам деньги, которые ушли бы на внедрение плохой идеи.

Если тестов уже было много, а заявок не прибавилось, проблема может сидеть раньше страницы: в трафике, настройке рекламы или отслеживании. Типовые причины мы разобрали в статье трафик есть, заявок нет.

Наш подход: тест как часть работы с рекламой

В Lab Leaders мы ведём Google Ads вместе с AI-агентами, и у них есть одна сильная сторона в тестах: они быстро готовят варианты. Двадцать заголовков агент выдаёт за минуту. Выбрать из них два по-настоящему разных, прикинуть, хватит ли трафика, и дождаться честного результата уже сложнее. Эту часть мы оставляем за человеком.

Порядок, который мы считаем рабочим для небольшого рекламного бюджета:

1. Сначала навести порядок в отслеживании конверсий. Без него любой тест показывает шум.
2. Затем проверить крупные гипотезы через «Эксперименты» Google Ads: стратегию ставок, предложение, посадочную страницу.
3. Мелкие формулировки отдать адаптивным объявлениям, которые подбирают их сами.
4. Тесты кнопок и оттенков оставить на тот момент, когда трафика станет в десятки раз больше.

Какие тесты имеют смысл на вашем трафике и бюджете, можно разобрать на консультации.