Спор о кнопке длится две недели. Директор хочет «Купить», маркетолог — «Оставить заявку», дизайнер говорит, что оба варианта уродливые. В итоге решают голосованием в рабочем чате. А/Б-тестирование сайта существует именно для того, чтобы такие споры заканчивались за две недели цифрой, а не мнением того, кто громче. Проблема в другом: у большинства сайтов малого бизнеса трафика не хватает, чтобы эта цифра вообще появилась.
Поэтому разговор придётся начать не с инструментов, а с арифметики. Она отвечает на главный вопрос — можете вы себе позволить тест или вам нужен другой способ проверки.
Что происходит при тесте механически
Посетители случайным образом делятся на две группы. Первая видит текущую страницу, вторая — изменённую. Обе группы приходят из одних источников, в одно и то же время, при одинаковой рекламе и погоде. Дальше сравнивается доля тех, кто сделал целевое действие. Если разница достаточно велика при достаточном объёме данных, она признаётся не случайной.
Два слова здесь критичны: «достаточном» и «случайной». Конверсия скачет сама по себе. Если сегодня из ста человек заявку оставили трое, а завтра пятеро, это ещё не рост на 66% — это шум. Задача теста — отделить сигнал от шума, и для этого нужен объём. Без объёма вы получите не ответ, а красивую иллюзию ответа, на которую потом будете опираться месяцами.
Арифметика: сколько трафика нужно на самом деле
Практическое правило, которым я пользуюсь для прикидки: на каждый вариант нужно минимум около сотни целевых действий, а лучше две-три сотни. Отсюда считается нужный трафик: делим число конверсий на конверсию страницы и умножаем на два варианта.
| Конверсия страницы | Нужно визитов на вариант (при 100 конверсиях) | Всего визитов на тест | Срок при 1000 визитов в месяц |
|---|---|---|---|
| 0,5% | 20 000 | 40 000 | Больше трёх лет — тест невозможен |
| 1% | 10 000 | 20 000 | Около двадцати месяцев — невозможен |
| 2% | 5 000 | 10 000 | Около десяти месяцев — невозможен |
| 5% | 2 000 | 4 000 | Около четырёх месяцев — на грани |
| 10% | 1 000 | 2 000 | Около двух месяцев — реально |
| 20% | 500 | 1 000 | Около месяца — комфортно |
Это грубая прикидка, а не точный расчёт: реальный размер выборки зависит от того, какую разницу вы хотите заметить. Чем мельче ожидаемый эффект, тем больше данных нужно. Но порядок цифр она показывает честно, и вывод из неё неприятный: сайту с тысячей визитов в месяц и конверсией 2% классический А/Б-тест недоступен. Не «сложен», а именно недоступен — вы физически не наберёте данных до того, как поменяется сезон, реклама и сама страница.
Отсюда два честных пути. Первый: тестировать не мелочи, а крупные изменения, от которых ждёшь разницы в разы, — их видно на меньших выборках. Второй: пользоваться качественными методами вместо количественных, о них ниже.
Что стоит тестировать, а что бессмысленно
| Что меняем | Ожидаемый эффект | Стоит тестировать? |
|---|---|---|
| Оффер на первом экране: что именно вы предлагаете и за сколько | Крупный, иногда в разы | Да, это первое, что имеет смысл проверять |
| Число полей в форме заявки | Крупный: каждое лишнее поле отсекает часть людей | Да |
| Показывать цену или прятать за «уточняйте» | Крупный, но в обе стороны | Да, и результат часто противоречит ожиданиям |
| Формулировка кнопки: «Отправить» или «Получить расчёт» | Средний | Да, если трафика хватает |
| Порядок блоков на странице | Средний | Да, для длинных страниц |
| Фото: стоковое или реальное производство | Средний | Да, для услуг с недоверием |
| Цвет кнопки, оттенок фона, скругление углов | Микроскопический | Нет. Данных на такой эффект не хватит никогда |
| Шрифт заголовка | Микроскопический | Нет |
Правило простое: тестируйте то, что меняет смысл предложения, а не то, что меняет его оформление. Цвет кнопки стал символом А/Б-тестов, но для сайта с тысячей визитов это чистая трата времени. При этом слишком мелкий шрифт или низкий контраст надо не тестировать, а просто исправлять — здесь нечего проверять, это ошибка вёрстки, а не гипотеза.
Чем заменить тест, когда трафика нет
Это основной сценарий для малого бизнеса, и он не хуже — он просто другой. Количественные методы отвечают «какой вариант лучше», качественные — «почему людям неудобно». Второе для небольшого сайта часто полезнее.
- Наблюдение за живым человеком. Посадите пять человек не из своей сферы за компьютер и дайте задачу: найти цену и оставить заявку. Молчите и смотрите, где они застревают. Метод описан подробно в разборе юзабилити-теста за один вечер — он находит проблемы, которых не видно ни в одной цифре.
- Записи визитов и карты кликов. В Метрике видно, где люди дёргают мышкой, куда не доскролливают, на каком поле формы уходят.
- Вопрос тем, кто уже купил. Один звонок: «что вас чуть не остановило?». Три ответа подряд про одно и то же — это уже готовая гипотеза.
- Последовательное сравнение «до и после». Меняете страницу и сравниваете два равных периода. Метод слабый: сезон, реклама и погода вмешиваются. Но если вы переписали оффер целиком и заявок стало вдвое больше при том же трафике из тех же источников — это уже аргумент. Главное не выдавать такое сравнение за настоящий тест.
- Разбор технических тормозов. Прежде чем тестировать формулировки, проверьте базовое — от скорости до битых форм. Это дешевле любых гипотез: с чего начать, я описал в материале о том, как проверить качество сайта.
Инструменты: что есть и чем они различаются
| Инструмент | Как работает | Кому подходит |
|---|---|---|
| Varioqub от Яндекса | Бесплатный сервис А/Б-экспериментов от Яндекса, связывается со счётчиком Метрики, делит трафик и считает значимость | Основной вариант для сайтов с российской аудиторией |
| Встроенные тесты в CMS или конструкторе | Подмена блоков средствами платформы | Быстро, если платформа умеет; ограничено её возможностями |
| Своими руками через скрипт | Скрипт делит посетителей и отправляет отметку в Метрику как параметр визита | Тем, у кого есть разработчик; полный контроль, но выше риск ошибок |
| Две отдельные страницы плюс реклама | Два лендинга, трафик из Директа делится между ними пополам | Самый доступный вариант для проверки оффера, но органика в тесте не участвует |
Отдельно замечу: Google Optimize, который раньше был бесплатным стандартом, закрыт, и статьи, которые его советуют, устарели. Проверяйте дату у любой инструкции по тестированию.
Порядок действий: тест, который не развалится
- Посчитайте, хватает ли трафика, по таблице выше. Если не хватает — не начинайте, идите в качественные методы.
- Сформулируйте гипотезу одним предложением с ожидаемым эффектом: «если убрать из формы поле про отчество и город, заявок станет больше, потому что люди не хотят диктовать лишнее».
- Выберите одну цель — отправленную заявку или звонок, а не клик по кнопке. Клик легко вырастет, а заявок не прибавится.
- Меняйте одну вещь. Если поменять три, вы узнаете, что стало лучше, но не узнаете, от чего.
- Зафиксируйте срок заранее — минимум две полные недели, чтобы попали все дни недели. И не смотрите результат каждый день с желанием остановить: раннее подглядывание — главная причина ложных выводов.
- Не меняйте ничего другого во время теста: ни рекламу, ни цены, ни ассортимент.
- Смотрите результат отдельно по мобильным и по компьютерам. Вариант часто выигрывает на одном устройстве и проигрывает на другом.
- Зафиксируйте итог письменно — гипотеза, цифры, решение. Через полгода никто не вспомнит, почему кнопка стала такой.
SEO-риски, о которых обычно не предупреждают
Тест меняет то, что видят посетители, — а значит, потенциально и то, что видит поисковый робот. Четыре вещи, которые надо держать под контролем:
- Роботу не должно достаться что-то принципиально иное. Если варианты различаются формулировкой кнопки — проблем нет. Если один вариант — это другая страница с другим текстом на другом адресе, нужен канонический адрес, указывающий на основную версию.
- Тест не должен жить вечно. Постоянно работающий сплит — это уже не эксперимент, а два разных сайта. Закончили — выключайте и оставляйте один вариант.
- Скрипт теста не должен тормозить первый экран. Подмена контента после загрузки даёт мигание, а оно портит и впечатление, и показатели стабильности вёрстки.
- Проверьте, что страницы остались в индексе. После любых манипуляций с адресами и редиректами стоит сверить, что нужные страницы видны поиску — как проверить индексацию в Яндексе, я описывал отдельно.
И общий момент: тестирование конверсии не заменяет базовую оптимизацию. Если страница не в топе, тестировать на ней нечего — трафика не будет ни на один вариант. Сначала видимость, потом конверсия; именно в такой последовательности я выстраиваю работу, когда берусь за продвижение сайта в поиске под заявки, а не под позиции в отчёте. Полезно перед тестами пройтись и по базовым пунктам — что именно смотреть, я собрал в статье о проверке сайта на SEO для владельца бизнеса.
Коротко
- А/Б-тест делит трафик между двумя вариантами и сравнивает конверсию. Работает только на достаточном объёме данных.
- Сайту с тысячей визитов в месяц и конверсией 2% классический тест недоступен: нужны месяцы.
- Тестировать имеет смысл сам смысл предложения — оффер, цену, число полей формы. Цвет кнопки и шрифт — нет.
- При малом трафике работают качественные методы: наблюдение за живым человеком, записи визитов, звонки покупателям.
- «До и после» — не тест: в него вмешиваются сезон и реклама. Но как аргумент при крупном изменении годится.
- Цель теста — заявка или звонок, а не клик по кнопке.
- Одно изменение за раз, срок фиксируется заранее, результат смотрится отдельно по устройствам.
- Постоянно работающий сплит — риск для поиска. Закончили — выключайте.
Вопросы и ответы
Сколько должен идти тест?
Минимум две полные недели, даже если нужный объём набрался быстрее: иначе в выборку попадут не все дни недели, а поведение в субботу и в среду разное. Верхний предел — примерно месяц-полтора. Дольше начинает вмешиваться сезонность, и тест теряет чистоту.
Можно ли считать результат самому, без калькулятора значимости?
Лучше не на глаз. Разница «3,1% против 2,7%» при паре сотен визитов не значит ничего, и это ровно та ловушка, в которую попадают чаще всего. Инструменты тестирования считают значимость сами, а для самодельных тестов есть бесплатные онлайн-калькуляторы.
Что делать, если тест не выявил разницы?
Это нормальный и полезный результат: он говорит, что изменение не влияет, и можно перестать о нём спорить. Плохо другое — трактовать отсутствие разницы как «надо было тестировать ещё месяц». Если эффекта нет на нормальной выборке, берите следующую гипотезу, и лучше более смелую.
Стоит ли тестировать, если сайт сам по себе сырой?
Нет. На сайте, где форма отваливается на мобильных, а страница грузится семь секунд, любые тесты измеряют силу этих поломок, а не ваши гипотезы. Сначала техническая часть и базовая проверка — это обычная доработка сайта, и она почти всегда даёт больше, чем тест формулировок. Если не очевидно, с чего начать, помогает внешний взгляд — разбор сайта с приоритетами.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
Комментарии
Антон
У нас 800 визитов в месяц, конверсия около 3%. По таблице выходит, что тест невозможен. И что, вообще ничего не проверять?
Анатолий Кузнецов автор
Проверять, но не сплитом. При 800 визитах я бы взял пять живых людей, дал им задачу оформить заявку и посмотрел, где они спотыкаются. Это даёт три-четыре конкретные поломки за вечер. Плюс посмотрел бы записи визитов на форме. А сплит отложил бы до момента, когда трафик вырастет в разы.
Лариса
Запустили тест, через четыре дня вариант Б выигрывал на 40%, обрадовались и внедрили. Через месяц заявок стало меньше, чем было. Теперь понимаю, что это было «подглядывание».
Анатолий Кузнецов автор
Классическая история, и она случается почти со всеми в первый раз. На малых числах разрыв в 40% возникает сам собой и так же сам исчезает. Единственная защита — назначить срок и объём заранее и не трогать до конца, как бы ни хотелось.
Сергей П.
Спорно про цвет кнопки. Везде пишут, что это самый популярный тест и он даёт результат.
Анатолий Кузнецов автор
Он популярен потому, что его легко поставить, а не потому, что он полезен. На огромных сайтах с миллионами визитов такие мелочи действительно измеримы. На сайте малого бизнеса эффект от цвета тонет в шуме — вы его не увидите даже если он есть. Контраст и заметность кнопки при этом важны, но это вопрос вёрстки, а не теста.
Евгений
Убрали из формы три поля из шести. Заявок стало больше, но качество упало: звонят люди, которым просто интересно. Так что «меньше полей» не всегда лучше.
Дарья
А как тестировать, если основной трафик из органики и нельзя просто разделить рекламу на два лендинга?
Анатолий Кузнецов автор
Тогда нужен сервис, который делит трафик на одном адресе, — вариант с двумя лендингами тут не подойдёт. Ставите инструмент экспериментов, он подменяет блок на той же странице и отмечает, кто какой вариант увидел. Для поиска адрес остаётся один, никаких дублей не появляется.
Максим
Вопрос про цель: мы считаем успехом клик по кнопке «Позвонить». Это неправильно?
Анатолий Кузнецов автор
Как промежуточный показатель — можно, как цель теста — плохо. Клик по номеру не равен состоявшемуся разговору: человек может нажать случайно, передумать, не дождаться ответа. Если звонки для вас основной канал, цель должна считаться на стороне телефонии, иначе вы будете оптимизировать нажатия, а не продажи.
Инна
Полезно про «смотрите отдельно по устройствам». У нас новый первый экран выиграл на компьютерах и заметно проиграл на телефонах — в общем итоге ничья, и мы бы просто закрыли тест как неудачный.
Руслан
А если тест показал цену выгоднее скрывать — стоит ли на это идти? Интуитивно кажется, что скрытая цена отталкивает.
Ольга К.
Записала гипотезы письменно, как советуете. Через полгода реально пригодилось: пришёл новый подрядчик и предложил ровно то, что мы уже проверяли и отбросили.
Артур
Не знал, что Optimize закрыли. Полгода читал инструкции и не мог понять, почему не нахожу его в интерфейсе.
Вера
Пять человек за вечер — это правда работает. Двое из пяти не нашли у нас телефон, хотя он есть в шапке. Никакой тест бы этого не показал.
Глеб
Подскажите, можно ли одновременно вести два теста на разных страницах сайта? Или они будут мешать друг другу?