Как уменьшить роботность в Яндекс.Метрике: пошаговое руководство

Как уменьшить роботность в Яндекс.Метрике — задача, которую почти всегда начинают решать не с того конца: с попытки перекрыть ботам доступ на сайт. На практике порядок обратный. Сначала роботные визиты выводят из отчётов, по которым принимаются решения, потом отсекают собственный служебный трафик, потом ищут конкретный источник потока и только в последнюю очередь трогают сервер. Такой порядок экономит недели и не создаёт новых проблем — а блокировки наугад создают их регулярно.

В SEO я с 2005 года, и запрос «снизить роботность» приходит на консультации в двух видах. Первый: доля роботов держится месяцами на одном уровне и мешает считать конверсию. Второй: доля скакнула за неделю, и надо понять, что произошло. Лечатся они по-разному, но начинаются с одного и того же — с фиксации исходных цифр. Механику самой классификации я разбирал отдельно, здесь только действия и проверка результата.

С чего начать: снять базовую линию

Любая работа с роботностью бессмысленна без точки отсчёта, потому что данные задним числом не пересчитываются. Любая правка настроек влияет только на будущие визиты, и если исходные цифры не записаны, через месяц вы не сможете доказать даже самому себе, что что-то изменилось.

Базовая линия снимается за полчаса. Возьмите период в четыре недели и выпишите следующие срезы — не в память, а в таблицу, к которой вернётесь через месяц.

Что снять	Где смотреть	Зачем эта цифра нужна
Общая доля роботных визитов	Отчёт по роботам в группе «Мониторинг»	Точка отсчёта для всей работы
Разбивка: строгие правила и поведение	Там же, разбивка по способу определения	Показывает, с каким типом трафика имеете дело
Роботность по источникам	Сегмент роботов на отчёте по источникам	Выявляет виновную кампанию или площадку
Роботность по страницам входа	Сегмент роботов на отчёте по страницам входа	Показывает, что именно парсят
Роботность по устройствам и браузерам	Сегмент роботов на технических отчётах	Однообразие выдаёт машины
Конверсия отдельно по людям	Отчёт по целям с переключателем на людей	Контрольная метрика: она не должна упасть
Переходы из поиска в Вебмастере	Статистика запросов за тот же период	Независимый источник, счётчиком не считается

Последняя строка — самая недооценённая. Вебмастер считает клики из поиска на своей стороне и о вашем счётчике ничего не знает. Если после всех работ органика в Вебмастере на месте, а в Метрике визитов из поиска стало меньше, вы не убрали ботов — вы перестали видеть часть живых людей.

Шаг 1. Настроить фильтрацию в счётчике и больше её не трогать

Самое дешёвое действие, которое даёт самый заметный сдвиг в отчётах. В настройках счётчика есть выбор режима фильтрации роботов: только по строгим правилам либо по строгим правилам и поведению сразу. Второй вариант убирает из отчётов больше визитов, в том числе часть настоящих людей с нестандартным поведением.

Правильный выбор зависит от того, зачем вам цифры.

• Фильтрация по строгим правилам подходит, если вы отслеживаете абсолютную посещаемость и вам важнее не потерять живых. Ошибок в эту сторону почти нет: под строгие правила попадают только явные краулеры с узнаваемой подписью.
• Фильтрация по правилам и поведению подходит, если вы считаете конверсию и принимаете решения по рекламе. Здесь важнее чистый знаменатель, чем полнота охвата.

Что действительно критично — не выбор, а постоянство. Каждое переключение этого тумблера рвёт сравнимость данных: отчёт за прошлый месяц построен по одним правилам, за текущий — по другим, и любое сравнение периодов после этого недостоверно. Переключите один раз, запишите дату в тот же документ с базовой линией и не возвращайтесь к нему год.

И сразу уберите главный источник самообмана: проверьте, в каком положении стоит переключатель аудитории в шапке отчётов, которыми вы пользуетесь ежедневно. Отчёт «люди и роботы» против отчёта «только люди» даёт разницу, которую владельцы регулярно принимают за обвал трафика.

Тему разбирал отдельно: «Нулевые заходы на сайт в Яндекс Метрике».

Шаг 2. Отсечь свой и служебный трафик

На небольших сайтах это вторая по величине примесь после рекламы, и она полностью в вашей власти. Речь не только о собственных заходах: сюда же попадает всё, что регулярно дёргает сайт по расписанию и с одинаковым сценарием — а именно такой профиль классификатор и считает машинным.

1. Свои визиты и визиты подрядчиков. В настройках счётчика есть фильтры по адресу. Если адрес динамический, используйте метку в ссылке: заходите на сайт со специальным параметром и настройте фильтр по нему. Отдельно проверьте, не открыт ли у вас сайт в закреплённой вкладке, которая грузится при каждом старте браузера, — такой визит без реферера каждое утро в одно время выглядит идеально роботным.
2. Сервисы мониторинга доступности. Они стучатся на главную каждую минуту. Настройте их на служебный адрес без счётчика или на проверку по коду ответа, а не по загрузке страницы.
3. Дашборды и телевизоры в офисе. Страница, открытая на постоянно работающем экране с автообновлением, генерирует поток одинаковых визитов.
4. Тестовые прогоны и разработка. Счётчик на копии сайта, в staging-версии или в автотестах даёт машинные визиты с идеальной повторяемостью. Счётчик должен подключаться только на боевом домене.
5. Внутренние проверки позиций и ссылок. Скрипты, которые ежедневно обходят собственный сайт для сверки заголовков или битых ссылок, попадают в ту же категорию.

Проверить, что фильтр сработал, можно через сутки: постройте сегмент по своему адресу или метке и убедитесь, что визитов там ноль. Если фильтр настроен, но визиты идут, почти всегда причина в том, что адрес сменился или метка не подставляется автоматически.

Шаг 3. Найти источник потока

Помогу с продвижением: продвижение сайтов белыми методами — вывожу сайты в топ Яндекса белыми методами.

Дальше начинается диагностика, и здесь важно не смотреть на общую цифру. Средняя роботность по сайту почти всегда неоднородна: она отличается в разы между разделами, между мобильным и десктопным трафиком, между источниками. Общая средняя маскирует и реальную проблему, и ложное срабатывание.

Порядок сегментации от самого частого к самому редкому — идти сверху вниз и останавливаться, как только картина сошлась.

Про выделенный IP и его влияние на продвижение:

Разрез	Что вы увидите при попадании	Куда это ведёт
По источникам трафика	Роботность сконцентрирована в одной кампании или в переходах с сайтов	Шаг 4: чистка рекламных площадок
По страницам входа	Поток идёт на каталог, карточки товара или страницы с ценами	Шаг 5: ограничение парсеров
По времени суток	Ровная полка без ночного провала	Машинный трафик, разбор по адресам в логах
По устройствам и браузерам	Одна-две комбинации на весь поток	Признак ботнета или одного скрипта
По регионам	Всплеск из региона, где у вас нет ни клиентов, ни рекламы	Внешний парсинг или накрутка
По достижению целей	Роботные визиты с реальными заявками	Ложное срабатывание, трогать сервер нельзя
По дате начала всплеска	Точная дата совпадает с событием на сайте	Правка кода счётчика, переезд, новый скрипт

2:14

Самая важная строка — предпоследняя. Прежде чем что-либо блокировать, постройте сегмент роботных визитов с достигнутой целью. Если в нём есть отправленные формы, по которым вы реально перезванивали, значит, классификатор помечает живых людей, и любая блокировка на сервере ударит по клиентам. В этом случае работа заканчивается на шаге 1: вы настраиваете отчёты и живёте дальше.

Для больших сайтов удобнее не кликать по сегментам, а выгрузить сырые визиты через Logs API и разобрать их у себя: по адресам, по сессиям, по последовательности страниц. Агрегированные отчёты усредняют, а выгрузка показывает, что тысяча «визитов» — это один скрипт, обходящий каталог по порядку.

Смежный материал по теме — «Яндекс роботность».

Шаг 4. Почистить рекламные источники

Если роботность сконцентрирована в платном трафике, это самая быстрая победа: она не требует ни разработчика, ни доступа к серверу, и попутно возвращает часть рекламного бюджета.

• Разделите поиск и сети в разные кампании. Пока они смешаны, вы не видите, откуда идёт мусор, и режете вслепую. Это первое действие, всё остальное после него.
• Постройте сегмент роботов по площадкам сети. Обычно виновных единицы: несколько площадок дают основную долю потока. Отключение занимает минуту.
• Отключите инвентарь мобильных приложений, если у вас услуга, а не массовый товар. Случайные касания по баннеру в игре дают визит длиной в секунду без единого действия — идеальный портрет робота.
• Проверьте партнёрские и мотивированные источники. Любое размещение, где исполнителю платят за переходы, рано или поздно даёт накрутку переходов.
• Сузьте географию и часы показа до тех, где у вас есть клиенты и есть кому отвечать. Значительная доля мусорного трафика приходит из регионов, которые вы никогда не собирались охватывать.

Есть и обратный эффект, о котором стоит знать заранее. Роботные визиты, приходящие с рекламы, портят не только отчёты — они портят обучение автоматических стратегий, потому что алгоритм получает искажённую картину того, кто на вашем сайте ведёт себя «хорошо». Чистка площадок улучшает не только статистику, но и работу кампании.

Шаг 5. Ограничить парсеры на стороне сервера

К этому шагу переходят только после того, как диагностика показала машинный трафик, а не ложное срабатывание. Здесь появляется риск: любая грубая мера отрезает вместе с ботами реальных людей, а вы этого не заметите, потому что «роботность снизилась» и график выглядит красиво.

Мера	Что убирает	Чем рискуете
Ограничение числа запросов с одного адреса в минуту	Основную массу прайс-парсеров и сканеров	Почти ничем, если порог выше поведения живого человека
Правила для известных краулеров в robots.txt	Только вежливых ботов, которые его читают	Ничем, но и эффект ограниченный
Блокировка по строке user-agent	Ботов, которые честно представляются	Легко обходится подменой, ловит мало
Ограничение доступа к тяжёлым разделам	Обход каталога и фильтров по всем комбинациям	Можно случайно закрыть страницы от поисковых роботов
Защитный слой перед сайтом с проверкой браузера	Массовый автоматический трафик	Часть людей получает проверку и уходит
Блокировка подсетей целиком	Конкретный источник атаки	Крайняя мера: под неё попадают клиенты мобильных операторов

Три практических правила для этого шага. Первое: начинайте с ограничения частоты, а не с блокировок — оно снимает большую часть нагрузки и почти не задевает людей. Второе: любую блокировку вводите на неделю и сверяйте не только роботность, но и число обращений от людей; если обращения просели, снимайте немедленно. Третье: никогда не закрывайте доступ роботам поисковых систем — проверьте список исключений до того, как правило заработает, иначе через месяц вы будете разбираться уже не с роботностью, а с выпадением страниц из индекса.

Шаг 6. Защитить формы и точки входа

Если нужна помощь по теме — мой курс по SEO.

Отдельная категория — боты, которые не просто листают страницы, а взаимодействуют: отправляют формы, перебирают пароли, оставляют комментарии. Они дают немного визитов, но много вреда, потому что фальшивые заявки засчитываются как достижение цели и портят и статистику, и обучение рекламных стратегий.

1. Скрытое поле-ловушка. Невидимое для человека поле, которое автоматический скрипт заполняет. Заявка с заполненным полем отбрасывается на сервере. Работает против большинства простых ботов, ничего не весит и не мешает живым людям.
2. Проверка времени заполнения. Форма, отправленная быстрее пары секунд после загрузки страницы, заполнена не человеком.
3. Ограничение частоты отправок с одного адреса и с одного номера телефона. Простое серверное правило, снимающее массовые прогоны.
4. Серверная проверка полей. Формат телефона, длина сообщения, наличие ссылок в тексте — типовой спам отсеивается по формальным признакам.
5. Капча — в последнюю очередь и осознанно. Внешние сервисы проверки заметно утяжеляют страницу и добавляют долю отказов среди живых посетителей. Ставить их имеет смысл только тогда, когда предыдущие четыре меры не справились, и лучше не на всех формах, а на самой атакуемой.

Проверяйте результат не по числу спама в почте, а по отчёту целей: постройте сегмент визитов с достижением цели и посмотрите на их длительность и глубину. Достижения цели в визитах длиной в секунду — это то, что вы только что должны были убрать.

Если нужны детали, смотрите «Отказы 78%? Яндекс уже понизил вас — но не сообщил об этом ни в Метрике, ни в Вебмастере».

Как проверять результат и через какой срок

Главное свойство этой работы: она не даёт мгновенного отклика и не переписывает прошлое. Изменения настроек влияют только на визиты, собранные после правки, поэтому сравнивать надо будущие недели с базовой линией, а не смотреть на график в тот же вечер.

Когда проверять	Что должно измениться	Что должно остаться прежним
Через сутки	Свои визиты и визиты подрядчиков исчезли из сегмента	Число обращений от людей
Через неделю	Доля роботности в проблемном источнике заметно ниже	Переходы из поиска в Вебмастере
Через две недели	Ушли достижения целей в сверхкоротких визитах	Конверсия по сегменту людей
Через месяц	Общая доля роботных визитов ниже базовой линии	Выручка и число сделок
Через квартал	Доля держится ровно, без новых всплесков	Скорость индексации новых страниц

Обратите внимание на правый столбец: он важнее левого. Снижение роботности само по себе не цель — цель в том, чтобы цифры, по которым вы принимаете решения, описывали реальных людей. Если доля роботов упала, а вместе с ней упали обращения и переходы из поиска, работа сделана во вред, и правки надо откатывать.

И держите в голове разницу между уровнем и событием. Доля в тридцать процентов, стабильная месяцами, — это свойство сайта, интересного парсерам, и жить с ней можно. Доля в двенадцать процентов, скакнувшая с трёх за неделю, — это событие с конкретной причиной, и её надо найти. Первое лечится настройкой отчётов, второе — поиском источника.

Ошибки, которые сводят всю работу на нет

• Блокировать подсети наугад. Роботность после этого падает — вместе с частью живых клиентов мобильных операторов, которых вы больше не увидите в отчётах, потому что они не заходят.
• Сравнивать периоды с разным положением переключателя аудитории. Половина «падений трафика» — это отчёт за прошлый месяц по всем визитам против отчёта за текущий только по людям.
• Ставить второй счётчик того же сервиса «для проверки». Он классифицирует визиты по тем же правилам и покажет ровно то же самое, только нагрузит страницу.
• Пытаться пересчитать историю. Собранные визиты задним числом не переклассифицируются. Все правки работают только вперёд.
• Стремиться к нулю. Полностью убрать машинные визиты нельзя: поисковые краулеры, мониторинги, предпросмотры ссылок в мессенджерах — это фоновый уровень, который есть у всех.
• Менять сразу всё. Если в один день переключили фильтрацию, отключили площадки и поставили ограничение на сервере, вы не узнаете, что именно сработало, и не сможете откатить нужное.
• Игнорировать всплеск, потому что заявки идут. Заявки — запаздывающий показатель. Массовый парсинг цен конкурентом сегодня превращается в потерю маржи через месяц.

Частые вопросы

С чего начать, если времени совсем мало? С двух действий: выставить режим фильтрации и не трогать его больше, и отсечь свои визиты и мониторинги. Вместе это занимает час и снимает основную часть примеси на небольших сайтах. Всё остальное имеет смысл только при подтверждённом машинном потоке.

Robots.txt снижает роботность в отчётах? Слабо. Его читают вежливые краулеры, а именно они и так распознаются строгими правилами и не мешают. Парсеры, ради которых обычно всё затевается, этот файл игнорируют. Пользоваться им нужно, но как инструментом управления индексацией, а не как защитой.

Помогает ли смена хостинга или подключение защитного сервиса? Защитный слой перед сайтом действительно срезает массовый автоматический трафик, и на сайтах, которые ощутимо парсят, это заметно. Но у него есть цена: часть живых посетителей получает проверку браузера, а на медленных соединениях — задержку. Включать имеет смысл, когда парсинг создаёт реальную нагрузку на сервер, а не ради красивой цифры в отчёте.

Роботность выросла сразу после запуска рекламы. Это нормально? Это самая частая причина резкого скачка, и она проверяется за минуту сегментом роботов по источникам. Дальше смотрите разбивку по площадкам: обычно виноваты несколько конкретных, и после их отключения доля возвращается к прежней за несколько дней.

Можно ли убрать роботные визиты из уже собранной статистики? Из данных — нет, они хранятся как есть. Из отчёта — да: переключатель аудитории и сегментация позволяют строить любой прошлый отчёт только по людям. Для сравнения периодов этого достаточно, главное — держать одинаковые условия в обоих отчётах.

Влияет ли высокая роботность на позиции? Метка визита в системе аналитики не является сигналом ранжирования, и сама по себе позиции не понижает. Косвенное влияние возможно одно: если парсеры создают нагрузку и сервер начинает отдавать ошибки, страдает обход сайта поисковым роботом. Это лечится ограничением частоты запросов, а не отказом от счётчика.

Коротко

• Порядок работ обратный интуитивному: сначала настройки отчётов, потом свой служебный трафик, потом источники, и только в конце — ограничения на сервере.
• Базовую линию из семи срезов снимают до любых правок: данные задним числом не пересчитываются, и без точки отсчёта результат недоказуем.
• Режим фильтрации выбирают один раз и фиксируют дату — переключения рвут сравнимость периодов сильнее, чем сами боты искажают цифры.
• Перед любой блокировкой строят сегмент роботных визитов с достижением целей: если там есть настоящие заявки, трогать сервер нельзя.
• В рекламе основную долю мусора дают несколько площадок сети и инвентарь мобильных приложений — их отключение возвращает и статистику, и часть бюджета.
• Контрольные метрики важнее самой роботности: обращения от людей и переходы из поиска в Вебмастере не должны просесть, иначе правки надо откатывать.

Если доля роботности у вас скачет, а понять причину по отчётам не выходит — приходите на SEO-консультацию: разберём сегменты вместе, сверим цифры счётчика с Вебмастером и серверными логами и определим, что у вас — настоящий машинный поток или ложное срабатывание классификатора на живых посетителях.