Яндекс метрика определяет живых людей как роботов

Яндекс Метрика определяет живых людей как роботов чаще, чем принято думать, и владелец сайта узнаёт об этом в самый неподходящий момент: посещаемость в отчёте вдруг падает на треть, хотя заявки идут прежним потоком, а в Вебвизоре видно, как «робот» медленно листает страницу, выделяет мышью номер телефона и уходит на страницу контактов. Расхождение возникает не потому, что счётчик сломался. Метрика помечает роботным конкретный визит по набору признаков, и часть этих признаков живой человек создаёт сам, не подозревая об этом.

В SEO я с 2005 года, и вопрос о доле роботности встречается на консультациях примерно так же часто, как вопрос о позициях. Разбираться в нём стоит по одной практической причине: пока вы не знаете, какая часть роботных визитов реальна, а какая — ошибка классификатора, вы принимаете решения о сайте по неверным цифрам. Ниже — механика: как визит получает метку робота, почему под неё попадают люди, как посмотреть свою долю и что с этой долей делать.

Как Метрика решает, что визит роботный

Классификация происходит на стороне Яндекса, после того как счётчик отправил данные о визите. Сам код на странице никаких решений не принимает — он собирает события, а метку ставит уже сервис. Метка ставится на визит целиком, а не на пользователя: один и тот же человек может в понедельник попасть в люди, а во вторник — в роботы, если условия захода изменились.

Механизмов классификации два, и они работают независимо друг от друга.

• Строгие правила. Формальные признаки, по которым робот определяется однозначно: User-Agent из списка известных краулеров, обращение с адресов, принадлежащих поисковым и сервисным ботам, отсутствие исполнения JavaScript при полученном хите. Ошибки здесь редки, потому что решение принимается по явной подписи.
• Поведенческий анализ. Модель смотрит на то, как выглядит визит: последовательность и тайминги событий, наличие или отсутствие движений курсора и скроллов, скорость перехода между страницами, повторяемость сценария, характеристики сети и устройства. Решение принимается вероятностно. Именно здесь живой человек и попадает под метку.

В настройках счётчика оба механизма включаются отдельно. Раздел «Фильтры» позволяет выбрать, фильтровать роботов только по строгим правилам или по строгим правилам и поведению сразу. От этого выбора зависит, какие цифры вы увидите в стандартных отчётах, — и очень часто «резкое падение трафика» объясняется тем, что кто-то переключил этот тумблер.

Почему под метку робота попадает живой человек

Поведенческий классификатор ищет несовпадение визита с портретом обычного посетителя. Проблема в том, что «обычный посетитель» — это статистическая усреднённость, а реальные люди пользуются интернетом очень по-разному. Перечислю сценарии, которые я регулярно вижу в разборах.

Что видит классификатор	Что происходит на самом деле	Как часто встречается
Нет ни одного движения мыши и скролла за весь визит	Человек читает с планшета в режиме чтения, страница помещается на экран целиком, касаний нет	Постоянно на коротких страницах
Десятки визитов с одного адреса за час	Корпоративная сеть, мобильный оператор с NAT, публичный Wi-Fi в бизнес-центре	Массово в B2B
Адрес принадлежит дата-центру	Пользователь сидит через VPN или включил встроенный в браузер режим защиты соединения	Растёт каждый год
Мгновенная загрузка нескольких страниц подряд	Браузер предзагрузил ссылки, на которые пользователь навёл курсор, либо работает ускоритель страниц	Часто на мобильных
Визит без реферера, повторяющийся ежедневно в одно время	Сайт открывается из закреплённой вкладки при старте браузера	У постоянных клиентов
Идентичная последовательность страниц у разных «пользователей»	Рассылка или пост в мессенджере: люди пришли по одной ссылке и идут по одному сценарию	Всплесками
Нет куки, каждый хит выглядит новым посетителем	Строгие настройки приватности, режим инкогнито, блокировщики трекеров	Заметная доля молодой аудитории
Предпросмотр ссылки без последующей активности	Мессенджер или соцсеть подтягивают заголовок и картинку при отправке ссылки	При активном сарафане

С той же логикой живой человек сталкивается и в самом поиске: система принимает его за автомат и требует подтвердить, что он не робот.

Отдельная категория — визиты, которые классификатор помечает правильно, а владелец сайта считает ошибкой. Это парсеры прайсов, мониторинг конкурентов, проверки доступности от хостинга, обход сервисами аналитики и ссылочными краулерами. Такие визиты выглядят человеческими в Вебвизоре только на первый взгляд: там нет ни одного признака ручного управления — курсор не дрожит, скролл идёт ровными равными шагами, паузы одинаковые.

Где посмотреть свою долю роботности

Отдельный отчёт по роботам лежит в группе «Мониторинг». Он показывает динамику роботных визитов и разбивку по способу определения — сколько поймано строгими правилами и сколько поведением. Смотреть его нужно вместе с двумя другими вещами.

Подробнее об этом — в статье «Яндекс метрика неправильно показывает статистику».

1. Переключатель аудитории в шапке любого отчёта. Он задаёт, чьи визиты вы сейчас видите: только людей, только роботов или всех сразу. По умолчанию отчёты показывают людей. Если вы сравниваете цифры за разные периоды, убедитесь, что переключатель в обоих случаях стоит одинаково.
2. Сегменты. Роботность доступна как условие сегментации, поэтому любой стандартный отчёт можно построить только по роботным визитам: по источникам, по устройствам, по браузерам, по страницам входа, по регионам. Именно так вычисляется причина всплеска.
3. Logs API. Для больших сайтов удобнее выгрузить сырые визиты с признаком роботности и разобрать их у себя — по адресам, по сессиям, по времени. В выгрузке визитов есть отдельное поле-флаг, и рядом с ним доступны источник, устройство, глубина и длительность. Это единственный способ увидеть картину без агрегации.

Насколько сильно переключатель меняет картину, видно на одних и тех же сутках. Сначала — отчёт, в котором учтены и люди, и роботы:

А теперь тот же день, но в отчёте оставлены только визиты людей:

Помогу с продвижением: SEO-продвижение сайтов — вывожу сайты в топ Яндекса белыми методами.

Совет из практики: не смотрите долю роботности одной цифрой по всему сайту. Она почти всегда неоднородна. Роботность на страницах каталога и на странице контактов отличается в разы, роботность в мобильном трафике и в десктопном — тоже. Общая средняя маскирует и реальную проблему, и ложное срабатывание.

Если интересно направление с сайтами — базу даю в своём курсе:

8:14

Какая доля роботности считается нормальной

Универсального порога нет: он зависит от тематики, от того, насколько сайт интересен парсерам, и от доли прямых заходов. Но ориентиры, по которым я оцениваю ситуацию на консультациях, выглядят так.

Доля роботных визитов	Как это читать	Что делать
До 10 %	Фоновый уровень: краулеры, мониторинги, предпросмотры ссылок	Ничего. Просто убедиться, что отчёты строятся по людям
10–25 %	Норма для интернет-магазина с ценами и для сайта с большим прямым трафиком	Раз в месяц смотреть разбивку по страницам входа
25–50 %	Что-то конкретное генерирует поток: парсер, реклама с некачественной площадки, скрипт мониторинга	Сегментировать по источникам и адресам, найти источник
Больше 50 %	Либо массированный парсинг, либо внешняя накрутка, либо ошибка внедрения счётчика	Разбираться срочно: цифры для решений непригодны
Резкий скачок за сутки	Почти всегда одно событие: запуск рекламы, публикация ссылки, чужой скрипт	Сравнить дни до и после в сегменте роботов

Гораздо важнее абсолютного значения — стабильность. Доля 30 %, которая держится месяцами и не мешает считать конверсию по людям, беспокоит меньше, чем доля 12 %, скакнувшая с 3 % за неделю. Первое — свойство сайта, второе — событие, у которого есть причина.

Тему разбирал отдельно: «Яндекс Метрика опять не работает (25.03.2021)».

Как отличить ошибку классификатора от настоящих ботов

Метрика не даёт объяснения, почему конкретный визит признан роботным. Значит, проверять приходится косвенно — сопоставлением независимых источников данных. Порядок такой.

1. Сверьте с серверными логами. Логи веб-сервера видят все обращения, включая те, где JavaScript не выполнялся. Если в логах на подозрительный адрес приходятся сотни запросов за минуту без загрузки картинок и стилей — это парсер, и классификатор прав.
2. Сверьте с данными Вебмастера. Клики из поиска считаются на стороне поиска и в счётчик не смотрят. Если переходы из органики в Вебмастере на месте, а в Метрике по органике выросла роботность, значит, помечаются реальные посетители из поиска.
3. Сверьте с целевыми действиями. Постройте сегмент роботных визитов с достигнутой целью — отправкой формы, звонком, добавлением в корзину. Роботы почти никогда не заполняют формы осмысленно. Если такие визиты есть и заявки по ним реальные, классификатор ошибается.
4. Посмотрите распределение по времени суток. Живая аудитория даёт узнаваемую суточную кривую с провалом ночью. Ровная полка круглосуточно — машинный трафик.
5. Проверьте разнообразие устройств и разрешений. У людей десятки комбинаций браузеров, версий и размеров экрана. У ботнета их единицы, и они повторяются.

Если три пункта из пяти указывают на людей, вы имеете дело с ложным срабатыванием и трогать ничего не надо, кроме собственных отчётов. Если три из пяти указывают на машины — переходите к следующему разделу.

Что делать с реальным роботным трафиком

Сразу оговорюсь: полностью убрать роботов с сайта невозможно и не нужно. Задача другая — не пускать их в цифры, по которым вы принимаете решения, и снизить нагрузку от тех, кто мешает.

• Включите фильтрацию по строгим правилам и поведению в настройках счётчика и больше не переключайте её. Постоянство важнее выбора: любое переключение рвёт сравнимость данных.
• Отфильтруйте свои визиты и визиты подрядчиков — по адресам или по параметру в ссылке. Это самая частая незамеченная примесь на небольших сайтах.
• Ограничьте парсинг на уровне сервера. Лимит количества запросов с одного адреса в единицу времени убирает большую часть прайс-парсеров, не мешая людям. Полная блокировка подсетей — крайняя мера: под неё легко попадает мобильный оператор вместе с реальными клиентами.
• Уберите из рекламных кампаний площадки, которые дают роботный трафик, если реклама у вас есть. Сегмент роботных визитов, разложенный по площадкам, показывает виновных за минуту.
• Не пытайтесь «почистить» историю. Метрика не пересчитывает уже собранные визиты задним числом. Смена настроек влияет на будущие данные, старые остаются как есть.

Влияет ли роботность на позиции сайта

Это главный страх, с которым приходят: «у меня 40 % роботности, значит, Яндекс считает мой сайт накрученным и опустит». Связь не прямая, и путать две вещи не стоит.

Утверждение	Как есть на самом деле
Высокая роботность в Метрике сама по себе понижает сайт	Нет. Метрика — система аналитики, её метка визита не является сигналом ранжирования
Поиск не умеет отличать накрутку без счётчика	Умеет. Поведение в выдаче фиксируется на стороне поиска и не зависит от того, стоит ли у вас счётчик
Если убрать счётчик, накрутка станет невидимой	Нет. Снятие счётчика лишает вас данных и не лишает поиск его собственных
Рост роботности всегда означает атаку конкурентов	Чаще это парсинг, ускорители браузеров или собственная реклама
Роботность влияет на скорость индексации	Косвенно: если парсеры кладут сервер и роботу поиска отдаётся ошибка, страдает обход

Если нужна помощь по теме — мой курс по SEO.

Практический вывод: роботность в Метрике полезна как индикатор состояния сайта и качества источников трафика, а не как оценка вашей репутации в поиске. Если позиции просели, причину ищут в Вебмастере и в структуре сайта, а не в графике роботности.

Смежный материал по теме — «Удалил Яндекс Метрика | Постоянно глючит | Скорость сразу выросла».

Чеклист разбора всплеска роботности

Порядок, который экономит время. Каждый шаг отсекает часть гипотез, поэтому идти лучше сверху вниз и не перепрыгивать.

Шаг	Что смотреть	Вывод, если совпало
1	Дата начала всплеска и что менялось на сайте в этот день	Правка кода счётчика, переезд, новый скрипт
2	Настройки фильтрации роботов: не переключал ли кто-то режим	Цифры изменились, трафик — нет
3	Сегмент роботов по источникам	Виновата конкретная кампания или площадка
4	Сегмент роботов по страницам входа	Парсят каталог или конкретный раздел с ценами
5	Сегмент роботов по устройствам и браузерам	Однообразие — машины, разнообразие — люди
6	Роботные визиты с достижением целей	Есть заявки — ложное срабатывание
7	Серверные логи за те же сутки	Подтверждение или опровержение парсинга
8	Органика в Вебмастере за тот же период	Поиск живого трафика не потерял — проблема только в отчётах

Частые ошибки владельцев сайтов

• Сравнивать периоды с разным переключателем аудитории. Половина «падений трафика», которые мне присылают, — это отчёт за прошлый месяц по людям и роботам против отчёта за этот месяц только по людям.
• Ставить второй счётчик, чтобы «проверить первый». Второй счётчик того же сервиса классифицирует визиты по тем же правилам и покажет то же самое.
• Блокировать подсети наугад. Так теряются реальные клиенты мобильных операторов, а в отчётах это выглядит как «роботность снизилась» — потому что часть людей перестала заходить вовсе.
• Оценивать конверсию по всем визитам. Если в знаменателе роботы, конверсия занижена искусственно, и решения по рекламе и по посадочным принимаются неверные.
• Писать в поддержку по одному визиту. Разбор единичного визита ничего не даст: классификация вероятностная. Обращаться имеет смысл с массовой выборкой и сверкой по логам.
• Игнорировать всплеск, потому что заявки идут. Заявки — запаздывающий показатель. Парсинг цен конкурентом сегодня превращается в потерю маржи через месяц.

Частые вопросы

Если Вебвизор показывает осмысленное поведение, а визит роботный — кому верить? Вебвизор записывает воспроизведение событий, и хорошо сделанный бот умеет двигать курсор. Верить стоит совокупности: разнообразию устройств, суточной кривой, наличию целевых действий и серверным логам. Одна запись ничего не доказывает ни в ту, ни в другую сторону.

Можно ли пожаловаться и добиться пересчёта? Пересчёта уже собранных данных не бывает. Обращение имеет смысл как сигнал о систематической ошибке — с выборкой визитов и доказательствами из независимого источника.

Почему роботность выросла после запуска рекламы? Часть рекламного трафика приходит с площадок, где активность генерируется автоматически. Разложите роботный сегмент по площадкам и уберите худшие — доля падает в течение нескольких дней.

Стоит ли снижать роботность искусственно? Нет. Это метрика-градусник. Занижать её настройками — то же самое, что заклеивать индикатор на панели приборов: цифра станет красивее, причина останется.

Роботность 0 % — это хорошо? Это подозрительно. У любого доступного из интернета сайта есть краулеры и мониторинги. Ноль обычно означает, что фильтрация выключена и роботы просто смешаны с людьми в общих отчётах.

Как считать конверсию при высокой роботности? Только по сегменту людей и только по целям, а не по «обращениям вообще». И фиксировать способ подсчёта письменно, чтобы через полгода сравнивать сопоставимое.

Коротко

• Метка робота ставится сервисом на отдельный визит по двум независимым механизмам — строгим правилам и поведенческой модели; ошибается почти всегда вторая.
• Живые люди попадают под метку из-за VPN и корпоративных сетей, предзагрузки ссылок браузером, режима приватности, закреплённых вкладок и предпросмотров в мессенджерах.
• Смотреть долю нужно не одной цифрой по сайту, а сегментами: по источникам, страницам входа, устройствам и времени суток.
• Отличить ошибку от настоящих ботов помогает сверка с серверными логами, данными Вебмастера и наличием целевых действий в роботном сегменте.
• Роботность в аналитике не является фактором ранжирования: поиск оценивает поведение в выдаче на своей стороне и независимо от счётчика.
• Опаснее не высокая доля, а резкий скачок: у него всегда есть конкретная причина — новый скрипт, кампания, парсер или переключённая настройка фильтрации.

Если по вашему сайту непонятно, что именно наполняет роботный сегмент и не теряете ли вы из-за этого реальные обращения, приходите на SEO-консультацию: посмотрим счётчик, сегменты и логи вместе и разделим ложные срабатывания от настоящей проблемы.