Яндекс роботность

Показатель «Яндекс роботность» превращает смутное ощущение «трафик какой-то странный» в конкретную цифру: вы переключаете один тумблер в отчёте Метрики и видите, сколько визитов система считает машинными, а сколько живыми. Разница нередко оказывается такой, что все прошлые выводы о конверсии, поведении и эффективности каналов приходится пересматривать заново.

За годы работы в SEO с 2005 года я видел десятки сайтов, где владелец радовался росту посещаемости, а на деле рос только поток скриптов. Ниже — что именно измеряет этот показатель, какие значения считать рабочими, из-за чего доля роботов подскакивает и что с этим делать, не сломав аналитику и не навредив индексации.

Что именно показывает показатель роботности

Метрика делит весь входящий поток на два класса: визиты, которые она относит к людям, и визиты, которые считает автоматическими. Доля вторых от общего числа и есть роботность. Показатель считается по визитам, а не по посетителям, и доступен в разрезе любого отчёта — по источникам, по страницам входа, по регионам, по устройствам.

Ключевой момент, который часто понимают неверно: роботность в Метрике — это оценка счётчика, а не приговор поисковой системы. Она не означает, что сайт под санкциями, и не означает, что ранжирование уже пострадало. Это инструмент диагностики трафика, который отвечает на вопрос «кто ко мне ходит», а не «что со мной сделает алгоритм».

Второй важный момент: роботы бывают полезные, безвредные и вредные. Складывать их в одну кучу и пугаться суммарного процента бессмысленно — нужно понимать состав.

Тип автоматического трафика	Кто это	Опасность	Что делать
Поисковые роботы	Обходчики Яндекса, Google и других систем	Нет, это нужный трафик	Ничего, только не блокировать
Сервисы мониторинга	Проверки доступности, аптайм-мониторы	Нет	Исключить из отчётов сегментом
SEO-краулеры и парсеры	Сбор позиций, парсинг цен и контента конкурентами	Нагрузка на сервер, кража контента	Ограничить по частоте запросов
Рекламный фрод	Скрипты, кликающие по объявлениям	Прямые потери бюджета	Чистка площадок, антифрод-фильтры
Накрутка поведенческих	Сети, имитирующие действия людей	Искажение статистики, риск для ранжирования	Фиксация, обращение в поддержку, блокировка подсетей
Спам-боты форм	Автозаполнение заявок и комментариев	Мусор в CRM, ложные конверсии	Защита форм, серверная валидация

Отсюда практический вывод: цифра роботности сама по себе не говорит ни о чём, пока вы не разобрали её на источники. Пятьдесят процентов из поисковых обходчиков на молодом сайте с малым живым трафиком — нормально. Пятнадцать процентов из одной подсети с прямыми заходами — уже повод разбираться.

Как Метрика отличает робота от человека

Механика определения строится не на одном признаке, а на наборе сигналов. Часть из них жёсткие и однозначные, часть — вероятностные.

• Известные обходчики. Робот представляется в заголовке запроса, и его адрес подтверждается обратной проверкой. Это самый надёжный класс — тут ошибок практически не бывает.
• Списки известных адресов. Диапазоны, с которых заведомо работают автоматические системы.
• Отсутствие человеческих сигналов. Нет движений мыши, нет прокрутки, нет фокуса окна, страница «просмотрена» за доли секунды.
• Невозможная последовательность действий. Переход по нескольким разделам с одинаковым интервалом, точное повторение маршрута от визита к визиту.
• Технические аномалии. Несоответствие заявленного браузера его реальным возможностям, отключённые механизмы, которые в настоящем браузере включены по умолчанию.
• Поведенческие модели. Массовые совпадения по времени сессии, глубине, точке выхода у большого числа визитов подряд.

В настройках счётчика доступны два режима фильтрации: только по строгим правилам и по строгим правилам вместе с поведенческими признаками. Первый режим отсекает заведомых роботов и почти не ошибается. Второй ловит больше, но иногда относит к машинам людей с нестандартным поведением — например, тех, кто открыл вкладку и ушёл, не тронув страницу.

Режим фильтрации	Что отсекает	Риск ложных срабатываний	Кому подходит
Только строгие правила	Известных роботов по спискам и заголовкам	Минимальный	Сайтам без подозрений на накрутку
Строгие правила плюс поведение	Дополнительно имитаторы и скрипты-эмуляторы	Есть: часть живых визитов попадает под фильтр	Сайтам, где идёт накрутка или много фрода

Практическое правило: режим меняют один раз и надолго. Если переключать его туда-сюда, вы получите разрывы в исторических данных и не сможете сравнивать периоды между собой. Дату переключения обязательно записывайте — иначе через полгода будете гадать, почему в апреле трафик «упал».

Тему разбирал отдельно: «Как уменьшить роботность в Яндекс.Метрике: пошаговое руководство».

Где смотреть роботность и что именно открывать

Показатель встроен в интерфейс сразу в нескольких местах, и смотреть их нужно вместе — по одной цифре выводы не делаются.

1. Переключатель «с роботами / без роботов» в любом стандартном отчёте. Сравните два состояния одного и того же отчёта: разница и есть машинный трафик в этом срезе.
2. Отдельный отчёт по роботам в группе мониторинга. Он показывает динамику доли и разбивку по способу определения — по строгим правилам или по поведению.
3. Отчёт по источникам с включённым режимом «только роботы». Здесь видно, откуда идёт машинный поток: из поиска, из прямых заходов, с переходов по ссылкам.
4. Отчёт по страницам входа в том же режиме. Если весь автоматический трафик садится на две-три страницы, это почти всегда целенаправленная работа, а не фоновый шум.
5. Отчёт по времени на сайте и глубине просмотра. Аномальные пики на конкретных значениях — подпись скрипта с зашитой паузой.
6. Отчёт по географии и провайдерам. Резкое появление визитов из одного дата-центра или одной страны — сигнал сети.

Помогу с продвижением: SEO-продвижение для бизнеса — вывожу сайты в топ Яндекса белыми методами.

Для глубокого разбора есть выгрузка сырых логов через программный интерфейс Метрики: там доступны отдельные визиты с адресами, заголовками и последовательностью действий. Это единственный способ увидеть конкретные подсети и составить по ним список для блокировки.

Какие значения считать нормальными

Универсального порога не существует: доля зависит от тематики, возраста сайта, объёма живого трафика и того, насколько вы интересны парсерам. Но ориентиры есть.

Доля роботов	Как трактовать	Действия
До 10 процентов	Фоновый уровень, обычная жизнь сайта	Ничего, наблюдать раз в месяц
10–25 процентов	Повышенный, но объяснимый: обходчики, мониторинги, парсеры	Разобрать состав по источникам, убедиться в безвредности
25–50 процентов	Аномалия, если сайт не молодой и не малопосещаемый	Искать источник: подсети, страницы входа, время суток
Свыше 50 процентов	Целенаправленный поток, случайностей на таком уровне не бывает	Фиксировать доказательства, блокировать, обращаться в поддержку
Резкий скачок за сутки	Важнее абсолютной цифры: изменилось что-то конкретное	Смотреть день начала и что ему предшествовало

Обращайте внимание не на уровень, а на форму кривой. Ровный фон в двадцать процентов — это жизнь. Скачок с пяти до сорока за один день — это событие, у которого есть причина и дата. Именно дата даёт зацепку: вспомните, что происходило накануне — вышли в топ по конкурентному запросу, запустили рекламу, попали в подборку, сменили хостинг.

Из-за чего доля роботов растёт

Причины делятся на безобидные и требующие вмешательства. Разбирать нужно по порядку, от простого к сложному.

• Сайт стал заметнее. Рост позиций притягивает парсеры конкурентов и агрегаторы. Это косвенный признак того, что вы кому-то интересны.
• Подключены новые сервисы. Мониторинг доступности, проверка скорости, съём позиций, сервисы обратных ссылок — каждый добавляет свой поток.
• Запущена реклама в сетях. Часть кликов в партнёрских сетях приходит от автоматических систем; это самая частая причина внезапного роста без изменений на сайте.
• Открыт доступ к тяжёлым разделам. Каталог с фильтрами порождает миллионы адресов, и обходчики начинают ходить по ним активнее.
• Накрутка поведенческих факторов. Целенаправленная имитация посетителей: заходы из поиска по вашим запросам, короткие сессии, отказы.
• Атака на формы. Спам-скрипты перебирают формы обратной связи, попутно генерируя визиты.
• Собственные скрипты. Автотесты, интеграции, предпросмотры ссылок в мессенджерах — про них забывают чаще всего.

Отдельно стоит проверить банальное: не считает ли счётчик ваши собственные заходы и заходы разработчика. На малопосещаемом сайте команда из трёх человек, обновляющая страницы по сто раз в день, способна испортить любую статистику.

Как отличить накрутку от обычных роботов

Это самый практичный вопрос, потому что от ответа зависит, нужно ли вообще что-то делать. Признаки целенаправленной накрутки довольно характерны.

Смежный материал по теме — «Оригинальные тексты Яндекс Вебмастер».

Признак	Обычные роботы	Накрутка поведенческих
Источник перехода	Прямые заходы, внутренние переходы	Поиск по вашим коммерческим запросам
Страницы входа	Разные, включая служебные	Строго продвигаемые посадочные
Заявленное устройство	Часто нестандартное, старые версии	Свежие популярные браузеры и телефоны
География	Разная, часто дата-центры за рубежом	Совпадает с вашим регионом продвижения
Поведение в визите	Одна страница, доли секунды	Два-три перехода, имитация чтения, затем уход
Расписание	Круглосуточно, ровным фоном	Привязано к рабочим часам вашего региона
Адреса	Известные диапазоны сервисов	Жилые провайдеры или несколько соседних подсетей
Динамика	Плавная	Включается и выключается резко, партиями

Самый надёжный маркер — совпадение страниц входа с вашим списком продвигаемых страниц при переходах из поиска. Обычному парсеру нет смысла заходить из выдачи именно на три ваши коммерческие страницы и нигде больше.

Что делать с роботным трафиком

Порядок действий зависит от того, что вы нашли. Общий принцип: сначала перестать врать себе цифрами, потом закрывать техническую сторону, и только потом — реагировать на источник.

1. Приведите аналитику в порядок. Все отчёты, по которым принимаются решения, смотрите в режиме без роботов. Иначе вы будете оптимизировать конверсию, знаменатель которой наполовину машинный.
2. Создайте сегменты. Отдельный сегмент под подозрительный поток — по стране, провайдеру, странице входа — позволит следить за ним, не перекапывая отчёты каждый раз заново.
3. Выгрузите сырые данные. Через программный интерфейс получите список адресов и заголовков за период. Сгруппируйте по подсетям и посмотрите, укладывается ли поток в несколько диапазонов.
4. Закройте технические дыры. Ограничьте частоту запросов на уровне сервера, поставьте защиту на формы, уберите тяжёлые генераторы адресов из открытого обхода.
5. Заблокируйте подсети, если они очевидны. Правило в конфигурации сервера отсекает поток до того, как он дойдёт до приложения. Ключевое условие — точно убедиться, что в этих диапазонах нет живых людей и нет поисковых обходчиков.
6. Зафиксируйте факт. Скриншоты отчётов, даты, выгрузки. Если ситуация дойдёт до разбирательства с поддержкой поисковой системы, доказательства должны быть собраны заранее.
7. Сообщите в поддержку. Обращение с конкретикой — датами, объёмами, подсетями — рассматривается совсем иначе, чем жалоба в свободной форме.
8. Не трогайте разметку и контент в панике. Массовые правки во время всплеска роботности смешают причины, и вы не поймёте, что на что повлияло.

Чего делать не стоит: блокировать всё подряд по географии, закрывать сайт защитой от автоматических запросов на каждой странице и отключать счётчик «чтобы не портить статистику». Первое отрежет живых людей, второе обрушит поведенческие показатели настоящих посетителей, третье лишит вас единственного источника данных.

Как роботность связана с продвижением

Здесь чаще всего возникает путаница, которая приводит к лишним действиям. Разберём по пунктам, что связано, а что нет.

• Роботность не является фактором ранжирования. Поисковая система не берёт цифру из вашей Метрики и не понижает по ней сайт. Это ваш диагностический инструмент.
• Данные счётчика и данные поиска — разные вещи. Алгоритмы ранжирования оценивают поведение в выдаче своими средствами, а не через ваш счётчик.
• Высокая роботность искажает ваши решения. Конверсия, отказы, время на сайте, эффективность каналов — всё это считается некорректно, если машинный трафик не отфильтрован.
• Накрутка со стороны — не приговор. Системы фильтрации умеют отличать чужое воздействие от самонакрутки, и сам факт входящего мусорного потока не переводит сайт в разряд нарушителей.
• Самонакрутка — реальный риск. Разница между «на меня льют ботов» и «я лью ботов на себя» для алгоритма существует, и вторая ситуация имеет последствия.
• Нагрузка на сервер — прямой ущерб. Даже безвредные по намерениям парсеры замедляют сайт, а скорость на ранжирование влияет.

Практический вывод: занимайтесь роботностью ради чистоты собственных данных и ради стабильности сервера. Использовать её как индикатор «есть ли на мне фильтр» неправильно — для этого есть раздел безопасности и нарушений в панели вебмастера.

Регулярная процедура наблюдения

Если нужна помощь по теме — мой курс по SEO.

Разовая проверка бесполезна: важна динамика. Минимальный режим, который стоит завести.

Если нужны детали, смотрите «Почему нет заказов с Яндекс Директ».

Периодичность	Что смотреть	Сигнал к действию
Еженедельно	Доля роботов в динамике за 30 дней	Скачок более чем в полтора раза
Еженедельно	Источники в режиме «только роботы»	Появление нового источника с заметным объёмом
Ежемесячно	Страницы входа машинного трафика	Концентрация на продвигаемых страницах
Ежемесячно	География и провайдеры	Новый регион или дата-центр в топе
Ежеквартально	Нагрузка на сервер и скорость ответа	Рост времени ответа при том же живом трафике
При скачке	Выгрузка сырых логов за дни всплеска	Поток укладывается в несколько подсетей

Одно важное дополнение: сравнивайте данные счётчика с данными сервера. Счётчик видит только тех, у кого выполнился скрипт, а серверные логи — вообще всех. Если в логах запросов втрое больше, чем визитов в Метрике, значительная часть нагрузки идёт мимо аналитики, и оценивать её нужно там.

Частые вопросы

Роботность выросла до половины трафика — сайт попадёт под санкции? Сам по себе входящий машинный поток нарушением не является. Проверьте раздел безопасности и нарушений в панели вебмастера: если там пусто, ситуация не в вашей зоне ответственности. Важнее убедиться, что вы сами или ваш подрядчик не покупаете такой трафик.

Какой режим фильтрации выбрать? Если явных признаков накрутки нет, оставляйте строгие правила: меньше ложных срабатываний и стабильнее исторические данные. Если поток очевидно имитирует людей, включайте расширенный режим и фиксируйте дату переключения.

Считать конверсию с роботами или без? Только без. Иначе знаменатель раздут машинными визитами, и конверсия занижена в разы. Для сравнения периодов режим должен быть одинаковым во всех сравниваемых отрезках.

Блокировать роботов по адресам или это опасно? Опасно только при неаккуратности. Перед блокировкой проверьте диапазон: не принадлежит ли он крупному мобильному оператору, нет ли в нём поисковых обходчиков, не заходили ли оттуда посетители с реальными конверсиями. При выполнении этих условий блокировка на уровне сервера — самый эффективный способ снять нагрузку.

Почему в Метрике визитов меньше, чем запросов в логах сервера? Счётчик срабатывает только при загрузке страницы и выполнении скрипта. Роботы, которые не исполняют скрипты, в Метрику не попадают вообще. Поэтому реальная доля автоматических запросов почти всегда выше той, что показывает счётчик.

Стоит ли писать в поддержку при каждом всплеске? Нет. Обращение имеет смысл, когда у вас на руках период, объёмы, страницы входа и подсети. Письмо в духе «на меня льют ботов» без данных ни к чему не приведёт.

Чеклист разбора всплеска роботности

• Определена точная дата начала роста по дневной динамике.
• Проверено, что предшествовало этой дате: запуск рекламы, рост позиций, подключение сервисов, смена хостинга.
• Отчёт по источникам просмотрен в режиме «только роботы».
• Проверена концентрация по страницам входа.
• Сопоставлена география машинного потока с регионом продвижения.
• Выгружены сырые данные и сгруппированы по подсетям.
• Проверен раздел безопасности и нарушений в панели вебмастера.
• Сравнены визиты в счётчике с числом запросов в серверных логах.
• Все рабочие отчёты переведены в режим без роботов.

Разбираю продвижение по шагам — в своём курсе:

8:14

Коротко

• Роботность в Метрике — доля визитов, признанных автоматическими; это диагностика трафика, а не оценка сайта поисковой системой.
• Общая цифра ничего не значит без разбора состава: обходчики, мониторинги, парсеры, рекламный фрод и накрутка требуют разной реакции.
• Смотреть нужно не уровень, а форму кривой: резкий скачок за сутки информативнее ровного высокого фона.
• Накрутка отличается характерным набором признаков: заходы из поиска строго на продвигаемые страницы, свежие устройства, ваш регион, привязка к рабочим часам.
• Первое действие — перевести все отчёты в режим без роботов, иначе конверсия и поведенческие показатели считаются по раздутому знаменателю.
• Блокировка подсетей работает, но только после проверки, что в диапазоне нет ни живых посетителей, ни поисковых обходчиков.

Если доля роботов растёт, а понять природу потока и его влияние на позиции не получается, приходите на SEO-консультацию — разберём отчёты вместе и отделим реальные проблемы сайта от чужой активности.