Аномалии в обходе сайта: ранний сигнал бана, который все пропускают

Аномалии в обходе сайта — самый ранний сигнал беды, который поисковая система подаёт задолго до того, как обвалится трафик. Большинство владельцев узнают о санкциях постфактум: позиции обнулились, заявки кончились, а причину ищут задним числом. При этом робот меняет поведение за недели до падения — просто эти изменения никто не смотрит, потому что они не выведены ни в один привычный отчёт о посещаемости.

Ниже — как читать поведение краулера, какие четыре типа аномалий действительно опасны, чем отличить настоящую проблему от сезонного колебания и что делать по шагам, когда обход поехал. Всё проверяется в Яндекс Вебмастере, Search Console и логах сервера, без платных сервисов.

Что такое обход и почему он отражает здоровье сайта

Обход, он же краулинг, — это процесс скачивания страниц роботом для последующей индексации и оценки. У каждого сайта есть краулинговый бюджет: условный объём страниц, который система готова забирать за единицу времени. Величина не фиксированная. Она складывается из двух половин: сколько сервер физически способен отдать без деградации и сколько система считает нужным взять, исходя из ценности ресурса.

Первая половина — техническая. Если сервер отвечает за 200 мс, робот наращивает частоту запросов. Если время ответа плывёт к двум секундам, а часть запросов заканчивается таймаутом, краулер сам снижает нагрузку, чтобы не уронить сайт. Это защитный механизм, и он срабатывает без всякой связи с качеством контента.

Вторая половина — оценочная. Система распределяет бюджет между миллионами сайтов и отдаёт больше тем, у кого выше вероятность найти новое и полезное. Когда доля мусорных, дублирующих и малополезных страниц растёт, интерес падает: робот приходит реже и берёт меньше. Именно поэтому характер обхода — не техническая мелочь, а зеркало отношения системы к сайту в целом.

Практический вывод простой: динамика обхода меняется раньше, чем динамика позиций. Между «робот стал заходить в три раза реже» и «трафик просел» проходит от двух недель до полутора месяцев. Это и есть фора, ради которой стоит смотреть в логи.

Где смотреть данные об обходе

Источников три, и они дополняют друг друга.

• Яндекс Вебмастер, раздел «Индексирование — Статистика обхода». Показывает число загруженных страниц по дням, распределение по кодам ответа, список конкретных URL с датой обхода и полученным кодом. Данные доступны за последние месяцы, выгружаются в файл.
• Google Search Console, отчёт «Статистика сканирования». Даёт количество запросов, объём скачанных данных, среднее время ответа и разбивку по цели запроса (обнаружение или обновление) и по типу файла. Отдельно полезна разбивка по типу робота: смартфонный, десктопный, для картинок.
• Логи веб-сервера. Единственный источник, где видна вся картина без выборки и задержки: точное время, URL, код ответа, user-agent, объём отданных байтов. В панелях управления вроде ISPmanager логи лежат в директории пользователя; на VPS — стандартно в /var/log/nginx или /var/log/apache2.

Работать с логами удобнее всего, сведя их в таблицу: дата, URL, код ответа, робот, время генерации. Дальше строятся сводные по дням и по разделам сайта. Тем, кто ни разу этого не делал, стоит начать с Вебмастера — там те же сигналы, только сглаженные и без user-agent.

Важная оговорка про подделки. Значительная доля запросов с user-agent поисковых роботов приходит не от поисковиков, а от парсеров и ботов, которые маскируются. Прежде чем делать выводы, проверьте IP обратным DNS-запросом: у настоящего робота Яндекса имя хоста заканчивается на yandex.ru, yandex.net или yandex.com, у Google — на googlebot.com или google.com. Без этой проверки половина «аномалий обхода» оказывается чужой активностью.

Тему разбирал отдельно: «Screaming Frog за 20 минут: технический аудит сайта, который найдёт битые ссылки и дубли».

Аномалия первая: обвал частоты обхода

Самый очевидный и самый недооценённый сигнал. Ещё месяц назад робот забирал 3000 страниц в сутки, теперь 300. Десятикратное падение не бывает случайным.

Причины выстраиваются по частоте так. Чаще всего виноват сервер: выросло время ответа, появились пятисотые ошибки в часы нагрузки, включился агрессивный лимит запросов на уровне nginx или защиты от ботов, и робот попал под тот же лимит, что и живые посетители. Это самая приятная причина, потому что чинится за день.

Помогу с продвижением: раскрутка сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Вторая по частоте — резкий рост числа страниц без роста ценности: включили фильтры каталога в индексацию, размножили пагинацию, открыли параметры сортировки. Бюджет распределился на мусор, важные разделы стали обходиться реже, и суммарно система снизила интерес.

Третья — потеря доверия: массовая закупка ссылок, накрутка поведенческих, публикация больших объёмов однотипных текстов. Здесь падение обхода уже вторично, оно следствие оценки.

Как отделить одно от другого: посмотрите в тех же данных среднее время ответа и долю кодов 5xx и 429. Если они выросли синхронно с падением обхода — причина техническая. Если время ответа стабильно, а робот всё равно ушёл — причина в оценке сайта, и искать надо в контенте, структуре и ссылочном профиле.

Аномалия вторая: робот ушёл на мусорные адреса

Здесь суммарное число загрузок может не измениться вовсе — меняется их распределение. Здоровый обход концентрируется на коммерчески важных разделах и свежих материалах. Аномалия — когда основная доля бюджета уходит на страницы, которые вообще не должны попадать в поиск.

Типовые пожиратели бюджета:

Смежный материал по теме — «Сжатие страниц gzip и brotli: минус 70 % веса, который вы теряете бесплатно».

• Параметрические URL: сортировки, фильтры, метки рекламных кампаний, идентификаторы сессий. Один параметр может размножить каталог в десятки раз.
• Глубокая пагинация, особенно бесконечная — когда страница 340 отдаёт содержимое и ссылается на 341.
• Страницы поиска по сайту, попавшие в индекс через ссылки или карту сайта.
• Технические разделы: печатные версии, календарные архивы, теговые страницы с одним материалом.
• Устаревшие адреса, которые отвечают 200 вместо 404 или 410 — так называемые soft 404.
• Цепочки редиректов: каждый переход в цепочке съедает запрос робота.

Проверка по логам делается за полчаса: сгруппируйте загрузки за месяц по шаблону URL и посмотрите долю каждой группы. Нормальная картина — большая часть запросов приходится на страницы, которые вы сами считаете рабочими. Если 60% бюджета уходит на URL с вопросительным знаком, разбираться надо не с текстами, а со структурой.

Аномалия третья: рост ошибок и деградация ответа

Отдельный тип, потому что он одновременно и причина, и симптом. Смотреть надо на четыре кода.

Что видно в статистике обхода	Что это обычно значит	Насколько срочно
Рост доли 5xx у робота при нормальной работе для людей	Сервер не тянет параллельные запросы либо срабатывает защита от ботов	Немедленно: робот снижает бюджет за дни
Появление 429 «слишком много запросов»	Лимит запросов настроен так, что под него попадает краулер	Немедленно, чинится правкой конфигурации
Массовые 404 на адресах, которых раньше не было	Сломана генерация ссылок, битая карта сайта, чужие ссылки на мусор	В течение недели
Много 301 и цепочки редиректов	Незавершённый переезд, склейка www, смена структуры URL	В течение недели
Среднее время ответа выросло вдвое и держится	Проблемы с базой, кэшем, хостингом или тяжёлыми плагинами	В течение нескольких дней
Робот берёт страницы, но их нет в индексе	Дубли, малополезность, каноникал или noindex по ошибке	Разбираться сразу, но чинится не быстро

Отдельно про 429 и лимиты. Ситуация встречается чаще, чем кажется: администратор настраивает ограничение частоты запросов от одного адреса, чтобы отбиться от парсеров, а под ограничение попадают и поисковые роботы, и статические файлы самого сайта. Внешне сайт работает, а обход тихо схлопывается. Проверяется по логам за минуту — грепом по коду 429.

Аномалия четвёртая: обход есть, а индекс не растёт

Самый коварный вариант. Робот исправно ходит, коды ответа в порядке, время ответа нормальное, но раздел «Страницы в поиске» стоит на месте или сокращается. Значит, страницы скачиваются и отбраковываются на этапе оценки.

Разбор идёт по статусам исключённых страниц в Вебмастере. Четыре самых частых:

1. Дубль. Система нашла страницу с тем же содержанием и выбрала другую как основную. Обычно это следствие фильтров, пагинации, версий с параметрами или карточек товара, отличающихся одним размером.
2. Малополезная страница. Содержимое либо почти пустое, либо шаблонное. Массово возникает у страниц вида «услуга + район», сгенерированных подстановкой города в один и тот же текст.
3. Недостаточно качественная. Формулировка обтекаемая, но за ней почти всегда стоит либо тонкий контент, либо конкуренция с более сильными страницами того же сайта.
4. Запрещена к индексированию. Проверьте robots.txt, метатег robots, заголовок X-Robots-Tag и rel=canonical. Ошибка в каноникале — самая обидная: страница технически идеальна, но сама указывает системе на другую.

Здесь важно правильно расставить приоритет. Если обход есть, а индекса нет, увеличивать частоту обхода бессмысленно — робот и так приходит. Работать надо с уникальностью и ценностью страниц, а также с внутренней перелинковкой, которая передаёт вес нужным разделам.

Как отличить аномалию от нормального колебания

Не каждое изменение графика требует действий. Ложных тревог бывает больше, чем настоящих, и вот отсечки, которые помогают не бегать зря.

Если нужны детали, смотрите «Как проверить скорость сайта: PageSpeed, GTmetrix и Вебмастер дают три разные цифры».

• Сезонность. У многих ниш обход слегка проседает в новогодние праздники и в разгар лета вместе с общей активностью. Сравнивайте не с прошлым месяцем, а с тем же периодом прошлого года.
• Плановые изменения. Закрыли раздел от индексации, удалили тысячи устаревших карточек, объединили дубли — падение числа загрузок закономерно и означает, что вы всё сделали правильно.
• Переезд и смена структуры URL. В первые недели обход скачет: робот заново открывает адреса, обрабатывает редиректы, переиндексирует. Оценивать динамику имеет смысл через месяц-полтора после завершения склейки.
• Разовые всплески. Один день с удвоенным обходом — это чаще всего плановое переобновление индекса, а не событие. Реагировать стоит на тренд длиной от недели.
• Смена типа робота. В Search Console полезно смотреть разбивку по агентам: перераспределение между смартфонным и десктопным роботом не означает падения интереса.
• Чужие боты в логах. Всплеск «активности робота» без проверки обратным DNS — это чаще всего парсер конкурента, а не поисковая система.

Порог, с которого я считаю сигнал настоящим: устойчивое изменение больше чем на треть, держащееся дольше двух недель, без плановых работ на сайте в этот период. Всё, что меньше, — шум.

Что делать, когда обход действительно поехал

Порядок фиксированный, потому что каждая следующая проверка опирается на результат предыдущей.

1. Зафиксируйте дату. Найдите день, с которого начался слом, и сопоставьте его с журналом изменений: релизы, обновления CMS и плагинов, смена хостинга, правки robots.txt и .htaccess, запуск защиты от ботов.
2. Проверьте доступность. Прогоните главную и десяток типовых страниц инструментом проверки ответа сервера в Вебмастере, из-под робота, а не из браузера. Отдельно проверьте отдачу по HTTP и по HTTPS, с www и без.
3. Снимите коды ответа за месяц. Сгруппируйте по дням: доли 200, 301, 404, 5xx, 429. Ищите, какая доля выросла синхронно с падением.
4. Посмотрите время ответа. Если оно выросло, дальше идёт разбор нагрузки: кэширование, тяжёлые запросы к базе, соседи по shared-хостингу, лишние плагины.
5. Проверьте директивы. robots.txt в текущем виде и в истории, метатеги robots на шаблонах, X-Robots-Tag в заголовках, канонические адреса. Одна лишняя строка в robots.txt закрывает половину сайта, и это регулярно происходит после переноса с тестового сервера.
6. Разберите структуру запросов. Определите, куда уходит бюджет, и закройте пожирателей: параметры, поиск по сайту, служебные разделы. Одновременно почините цепочки редиректов и soft 404.
7. Проверьте «Диагностику» и «Безопасность». В Вебмастере смотрите фатальные и критичные проблемы, а также раздел с нарушениями. Санкция за накрутку или за некачественные ссылки отображается именно там.
8. Проверьте ссылочный профиль. Всплеск внешних ссылок за короткий период — повод разбираться отдельно, особенно если закупок вы не делали.
9. После правок отправьте на переобход. В Вебмастере есть переобход страниц, в Search Console — проверка URL с запросом индексирования. Дайте системе две недели и сравните графики.

Отдельная рекомендация, которая экономит недели: заведите привычку смотреть статистику обхода раз в неделю, хотя бы бегло. Пять минут на график загрузок и коды ответа — это ранняя диагностика, которая ловит проблемы на стадии, когда они ещё чинятся конфигурацией, а не восстановлением после потери трафика.

Частые вопросы

Как быстро восстанавливается обход после устранения причины?
Технические причины — быстро: после починки ответов сервера частота начинает расти в течение одной-двух недель. Причины, связанные с оценкой качества, восстанавливаются месяцами, потому что системе нужно накопить новые данные о сайте.

Можно ли принудительно увеличить краулинговый бюджет?
Напрямую — нет, регулятора «дай больше» не существует. Косвенно бюджет растёт от ускорения ответа сервера, чистки мусорных адресов, регулярного обновления материалов и роста внешних упоминаний. Все четыре рычага работают медленно и в сумме.

Стоит ли закрывать пагинацию от индексации, чтобы сэкономить бюджет?
Полное закрытие пагинации в robots.txt чаще вредит: робот перестаёт видеть ссылки на карточки в глубине каталога. Правильнее оставить обход, но убрать пагинацию из выдачи метатегом и обеспечить альтернативные пути к товарам — через фильтры-посадочные, карту сайта и перелинковку.

Робот перестал заходить на новые страницы вообще. С чего начать?
Сначала проверьте, попадают ли эти страницы в XML-карту и есть ли на них внутренние ссылки с уже индексируемых разделов. Страница без входящих ссылок и без записи в карте для робота почти не существует. Дальше — проверка кода ответа и директив.

В логах много запросов от Яндекса и Google, но данные Вебмастера этого не показывают. Почему?
Скорее всего, часть запросов приходит от ботов, подделывающих user-agent. Проверьте обратным DNS. Второй вариант — вы смотрите разные периоды: данные в панелях появляются с задержкой в несколько дней.

Насколько критично, если робот ходит по сайту ночью и создаёт нагрузку?
Это нормально и специально вынесено на часы низкой активности. Ограничивать частоту обхода стоит только тогда, когда сервер действительно захлёбывается, и делать это лучше не блокировкой, а увеличением ресурсов и кэшированием.

Коротко

• Поведение робота меняется за две-шесть недель до падения трафика — это единственный сигнал, который приходит заранее и бесплатно.
• Четыре типа аномалий: обвал частоты обхода, смещение бюджета на мусорные адреса, рост ошибок и деградация ответа, обход без пополнения индекса.
• Первым делом отделяйте техническую причину от оценочной: если синхронно выросло время ответа или доля 5xx и 429, дело в сервере, а не в качестве сайта.
• Половина «аномалий» в логах оказывается чужими ботами с подделанным user-agent — проверяйте IP обратным DNS до любых выводов.
• Настоящий сигнал — устойчивое изменение больше чем на треть дольше двух недель без плановых работ; всё остальное шум.
• Разбор идёт по фиксированному порядку: дата слома, доступность, коды ответа, время ответа, директивы, структура запросов, диагностика и ссылки.
• Еженедельный пятиминутный взгляд на статистику обхода ловит проблему на стадии, когда она чинится настройкой, а не восстановлением позиций.

Если графики обхода у вас уже поехали, а причину найти не получается, приходите на SEO-консультацию: посмотрим статистику обхода и логи вместе, определим, техническая это история или вопрос к качеству страниц, и составим порядок действий с приоритетами — что чинить сегодня, а что можно отложить.