Краулинговый бюджет сливается в никуда, пока вы пишете тексты: куда на самом деле уходит внимание робота

Краулинговый бюджет сливается в никуда обычно не из-за плохих текстов и не из-за «зарезавшего» алгоритма, а из-за того, что робот тратит отведённое ему время на страницы, которых на сайте вообще не должно быть в открытом виде. Владелец в это время пишет новые статьи, переписывает карточки и ждёт роста — а поисковый робот неделями ходит по фильтрам, сортировкам, дублям и редиректам и до новых материалов просто не доходит.

Ниже — механика: из чего складывается лимит обхода, какие разделы съедают его чаще всего, как за полчаса увидеть реальный маршрут робота по своему сайту и в каком порядке чинить, чтобы новые страницы попадали в поиск за дни, а не за месяцы.

Из чего складывается краулинговый бюджет

Лимит обхода — это количество обращений, которое поисковая система готова сделать к вашему серверу за единицу времени. Он складывается из двух независимых величин, и путать их нельзя.

Первая — техническая пропускная способность. Робот следит за тем, как быстро сервер отвечает и не начинает ли он отдавать ошибки под нагрузкой. Если среднее время ответа растёт с 200 мс до полутора секунд, частота обращений автоматически снижается: система бережёт чужой сервер от падения. Точно так же лимит режется, когда в ответах появляются коды 5xx или таймауты. Это самый прямой способ потерять обход, ничего специально не сделав, — просто переехав на дешёвый тариф хостинга.

Вторая — интерес к сайту. Он складывается из того, насколько часто содержимое обновляется, приходят ли на страницы люди, ссылаются ли на материал снаружи, попадали ли раньше страницы в выдачу и приносили ли клики. Сайт, где половина страниц никогда не показывалась в результатах поиска, постепенно получает всё более редкие визиты робота. Это не наказание, а экономия: система не видит смысла тратить ресурс на то, что в выдаче не участвует.

Отсюда следует неочевидный вывод. Бюджет обхода не выдаётся раз и навсегда — он подвижен в обе стороны. Ускорили ответ сервера, убрали мусорные разделы, начали регулярно обновлять важные страницы — частота обхода растёт. Раздули сайт на сотни тысяч технических адресов — падает, причём падает и по нужным страницам тоже, потому что лимит общий.

Куда утекает бюджет: типовые пожиратели

За годы аудитов список причин почти не меняется. Меняются только пропорции: где-то главный виновник — фильтры каталога, где-то — календарь на движке, где-то — старые редиректы после переезда.

Что съедает обход	Как выглядит	Типичный масштаб
Фильтры и сортировки каталога	Адреса с параметрами вида ?color=&size=&sort=	От тысяч до сотен тысяч адресов
Метки рекламных кампаний	Одна страница в десятках вариантов с utm-хвостами	Кратное дублирование каталога
Пагинация без ограничений	Страницы 2, 3, 4 … 400 с почти одинаковым содержимым	Сотни адресов на раздел
Цепочки редиректов	Адрес ведёт на адрес, тот на третий, третий на конечный	Три-четыре обращения вместо одного
Битые внутренние ссылки	Ссылки на удалённые страницы, отдающие 404	Десятки процентов обхода на пустоту
Служебные разделы движка	Архивы по датам, теги, страницы авторов, поиск по сайту	Часто больше, чем полезных страниц
Пустые карточки и разделы	Товары без описаний, категории без товаров	Растёт вместе с каталогом
Дубли по протоколу и слешу	Один документ доступен по четырём-восьми адресам	Умножение всего сайта

Обратите внимание на последнюю строку. Если документ открывается с www и без, с завершающим слешем и без него, а вдобавок отвечает по http без принудительного перехода на https, робот честно считает это разными документами. Восьмикратное умножение сайта — это восьмикратное деление бюджета на полезные страницы.

Как посмотреть, чем робот занят на самом деле

Догадки тут не работают. Нужны два источника данных, и оба доступны без платных сервисов.

Первый — панели для вебмастеров. В Яндекс.Вебмастере откройте «Индексирование → Статистика обхода»: там видно, сколько страниц робот загрузил за день, какие коды ответа получил и какие адреса обходил. Выгружайте архив за максимальный доступный период и смотрите не сводные цифры, а сам список адресов. В Search Console аналогичные данные лежат в отчёте «Статистика сканирования» — там же разбивка по типам файлов и по причине обращения.

Второй, куда более честный — логи веб-сервера. Это единственный источник, который показывает все обращения, а не выборку. Попросите доступ к access-логам за две-четыре недели и посчитайте обращения роботов в разрезе разделов сайта. Практический порядок работы такой:

Подробнее об этом — в статье «Проверка текста на уникальность: сколько процентов на самом деле нужно поиску».

1. Отфильтруйте строки по идентификатору робота в поле User-Agent, отдельно по каждой поисковой системе.
2. Проверьте, что это действительно робот, а не подделка: у основных систем есть обратная проверка по IP.
3. Сгруппируйте адреса по первому уровню вложенности и посчитайте долю обращений на каждую группу.
4. Отдельно посчитайте распределение по кодам ответа: сколько ушло на 200, сколько на 301, 404 и 5xx.
5. Сравните список часто посещаемых адресов со списком страниц, которые приносят вам показы в поиске.

Дальше начинается самое отрезвляющее. Обычно оказывается, что на страницы, приносящие трафик, приходится меньше трети обращений. Остальное — параметры, редиректы, ошибки и разделы, о существовании которых владелец не подозревал.

Третий источник, вспомогательный, — краулер вроде бесплатных настольных сканеров. Он покажет, куда ведут ваши внутренние ссылки. Важно понимать разницу: краулер показывает, что вы сами предлагаете роботу, а логи — что робот на самом деле делает. Расхождение между этими двумя картинами и есть зона потерь.

Параметры, фильтры и бесконечные комбинации

Помогу с продвижением: раскрутка сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Каталог с фильтрами — главный генератор мусорных адресов. Пять фильтров по десять значений в каждом дают десятки тысяч комбинаций, и каждая из них технически доступна по своему адресу. Робот, находя ссылки на эти комбинации в вёрстке, обходит их одну за другой. Полезного содержимого там нет: те же товары в другом порядке.

Правильный подход состоит из трёх решений, принимаемых осознанно, а не по шаблону.

Первое. Определите, какие комбинации фильтров имеют самостоятельный спрос. «Кроссовки мужские зимние» — имеют, по ним ищут. «Кроссовки, отсортированные по возрастанию цены, вторая страница» — нет. Первую группу превращайте в нормальные страницы с человекопонятным адресом, собственным заголовком, текстом и метаданными. Вторую закрывайте от обхода.

Второе. Закрывайте не только правилом в robots.txt, но и на уровне вёрстки. Ссылки на служебные комбинации не должны попадать в HTML как обычные ссылки: если фильтр реализован без перезагрузки страницы, робот их и не увидит. Правило в robots.txt останавливает загрузку, но не мешает роботу пытаться — а вот отсутствие ссылки решает вопрос полностью.

Третье. Метки рекламных кампаний и идентификаторы сессий должны либо отбрасываться сервером с постоянным перенаправлением на чистый адрес, либо, если это ломает аналитику, страница обязана указывать канонический адрес без параметров. Указание канонического адреса — рекомендация, а не команда: система вправе её проигнорировать. Поэтому в спорных случаях надёжнее перенаправление.

Редиректы, битые ссылки и цепочки

Каждый переход по цепочке — отдельное обращение, потраченное из общего лимита. Адрес, который ведёт на второй, тот на третий, а третий на конечный документ, стоит вчетверо дороже прямой ссылки. На сайте, пережившем два переезда структуры, такие цепочки исчисляются тысячами.

Что делать по порядку:

Тему разбирал отдельно: «Яндекс начал банить ИИ-тексты без правки: проверьте свой сайт, пока не поздно».

• Выгрузите все внутренние ссылки краулером и найдите те, что отдают код 301 или 302. Замените их в вёрстке на конечные адреса. Перенаправление на сервере оставьте — оно нужно для внешних ссылок и закладок, но внутри сайта ссылаться нужно сразу на конечную точку.
• Разберите цепочки длиннее одного шага: перенаправление должно вести напрямую на итоговый адрес, а не через промежуточные.
• Найдите внутренние ссылки на несуществующие страницы. Каждая такая ссылка — приглашение роботу сходить в пустоту, и он это приглашение принимает, причём регулярно.
• Проверьте, какие адреса отвечают кодом 200, хотя должны отвечать 404. Движки часто отдают «страница не найдена» с успешным кодом — робот считает такие страницы нормальными и продолжает их обходить и переобходить.
• Замените временные перенаправления на постоянные там, где переезд окончательный. Временное перенаправление заставляет робота возвращаться к старому адресу снова и снова.
• UTM-метки для Директа: откуда на самом деле пришла заявка

Отдельная история — удалённые разделы. Если категория закрыта навсегда, ей нужен код 410, а не 404: он говорит системе, что возвращаться не нужно. Разница в частоте повторных обращений заметная.

Дубли, пагинация и служебные страницы

Пагинация сама по себе не вредна: это нормальный способ разбить длинный список. Вредна пагинация без границ, когда раздел разворачивается на четыреста страниц, а на каждой из них ещё и дублируется вводный текст категории. Разумный подход — сокращать глубину: увеличить число элементов на странице, ввести дополнительные подразделы, чтобы пользователь попадал в нужное место в два клика, а не листал сорок экранов.

Служебные разделы движка — второй источник объёма. Архивы по месяцам и годам, страницы меток, страницы авторов на сайте с одним автором, результаты внутреннего поиска, печатные версии страниц, ленты вложений. Всё это создаётся автоматически и обходится роботом наравне с полезными материалами. Осмысленное правило: раздел остаётся открытым, только если он собирает собственный поисковый спрос и имеет уникальное содержимое. Метка, под которой лежат три статьи, спроса не собирает.

Третий источник — внутренние дубли содержимого. Карточки товаров, отличающиеся только цветом, при одинаковом описании воспринимаются как повторы. Решение не в том, чтобы переписать сто карточек вручную, а в том, чтобы выбрать одну главную и указать на неё как на каноническую с остальных, оставив различия в характеристиках.

Порядок действий: что чинить первым

Ошибка большинства — начинать с самого заметного. Правильнее начинать с самого дешёвого по трудозатратам и самого крупного по эффекту. Ниже порядок, который я применяю на аудитах.

Шаг	Что делаем	Что меняется
1	Склеиваем зеркала: один протокол, один вариант с www, один вариант слеша	Сайт перестаёт множиться в два-восемь раз
2	Закрываем параметры фильтров и сортировок, убираем ссылки на них из вёрстки	Уходит основная масса мусорных адресов
3	Чиним внутренние ссылки на редиректы и 404	Обращения перестают уходить в пустоту
4	Отключаем ненужные служебные разделы движка	Освобождается заметная доля обхода
5	Ускоряем ответ сервера и включаем кэширование	Растёт технический лимит обращений
6	Приводим в порядок карту сайта: только адреса с кодом 200 и честными датами изменения	Робот получает точный список приоритетов
7	Настраиваем перелинковку на важные страницы	Обход перераспределяется в пользу нужного

Про карту сайта стоит сказать отдельно, потому что её постоянно портят. В карте не должно быть адресов, закрытых от индексирования, отдающих перенаправление или ошибку, а также страниц с указанием другого канонического адреса. Дата последнего изменения должна меняться только тогда, когда содержимое действительно менялось: если движок проставляет туда сегодняшнее число для всех страниц разом, значение теряет смысл и перестаёт учитываться.

Ошибки, из-за которых становится хуже

Если нужна помощь по теме — разработка сайта под ключ.

Половина проблем с обходом возникает после попыток его «оптимизировать». Самые частые промахи:

• Закрыть в robots.txt то, что уже в индексе. Запрет на загрузку не удаляет страницу из результатов поиска — он лишь мешает системе увидеть, что страница закрыта мета-тегом. Сначала ставим запрет на индексирование в коде страницы, ждём переобхода, и только потом при необходимости закрываем в robots.txt.
• Массово удалять страницы без разбора. Прежде чем сносить раздел, посмотрите в отчёте по запросам, приносит ли он показы. Малополезная на первый взгляд страница может держать длинный хвост запросов.
• Ставить указание канонического адреса вместо перенаправления. На технических дублях с параметрами это работает, на разных документах — нет: система сравнивает содержимое и при расхождении рекомендацию игнорирует.
• Ограничивать скорость обхода в панели без причины. Такой ползунок есть, и его иногда двигают «на всякий случай». Двигать его нужно только тогда, когда робот действительно создаёт нагрузку — это видно по логам и графикам сервера.
• Считать, что проблема в бюджете, когда сайт маленький. На сайте в двести страниц с нормальным сервером лимита обхода хватает с запасом. Если страницы не индексируются, причина почти всегда в другом: в качестве содержимого, в дублях или в запретах.
• UTM-метки для Директа: откуда на самом деле пришла заявка

Последний пункт важнее остальных. Лимит обхода становится реальным ограничением на проектах примерно от нескольких тысяч страниц и на любых каталогах с фильтрами. Для блога на сотню статей объяснять отсутствие роста нехваткой бюджета — значит лечить не ту болезнь.

Смежный материал по теме — «Что Яндекс на самом деле проверяет, когда решает, поднять вас или утопить».

Как понять, что стало лучше

Работа считается сделанной не тогда, когда закрыты параметры, а тогда, когда изменилось поведение робота. Смотрите на четыре показателя и сравнивайте их с периодом до правок.

Доля обращений на полезные страницы. Считается по логам: обращения к разделам, участвующим в выдаче, делённые на все обращения роботов. Рост этой доли — главный признак успеха.

Распределение по кодам ответа. Доля 200 должна расти, доли 301, 404 и 5xx — падать. Если после правок выросла доля перенаправлений, значит, внутренние ссылки не переписали на конечные адреса.

Скорость попадания новых страниц в поиск. Самый понятный владельцу показатель. Заведите простую таблицу: дата публикации, дата первого обращения робота, дата появления в результатах. До и после правок разница обычно видна невооружённым глазом.

Соотношение загруженных и участвующих в поиске страниц. В панелях для вебмастеров это видно напрямую. Здоровая картина — когда обе величины близки. Разрыв в разы означает, что робот тратит ресурс на то, что в выдачу всё равно не попадёт.

Частые вопросы

Сколько времени проходит между правками и изменением частоты обхода? От недели до полутора месяцев в зависимости от размера сайта. Технические ограничения — скорость ответа сервера — отрабатываются быстрее, интерес к сайту пересчитывается медленнее. Делать выводы на третий день бессмысленно.

Помогает ли ручная отправка адресов на переобход? Помогает для отдельных важных страниц и для срочных изменений. Как способ разгрузить обход не работает: лимит на ручную отправку небольшой, а причина потерь остаётся на месте.

Нужно ли закрывать пагинацию от индексирования? Не обязательно и часто вредно: через страницы списка робот добирается до товаров вглубь каталога. Разумнее сократить глубину и убедиться, что на каждой странице списка своя разметка заголовка и метаданных, а вводный текст категории не повторяется на всех страницах подряд.

Влияет ли скорость сайта только через лимит обхода? Нет, влияние двойное. Быстрый ответ увеличивает частоту обращений робота и одновременно улучшает поведение живых посетителей, а поведенческие сигналы учитываются при ранжировании отдельно. Экономия на хостинге бьёт сразу по двум направлениям.

Что делать, если каталог генерирует адреса бесконечно? Такое бывает при связках фильтров и календарей: комбинаций технически бесконечно много. Единственное надёжное решение — на уровне кода запретить генерацию ссылок на комбинации глубже определённого уровня и отдавать по таким адресам код 404. Никакие правила в robots.txt эту дыру полностью не закрывают.

Стоит ли смотреть логи, если сайт на типовом движке? Стоит, и в первую очередь именно на типовом. Массовые движки создают служебные разделы автоматически, и владелец о половине из них не знает, пока не увидит их в списке посещённых роботом адресов.

Коротко

• Лимит обхода складывается из технической пропускной способности сервера и интереса системы к сайту; обе величины подвижны и управляемы.
• Основные потери дают фильтры и параметры, зеркала по протоколу и слешу, цепочки редиректов, битые внутренние ссылки и служебные разделы движка.
• Догадки заменяются логами сервера: они показывают все обращения роботов, а не выборку, и сразу вскрывают перекос.
• Чинить нужно в порядке «дёшево и крупно»: сначала зеркала и параметры, потом ссылки и служебные разделы, затем скорость и карта сайта.
• Закрытие в robots.txt страницы, уже попавшей в индекс, не убирает её из выдачи — сначала запрет в коде страницы, потом запрет на загрузку.
• Результат меряется долей обращений на полезные страницы, распределением кодов ответа и скоростью появления новых страниц в поиске.
• UTM-метки для Директа: откуда на самом деле пришла заявка

Если по логам видно, что робот занят не тем, а разобраться в причинах самостоятельно не выходит, приходите на SEO-консультацию — разберём распределение обхода по вашему сайту и составим порядок работ под конкретный движок.