Краулинговый бюджет: что это и почему Яндекс не обходит половину вашего сайта

Краулинговый бюджет заканчивается раньше, чем робот Яндекса добирается до половины ваших страниц, — и владелец сайта об этом обычно не подозревает. Каталог на пятьдесят тысяч товаров, в поиске четыреста карточек, все тексты написаны, все метатеги заполнены, а роста нет: страниц просто нет в индексе, потому что робот до них не дошёл.

Ситуация выглядит как проклятие, а объясняется арифметикой. У обхода есть суточная норма, и она конечна. Если норма тратится на адреса с параметрами фильтров, на страницы внутреннего поиска и на несуществующие адреса, оставшиеся после переезда, то на карточки товара её не остаётся. Ниже — как эта норма формируется, где она утекает и в каком порядке возвращать её на полезные страницы.

Из чего складывается краулинговый бюджет

Никакой фиксированной квоты поисковая система вам не выдаёт. Величина динамическая и складывается из двух независимых частей.

Первая — сколько запросов выдерживает ваш сервер. Робот следит за временем ответа. Если сайт отвечает быстро и не начинает тормозить под нагрузкой, темп обхода растёт. Если время ответа скачет или появляются ошибки сервера, робот снижает частоту запросов, чтобы не уронить площадку. Это техническая часть, и она полностью в вашей власти.

Вторая — насколько ваши страницы считают достойными обхода. Часто обновляемые страницы, страницы с внешними ссылками, страницы, на которые ведёт много внутренних ссылок, разделы с живым спросом — обходятся чаще. Страницы без входящих ссылок, с тонким содержимым, дубли и адреса, которые при прошлых визитах оказывались пустыми, уходят в конец очереди.

Итоговый бюджет — произведение этих двух величин. Отсюда важный практический вывод: ускорение сервера поднимает планку для всего сайта сразу, а работа с содержимым перераспределяет обход между страницами. Первое даёт быстрый эффект, второе — устойчивый.

Кому эта проблема важна, а кому нет

Честная граница выглядит так. Для сайта услуг на пятьдесят-двести страниц краулинговый бюджет не проблема: робот обходит такой сайт за сутки-двое, и если страницы не в индексе, причина в другом — в качестве, в запретах, в дублях. Тратить время на оптимизацию обхода здесь незачем.

Проблема становится реальной примерно с двух-трёх тысяч страниц и критичной — с десяти тысяч. Отдельная категория риска — сайты, у которых страниц формально немного, но адресов с параметрами очень много: любой каталог с фильтрами, любой сайт с внутренним поиском, любой блог с тегами и архивами по датам. Там сотня статей превращается в десять тысяч адресов, и робот честно ходит по всем.

Простой признак, что вас это касается: разделите число страниц, которые должны быть в поиске, на число страниц, которые робот обходит в сутки. Если получилось больше тридцати — полный цикл обхода занимает больше месяца, и новые материалы будут появляться в поиске с задержкой в недели.

Как посмотреть свой бюджет в Вебмастере

Все нужные цифры лежат в Яндекс.Вебмастере, в разделе индексирования. Смотреть надо три вещи и обязательно в связке — по отдельности каждая вводит в заблуждение.

Смежный материал по теме — «Краулинговый бюджет сайта: что это такое и как его оптимизировать».

1. Статистика обхода, число страниц в сутки. Это ваш фактический бюджет. Полезно смотреть не одно значение, а график за квартал: провалы обычно совпадают с датами обновлений сайта или проблем на хостинге.
2. Среднее время ответа сервера. До 300 миллисекунд — хорошо, до 600 — терпимо, выше — робот сознательно сбавляет темп. Если время ответа выросло, а число обойденных страниц упало, причина найдена без дальнейших раскопок.
3. Коды ответов в обходе. Здесь видно, что именно робот скачал. Если среди обойденных адресов заметная доля 404, 301 и 5xx — бюджет уходит в пустоту. Нормально, когда доля неуспешных кодов в пределах нескольких процентов.

Дальше сравните два числа: сколько страниц на сайте и сколько в поиске. Разница — ваша мёртвая зона. В разделе исключённых страниц по каждому адресу указана причина, и это самая полезная таблица на всём сайте Вебмастера: «недостаточно качественная», «дубль», «запрет в robots», «ошибка при обходе» лечатся совершенно по-разному, и общего диагноза «плохо индексируется» не существует.

Ещё один полезный отчёт — дата последнего обхода по конкретным адресам. Возьмите десяток важных страниц из глубины каталога и посмотрите, когда робот заходил на них в последний раз. Если два месяца назад, значит, до них очередь доходит редко, и любые правки на этих страницах начнут действовать нескоро.

Куда утекает бюджет

Помогу с продвижением: раскрутка сайта белыми методами — вывожу сайты в топ Яндекса белыми методами.

Шесть источников, на которые приходится почти весь потерянный обход. Порядок в таблице — по частоте, с которой я нахожу их на аудитах.

Источник потерь	Как выглядит	Чем закрывать
Фильтры и сортировки каталога	Каждое сочетание параметров — отдельный адрес; десять фильтров дают десятки тысяч комбинаций	Запрет обхода параметров, canonical на основную категорию, отдельные страницы только под востребованные сочетания
Рекламные метки в адресах	Одна страница доступна по десяткам адресов с utm, yclid, from	Директива Clean-param для Яндекса, canonical на чистый адрес
Внутренний поиск по сайту	Тысячи адресов вида ?s=запрос, порождаемых любым посетителем и роботом	Запрет обхода в robots.txt — это тот случай, когда закрывать надо именно там
Несуществующие адреса	Робот годами ходит по ссылкам, оставшимся после переезда или удаления раздела	Редиректы 301 на актуальные страницы, чистка внутренних ссылок и карты сайта
Страницы с noindex, открытые для обхода	Робот скачивает страницу, читает запрет и уходит — визит потрачен впустую	Если страница не нужна ни людям, ни поиску — закрыть обход; noindex оставлять только там, где страница нужна людям
Дубли по протоколу и адресу	Версии с www и без, http и https, со слэшем и без — до восьми копий каждой страницы	Редирект 301 на одну выбранную версию, единообразие внутренних ссылок

Отдельная строка, которая не влезла в таблицу, — пагинация. Сама по себе она полезна: через листание робот добирается до товаров в глубине каталога. Вредной она становится, когда листание бесконечное, когда страниц листания сотни, а товары на них дублируются из-за сортировки. Разумный подход — оставить листание открытым, но добавить в каталог плоские точки входа: подкатегории, подборки, страницы популярных фильтров со своими текстами. Тогда путь до товара сокращается с двадцати кликов до трёх.

Скорость ответа сервера — множитель для всего остального

Из всех работ по краулинговому бюджету ускорение сервера даёт самый быстрый видимый результат, потому что действует не на отдельные страницы, а на весь темп обхода сразу. Механика прямая: робот меряет время ответа и подстраивает частоту запросов.

Что реально снижает время ответа на типовом сайте:

• Кэширование готовых страниц. Самая большая единичная выгода. Страница, собранная заранее, отдаётся за десятки миллисекунд вместо сотен. Ограничение одно: страницы с формами и корзиной кэшировать целиком нельзя, для них нужны исключения.
• Индексы в базе данных. На каталогах с фильтрами узкое место обычно не в PHP, а в запросах к базе. Признак — время ответа растёт с ростом числа товаров.
• Отказ от тяжёлых плагинов на каждом запросе. Счётчики просмотров, «похожие товары», пересчёт остатков — всё, что выполняется при каждом открытии страницы, платит из бюджета обхода.
• Хостинг под нагрузку. Если тариф ограничивает число одновременных процессов, часть запросов встаёт в очередь. Признак — плавающее время ответа: ночью 200 миллисекунд, днём две секунды при той же посещаемости.

Проверять результат надо не в браузере, а в статистике обхода Вебмастера: там видно и время ответа, и число обойденных страниц. Рост числа страниц в сутки после ускорения проявляется в течение двух-трёх недель.

Карта сайта и внутренние ссылки: как показать роботу приоритеты

Робот выбирает, куда идти, по ссылкам. Значит, распределением ссылок вы управляете обходом. Это самый недооценённый рычаг: он не требует ни программиста, ни хостинга.

Если нужны детали, смотрите «Как попасть в ТОП Яндекс: 5 стратегий для вашего сайта».

Карта сайта. В неё попадают только адреса, отдающие код 200 и открытые для индексации. Страницы с noindex, редиректы и удалённые адреса из карты убирают — иначе вы сами отправляете робота в тупик. Дата последнего изменения должна меняться при реальной правке страницы: если у всех адресов стоит вчерашнее число, робот перестаёт этому сигналу верить. На больших каталогах карту разбивают на несколько файлов по разделам — так по статистике обхода видно, какой раздел робот берёт охотнее.

Глубина вложенности. Страница, до которой от главной пять переходов, обходится заметно реже страницы в двух переходах. Проверяется краулером: он показывает глубину для каждого адреса. Если у половины товаров глубина больше четырёх, структура каталога требует правки, а не обхода.

Страницы-сироты. Адреса, на которые не ведёт ни одной внутренней ссылки. Они есть почти на каждом сайте старше пары лет: остались после переделки меню, после смены структуры разделов, после удаления подборок. Робот про них узнаёт только из карты сайта и заходит по остаточному принципу. Находятся сопоставлением списка адресов из карты со списком адресов, найденных краулером при обходе по ссылкам.

Перелинковка внутри разделов. Блоки «похожие товары», «читайте также», ссылки из статей на услуги — всё это пути, по которым робот доходит до глубины. Важна не только их наличие, но и разнообразие: если блок «похожие» на всех карточках показывает одни и те же пять товаров, он ведёт робота по кругу.

Robots.txt, canonical и noindex: чем что закрывать

Три инструмента, которые постоянно путают между собой. Разница принципиальная, и от неё зависит, сэкономите вы бюджет или потратите его впустую.

Инструмент	Что делает	Когда применять
Disallow в robots.txt	Запрещает обход: робот на адрес не заходит и содержимое не скачивает	Служебные разделы, внутренний поиск, параметры сортировки — всё, что не нужно ни людям в поиске, ни роботу
Метатег noindex	Разрешает обход, запрещает показ в выдаче: робот скачивает страницу и не индексирует	Страницы, нужные посетителям, но не нужные в поиске: благодарность после формы, личный кабинет, служебные разделы с внутренними ссылками
Canonical	Не запрещает ничего: указывает, какой из похожих адресов считать основным	Дубли содержимого, метки в адресах, версии для печати
Clean-param	Сообщает Яндексу, какие параметры адреса не меняют содержимое	Рекламные метки, идентификаторы сессий, параметры трекинга
Редирект 301	Жёстко склеивает адреса и передаёт сигналы на новый	Переезды, смена структуры адресов, склейка www и протокола

Главная ошибка в этом наборе — закрывать в robots.txt страницы, на которые надо поставить noindex. Робот не заходит на адрес, не видит запрета внутри и может оставить страницу в выдаче по внешним ссылкам. Обратная ошибка не менее частая: ставить noindex туда, где страница вообще не нужна. Робот всё равно её скачивает при каждом обходе, и визит расходуется впустую.

Отдельно про canonical: он не экономит бюджет обхода. Робот заходит на страницу, читает указание и учитывает его при индексации — но визит уже потрачен. Для экономии обхода нужен запрет или редирект, canonical решает другую задачу.

Порядок работ и как измерять результат

Список правок обычно получается длинный, и делать его подряд неэффективно. Порядок, который даёт результат быстрее всего:

Подробнее об этом — в статье «Индексация сайта от А до Я: robots.txt, sitemap, краулинговый бюджет».

1. Кодовая гигиена. Несуществующие адреса должны отдавать 404, дубли по www и протоколу — склеиваться редиректом. Это фундамент, без него остальные работы неточны.
2. Скорость ответа. Довести среднее время ответа до трёхсот миллисекунд. Поднимает планку обхода для всего сайта.
3. Закрытие мусорных адресов. Внутренний поиск, сортировки, метки. Освобождает основную долю потерянного бюджета.
4. Чистка карты сайта. Только рабочие адреса, корректные даты изменения, разбивка по разделам.
5. Структура и перелинковка. Сокращение глубины, устранение страниц-сирот, живые блоки внутренних ссылок.
6. Работа с тонкими страницами. Адреса, которые робот раз за разом помечает малоценными, либо наполняются, либо объединяются, либо закрываются.

Измерять результат надо тремя числами, снятыми до начала работ и потом раз в две недели: число страниц, обойденных в сутки; число страниц в поиске; доля неуспешных кодов в обходе. Первое реагирует быстрее всего — за две-три недели. Второе подтягивается за полтора-два месяца. Позиции и трафик идут следом и зависят уже не только от обхода.

Чего делать не стоит: массово отправлять адреса на переобход вручную в надежде ускорить индексацию. Инструмент полезен точечно — для десятка важных страниц после правки. Массовая отправка не увеличивает бюджет, а только меняет порядок очереди, и при неисправленных причинах результат обнуляется за неделю. Если технических правок на сайте накопилось много, разумнее сначала привести его в порядок — это как раз тот случай, когда нужна доработка сайта, а не очередная отправка на переобход.

Частые вопросы

Сколько страниц в сутки — это нормально?
Абсолютного числа нет, оно зависит от размера сайта. Правильнее считать отношение: сколько дней уйдёт на полный цикл обхода нужных страниц. До недели — хорошо, до месяца — терпимо для крупного каталога, больше месяца — надо разбираться.

Помогает ли увеличить бюджет платное размещение или реклама?
Нет, это разные системы. Обход зависит от технического состояния сайта и от того, насколько его страницы считаются ценными. Рекламный бюджет на это не влияет никак.

Можно ли попросить робота ходить чаще?
Прямого регулятора нет. Косвенно частота растёт от трёх вещей: быстрый ответ сервера, регулярное обновление содержимого и внешние ссылки на сайт. Директива Crawl-delay, которую иногда советуют, работает в обратную сторону — она замедляет обход, и её ставят только когда сервер не справляется.

Мы закрыли фильтры в robots.txt, но адреса всё ещё в поиске. Почему?
Потому что запрет обхода не удаляет то, что уже проиндексировано, — он лишь запрещает заходить заново. Адреса будут выпадать постепенно, месяцами. Если нужно быстро, применяют другой порядок: сначала оставляют обход открытым и ставят noindex, ждут переиндексации, и только потом закрывают обход.

У нас интернет-магазин на пять тысяч товаров, в поиске тысяча. Это норма?
Само по себе число ни о чём не говорит. Откройте раздел исключённых страниц и посмотрите причины. Чаще всего находится одно из двух: обход уходит на адреса фильтров вместо карточек — это лечится техникой за месяц-полтора; или карточки отличаются друг от друга одним словом в названии и признаются малоценными — это лечится описаниями и лечится дольше.

Стоит ли удалять старые статьи, которые не приносят трафика?
Удалять — редко. Обычно выгоднее объединить несколько слабых материалов в один сильный и поставить редиректы со старых адресов. Удаление без редиректа создаёт новые несуществующие адреса, по которым робот потом ходит годами, — то есть решает одну проблему и создаёт другую.

Как понять, что бюджет вообще является нашей проблемой?
По трём признакам сразу: страниц на сайте много больше, чем в поиске; в статистике обхода заметная доля адресов с параметрами или неуспешных кодов; новые материалы появляются в поиске неделями. Если хотя бы один признак отсутствует, причина скорее в качестве страниц, и аудит сайта на ошибки покажет её точнее, чем работа с обходом.

Коротко

• Краулинговый бюджет складывается из двух частей: сколько запросов выдерживает сервер и насколько ценными считаются ваши страницы. Первое ускоряет обход целиком, второе перераспределяет его между страницами.
• Для сайта до пары тысяч страниц проблема неактуальна: если страницы не в индексе, причина в качестве или в запретах, а не в обходе.
• Основные потери — фильтры и сортировки, метки в адресах, внутренний поиск, несуществующие адреса, дубли по протоколу и страницы с noindex, открытые для обхода.
• Robots.txt запрещает обход, noindex запрещает показ, canonical не запрещает ничего. Путаница между ними даёт обратный результат.
• Управлять обходом можно без программиста: чистой картой сайта, сокращением глубины вложенности и устранением страниц-сирот.
• Результат меряют тремя числами — страниц в сутки, страниц в поиске, доля неуспешных кодов. Первое реагирует за две-три недели.

Если сайт большой и непонятно, что именно съедает обход, разбор проекта с приоритетами удобнее заказать как SEO-консультацию: смотрю статистику обхода, нахожу источники потерь и говорю, в каком порядке их закрывать. Первичную проверку можно запустить прямо сейчас — бесплатный аудит сайта.