Как часто Яндекс индексирует сайты

Как часто Яндекс индексирует сайты — вопрос, за которым обычно стоит другой: почему моя новая страница до сих пор не в поиске, хотя опубликована неделю назад. Единого расписания у робота нет и быть не может: он распределяет ограниченный ресурс обхода между миллионами сайтов и приходит к каждому с той частотой, которую этот сайт заслужил. Крупный новостной портал переобходится раз в минуты, свежий блог на десять страниц — раз в несколько недель. В SEO с 2005 года я отвечаю на этот вопрос почти на каждой консультации, и почти всегда за ним прячется решаемая техническая причина.

Ниже — как устроен обход, от чего зависит его частота, чем индексация отличается от появления в выдаче, какими способами процесс ускоряется и что делать, если страница не индексируется месяцами.

Три разных процесса, которые путают между собой

Половина непонимания идёт от смешения понятий. Их три, и они идут последовательно.

Обход (сканирование). Робот запрашивает страницу и получает её код. На этом этапе он ещё ничего не решает — просто скачивает. Обход виден в логах сервера и в статистике панели вебмастера.

Индексирование. Поисковик разбирает скачанную страницу, оценивает её и решает, стоит ли держать в базе. Часть страниц отсеивается: дубли, пустые, малоинформативные, закрытые правилами. Обойденная страница не равна проиндексированной.

Ранжирование. Проиндексированная страница участвует в подборе ответов на запросы. Она может быть в индексе и при этом не показываться нигде, потому что по всем запросам проигрывает другим.

Практический вывод: прежде чем спрашивать «почему нет позиций», проверьте, на каком из трёх этапов застряла страница. Диагностика и лечение на каждом этапе разные.

Симптом	Где смотреть	Что означает
Страницы нет в статистике обхода	Раздел обхода в панели вебмастера, логи сервера	Робот до неё не добрался: нет ссылок, нет в карте сайта, закрыта в robots.txt
Обход есть, в индексе нет	Проверка адреса в панели	Страница отсеяна: дубль, тонкое содержание, служебная
В индексе есть, показов нет	Отчёт по запросам	Проблема ранжирования, а не индексации
Показы есть, переходов нет	Отчёт по запросам, позиции	Низкая позиция или слабый сниппет

От чего зависит частота обхода

Робот распределяет ресурс, а не раздаёт его поровну. Факторы, влияющие на вашу долю, следующие.

• Частота обновлений. Сайт, где содержание меняется ежедневно, приучает робота приходить чаще. Сайт, где за полгода не изменилось ничего, посещается реже — незачем.
• Скорость ответа сервера. Робот ограничивает нагрузку: если сервер отвечает медленно или отдаёт ошибки, темп обхода снижается, чтобы не уронить сайт.
• Размер сайта и глубина вложенности. Страницы в четырёх кликах от главной обходятся заметно реже, чем в одном.
• Внешние ссылки. Ссылка с часто обходимого ресурса приводит робота на новую страницу быстрее любых карт.
• Качество прошлого обхода. Если большая доля обойденных страниц оказалась дублями или пустышками, ресурс на сайт сокращается.
• Тип сайта. Новостные и часто обновляемые проекты получают отдельный, более быстрый режим обхода.
• Возраст и накопленное доверие. Молодой домен обходится осторожно, пока не наберёт историю.

Отсюда простое правило: частоту обхода нельзя купить или настроить галочкой, но на неё можно влиять — регулярностью публикаций, скоростью сервера, чистотой структуры и качеством того, что вы отдаёте роботу.

Что такое бюджет обхода и как его тратят впустую

Количество страниц, которое робот готов скачать за визит, конечно. Когда сайт небольшой, вопрос неактуален: несколько сотен страниц обходятся полностью. Когда счёт идёт на десятки и сотни тысяч, распределение бюджета становится главным техническим вопросом.

Куда бюджет утекает чаще всего:

Подробнее об этом — в статье «Яндекс ужесточил требования: сайты, написанные «под старое SEO», уже вылетают из топа».

1. Страницы фильтров и сортировок. Каталог из тысячи товаров с десятком фильтров порождает сотни тысяч адресов с параметрами. Робот честно обходит их вместо карточек товаров.
2. Пагинация без ограничений. Сотни страниц списка с почти одинаковым содержанием.
3. Дубли по адресам. Со слешем и без, с www и без, с параметрами меток рекламных кампаний.
4. Служебные разделы. Корзина, сравнение, личный кабинет, результаты внутреннего поиска.
5. Цепочки перенаправлений. Каждый переход — отдельный запрос; цепочка из четырёх звеньев тратит вчетверо больше.
6. Страницы с ошибками. Массовые ответы 404 и 5xx снижают темп обхода целиком.

Разбирается это по статистике обхода в панели вебмастера: там видно, какие разделы робот скачивает и с какими кодами ответа. Если в списке преобладают адреса с параметрами, а карточки товаров туда почти не попадают, вы нашли причину, по которой новые товары не индексируются неделями.

Освобождается бюджет тремя приёмами, и применять их надо именно в таком порядке. Сначала закрываются от обхода служебные параметры — сортировки, виды отображения, метки рекламных кампаний: они не создают нового содержания, но плодят адреса. Затем спрямляются перенаправления: цепочки собираются в один переход, а внутренние ссылки правятся сразу на конечный адрес. И только потом решается вопрос с фильтрами — те комбинации, под которые есть реальный спрос, оставляют как самостоятельные страницы с собственным заголовком и описанием, остальные закрывают.

Помогу с продвижением: SEO-продвижение от Анатолия Кузнецова — вывожу сайты в топ Яндекса белыми методами.

Порядок важен, потому что первые два шага дешёвые и дают эффект сразу, а разбор фильтров требует работы с семантикой и занимает недели. Начинать с него — значит месяц ничего не менять там, где освобождение бюджета доступно за один вечер.

Отдельно о том, как защитить свои тексты от копирования:

4:23

Способы ускорить индексацию

Инструменты есть, но эффект у них разный, и порядок применения имеет значение.

Способ	Скорость эффекта	Ограничения	Когда применять
Переобход страниц в панели вебмастера	От нескольких часов до пары дней	Суточный лимит адресов	Точечно: новая важная страница, правка заголовков, исправление ошибки
Протокол мгновенного оповещения (IndexNow)	Часы	Нужна настройка на стороне сайта; поддерживается не всеми системами	Сайты с регулярными публикациями и обновлениями
Карта сайта	Дни и недели	Не гарантия индексации, а подсказка	Всегда, как базовая настройка; обязательно с актуальными датами изменений
Внутренние ссылки на новую страницу	Дни	Требует продуманной структуры	Всегда: ссылка с часто обходимой страницы работает лучше карты
Внешняя ссылка с активного ресурса	Часы и дни	Зависит от донора	Для важных страниц и молодых сайтов
Ускорение сервера	Недели	Требует работы с хостингом и кодом	Когда в статистике видны ошибки и долгий ответ

Отдельно про даты изменения в карте сайта. Многие системы проставляют туда текущую дату для всех страниц при каждой генерации. Робот быстро понимает, что дате верить нельзя, и перестаёт на неё ориентироваться. Дата должна отражать реальную последнюю правку страницы — иначе карта теряет половину смысла.

Сколько ждать: реальные ориентиры

Точных сроков не даёт никто, включая саму поисковую систему, но диапазоны по практике такие.

Ситуация	Типичный срок появления в поиске
Новая страница на активном сайте с частыми публикациями	От нескольких часов до 2–3 дней
Новая страница на редко обновляемом сайте	1–3 недели
Первые страницы совсем нового домена	2–6 недель после первых внешних сигналов
Правка текста на уже проиндексированной странице	От нескольких дней до 3–4 недель
Массовая правка сотен страниц	1–2 месяца до полного переобхода
Удаление страницы из индекса	От недели до месяца, быстрее — через инструмент удаления

Если сроки у вас существенно больше — это не «так работает Яндекс», а сигнал искать техническую причину. Чаще всего она в списке из следующего раздела.

Тему разбирал отдельно: «Почему Яндекс не индексирует новые статьи на WordPress — и что с этим делать за один вечер».

Почему страница не индексируется: разбор по порядку

Проверять нужно последовательно, от самого частого к редкому.

1. Запрет в robots.txt. Проверяется инструментом анализа файла в панели: вставляете адрес и смотрите, разрешён ли он. Частая ловушка — запрет, унаследованный с тестовой версии сайта после переноса.
2. Метатег с запретом индексирования. Указание noindex в коде страницы или в заголовке ответа сервера. Смотреть надо исходный код, а не то, что показывает браузер после работы скриптов.
3. Канонический адрес указывает на другую страницу. Тогда поисковик считает вашу страницу копией и в индекс не берёт.
4. Код ответа не 200. Страница может выглядеть нормально в браузере, а сервер при этом отдаёт 404 или 30x. Проверяется любым сервисом проверки заголовков.
5. Страница недоступна по ссылкам. Ни в меню, ни в списках, ни в карте сайта — робот о ней просто не знает.
6. Содержание генерируется скриптами. Если текст появляется только после выполнения JavaScript, робот может увидеть пустую страницу. Проверяется просмотром исходного кода без выполнения скриптов.
7. Дубль существующей страницы. Панель прямо показывает, какую страницу поисковик считает основной вместо вашей.
8. Слишком мало содержания. Страница в пару предложений без уникальной информации отсеивается как малополезная.
9. Сервер отдаёт ошибки под нагрузкой. Робот приходит, получает 5xx и снижает темп. Видно в статистике обхода по датам.
10. Санкции. Редкий, но возможный случай; в панели есть отдельный раздел с уведомлениями о нарушениях.

В девяти случаях из десяти причина находится в первых пяти пунктах, и обнаруживается она за пятнадцать минут работы с панелью вебмастера.

Можно ли украсть контент до индексации

Опасение частое, и оно небеспочвенно: если чужая копия попадёт в индекс раньше оригинала, поисковику придётся выбирать первоисточник по косвенным признакам, и выбор может оказаться не в вашу пользу.

Что реально снижает риск:

• Быстрая индексация оригинала. Отправка на переобход сразу после публикации — самый простой и действенный шаг.
• Настроенное мгновенное оповещение. Если сайт умеет сообщать поисковику о новых адресах автоматически, разрыв между публикацией и обходом сокращается до часов.
• Анонс на внешних площадках. Ссылка на новый материал в соцсетях и каналах приводит робота быстрее.
• Регулярность публикаций. Сайт, который публикует материалы по графику, обходится чаще, и окно для копирования сужается само.
• Внутренние ссылки с обновляемых разделов. Новая статья, на которую ссылается главная и блок свежих материалов, находится быстрее.

Если копия всё же появилась раньше, у поисковых систем есть механизмы обращения по поводу заимствованного содержания. Но проще не доводить: ускорить обход собственных публикаций дешевле, чем потом что-то доказывать.

Как следить за индексацией на постоянной основе

Если нужна помощь по теме — проверить сайт.

Разовая проверка бесполезна — нужна регулярная картина. Минимальный набор наблюдений.

График страниц в поиске. В панели вебмастера видно, сколько страниц в индексе и как это число меняется. Резкое падение — повод разбираться в тот же день, а не через квартал.

Смежный материал по теме — «За что Яндекс банит сайты».

Разбивка исключённых страниц по причинам. Панель группирует исключения: дубль, ошибка, запрет, малоценная. Это самый информативный отчёт из всех — он прямо говорит, что чинить.

Статистика обхода. Сколько страниц робот скачивает в сутки и с какими кодами ответа. Рост доли ошибок — ранний признак проблем с сервером.

Соотношение опубликованных и проиндексированных. Для крупного сайта разрыв нормален, но он не должен расти. Если из тысячи новых карточек в индекс попадает сотня, дело в структуре и бюджете обхода.

Логи сервера. Самый точный источник: видно каждое обращение робота, к каким разделам и с какой частотой. Для больших каталогов это единственный способ понять, куда уходит бюджет обхода.

Частые вопросы

Существует ли расписание обхода, которое можно узнать? Нет. Робот подстраивается под сайт: чем чаще на нём что-то меняется и чем стабильнее отвечает сервер, тем чаще визиты. Никакого фиксированного графика, общего для всех, не существует, и обещания «загнать в индекс по расписанию» продают воздух.

Что такое апдейт и связан ли он с индексацией? Апдейтом называют момент, когда обновлённые данные вступают в силу в выдаче: пересчитываются позиции, обновляются сниппеты. Обход и индексирование идут постоянно, а изменения в результатах проявляются порциями. Поэтому страница может быть проиндексирована сегодня, а изменение позиций стать заметным позже.

Помогает ли частая публикация статей? Помогает, если материалы содержательные. Регулярное появление новых страниц приучает робота приходить чаще. Но публикация пустых текстов ради частоты даёт обратный эффект: доля малополезных страниц растёт, и ресурс на сайт сокращают.

Сколько адресов можно отправить на переобход? Суточный лимит есть, и для небольших сайтов он ограничен. Поэтому инструмент используют точечно — для действительно важных страниц. Для массового обновления работают карта сайта с честными датами и мгновенное оповещение.

Влияет ли хостинг на индексацию? Влияет напрямую. Медленный ответ и периодические ошибки заставляют робота снижать темп обхода, чтобы не перегружать сервер. На перегруженном виртуальном хостинге крупный каталог может индексироваться месяцами просто из-за этого.

Почему страница выпала из индекса без изменений на сайте? Смотрите раздел исключённых страниц: чаще всего причина в том, что поисковик переклассифицировал её как дубль или малоценную. Иногда виноваты внешние обстоятельства — недоступность сервера в момент обхода. Единичное выпадение при стабильной работе сайта обычно возвращается само после следующего обхода.

Ускоряет ли индексацию покупка ссылок? Ссылка с активного ресурса действительно приводит робота быстрее, но покупка ссылок ради этого — дорогой и рискованный способ решить задачу, у которой есть бесплатные решения. Переобход через панель и настроенное оповещение дают тот же эффект без последствий.

Коротко

• Единого расписания обхода нет: частота визитов робота зависит от того, как часто меняется сайт, как быстро отвечает сервер и сколько полезных страниц он отдал в прошлые разы.
• Обход, индексирование и ранжирование — три разных этапа; диагностику начинают с выяснения, на каком именно застряла страница.
• Бюджет обхода на крупных сайтах утекает в фильтры, пагинацию, дубли и цепочки перенаправлений — из-за этого новые товары не попадают в индекс неделями.
• Ускоряют индексацию четыре вещи: переобход в панели, мгновенное оповещение, честные даты в карте сайта и внутренние ссылки с часто обходимых страниц.
• Если страница не индексируется, в девяти случаях из десяти причина в первых пяти пунктах: robots.txt, метатег запрета, канонический адрес, код ответа, отсутствие ссылок.
• Наблюдать нужно постоянно: график страниц в поиске, разбивка исключённых по причинам, статистика обхода и логи сервера.

Если новые страницы вашего сайта заходят в индекс неделями или их число в поиске падает без видимых причин, приходите на SEO-консультацию: разберём статистику обхода и раздел исключённых страниц и найдём, где именно теряется бюджет робота.