Индексация сайта: что это такое и как она работает

Индексация сайта решает судьбу любой страницы: пока её нет в базе поисковой системы, для поиска она не существует — как бы хорошо она ни была написана и сколько бы денег в неё ни вложили. При этом на средних сайтах в поиск не попадает от пятой части до половины страниц, и владелец об этом обычно не знает, потому что в браузере всё открывается нормально. Ниже — механика: как страница попадает в базу, за что её оттуда выбрасывают, сколько ждать в норме и что делать, когда страницы пропадают пачками.

Тема кажется технической и далёкой от денег, но связь прямая. Каталог на две тысячи товаров, из которых в поиске восемьсот, — это недополученные обращения по тысяче двумстам позициям. Причём страницы уже написаны, оплачены и лежат на сервере. Работа сделана, результата нет.

Как страница попадает в поиск

Путь состоит из трёх шагов, и застрять можно на каждом. Понимание, где именно застряло, определяет, что чинить.

1. Обнаружение. Система должна узнать, что адрес существует. Источники три: карта сайта, внутренняя ссылка с уже известной страницы, ссылка с чужого ресурса. Страница, на которую не ведёт ни одной ссылки и которой нет в карте, может пролежать незамеченной сколько угодно.
2. Обход. Робот приходит и скачивает содержимое. Если сервер отвечает ошибкой, отдаёт код 5xx или думает по нескольку секунд, шаг откладывается на потом. При регулярных ошибках частота визитов снижается.
3. Индексация. Скачанное разбирается и оценивается. Здесь принимается решение: включить страницу в базу или отбраковать.

Третий шаг — самое неочевидное место. Робот заходил, страница доступна, кодов ошибок нет, а в поиске её нет. Это значит не «не дошли руки», а «решили не включать». Причину система называет прямо: в Яндекс.Вебмастере есть раздел с исключёнными страницами, где по каждому адресу написано, почему он не в поиске. В Google Search Console то же самое в отчёте об индексировании.

Разница между «не обошли» и «обошли и не взяли» принципиальная. В первом случае лечится доступность: ссылки, карта сайта, скорость ответа сервера. Во втором — содержание и настройки самой страницы. Работы разные, и путать их дорого.

Почему страницу не берут в индекс

Причин немного, и они хорошо диагностируются. Порядок в таблице — от самых частых к более редким.

Причина	Как проверить	Что делать
Дубль другой страницы	Раздел исключённых страниц в Вебмастере	Свести к одному адресу, с остальных поставить canonical
Canonical указывает на другой адрес	Посмотреть тег link rel=»canonical» в коде	Исправить, если указан ошибочно шаблоном
Метатег noindex	Поиск по исходному коду страницы	Убрать; частая забытая настройка после разработки
Закрыта в robots.txt	Инструмент анализа robots в Вебмастере	Открыть, если страница нужна в поиске
Мало содержания	Оценить объём собственного текста без шаблона	Дописать то, чего нет у соседних страниц
Нет ни одной внутренней ссылки	Обход сайта краулером, поиск страниц-сирот	Связать со смежными разделами и добавить в карту
Сервер отдаёт ошибку или редирект	Проверка кода ответа по адресу	Починить сервер или убрать лишний редирект

Самая частая пара — дубли и canonical, и на интернет-магазинах они дают основной объём исключённых адресов. Один товар доступен по трём адресам из разных категорий, к нему добавляются страницы фильтров и сортировок — система оставляет один вариант, остальные помечает дублями. Формально всё правильно, а фактически каталог наполовину не в поиске.

Отдельная категория — «недостаточно качественная страница». Формулировка расплывчатая, но за ней стоит понятная вещь: страница почти ничем не отличается от других на сайте. Карточки товара, у которых различаются два слова в названии и цифра в характеристиках, попадают под неё регулярно. Лечится не техникой, а содержанием: собственное описание, отличия, применимость, комплектация.

Сколько ждать и от чего зависит срок

Точных гарантий не даёт никто, но диапазоны предсказуемы. Для живого сайта с регулярными обновлениями новая страница попадает в поиск за срок от нескольких часов до двух недель. Для нового сайта без истории — от двух недель до полутора месяцев, иногда дольше.

На срок влияют четыре вещи:

Тему разбирал отдельно: «IndexNow — моментальная индексация сайта от Яндекс».

• Частота обновления сайта. Робот приходит тем чаще, чем чаще находит новое. Сайт, который обновляется раз в год, обходится соответственно.
• Скорость ответа сервера. Медленный ответ прямо снижает количество страниц, которые робот берёт за визит.
• Внутренние ссылки на новую страницу. Адрес, на который ведёт ссылка с главной, обнаруживается быстрее, чем адрес, лежащий в глубине структуры.
• Общее состояние сайта. Если среди обходимых адресов много ошибок и редиректов, полезная часть обхода сокращается.

Практический вывод: если новые страницы появляются в поиске месяцами, проблема почти никогда не в самих страницах. Она в скорости сервера, в структуре ссылок или в мусоре, на который тратится обход.

Как ускорить попадание в индекс

Действия перечислены по убыванию отдачи. Первые два работают почти всегда.

1. Отправить адрес на переобход в Вебмастере. Инструмент так и называется. Для среднего сайта суточный лимит — около полутора сотен адресов, этого достаточно для любой разовой задачи. Отправлять один и тот же адрес по десять раз смысла нет.
2. Поставить внутреннюю ссылку с уже проиндексированной страницы. Лучше всего работает ссылка с главной или с популярного раздела: робот заходит туда чаще всего.
3. Обновить карту сайта. В ней должна стоять свежая дата изменения для новых адресов. Карта, которая генерируется раз в месяц по расписанию, задерживает обнаружение на этот же срок.
4. Проверить скорость ответа сервера. Время до первого байта — тот показатель, который напрямую влияет на объём обхода. Если оно измеряется секундами, а не долями секунды, разговор про скорость индексации преждевременен.
5. Убрать из обхода мусор. Страницы поиска по сайту, сортировки, служебные адреса. Каждый обойденный мусорный адрес — это не обойденный полезный.

Помогу с продвижением: продвижение сайта с гарантией результата — вывожу сайты в топ Яндекса белыми методами.

Чего делать не надо: покупать «ускорение индексации» у сервисов, которые обещают загнать страницы в поиск за сутки. Технически они делают то же самое, что доступно бесплатно, либо ставят ссылки с мусорных площадок, и это создаёт отдельную проблему.

Как проверить, что страница в индексе

Точный источник один — панели вебмастеров. В Яндекс.Вебмастере это раздел «Страницы в поиске»: видно, сколько адресов включено, сколько исключено и по какой причине. В Google Search Console — отчёт об индексировании с той же логикой.

Быстрая проверка одной страницы: вставьте её полный адрес в строку поиска. Если страница в базе, она найдётся по собственному адресу. Если не находится — её там нет, и дальше нужно смотреть причину.

На что смотреть в отчётах при регулярном контроле:

• Разрыв между числом страниц на сайте и числом страниц в поиске. Сам по себе он не диагноз, но задаёт масштаб работы.
• Распределение причин исключения. Одна доминирующая причина означает системную проблему, которая лечится одной правкой.
• Динамика. Постепенный рост нормален. Резкое падение — повод разбираться немедленно, не откладывая на неделю.
• Соотношение кодов ответов в статистике обхода. Заметная доля 404 и 301 среди обойденных адресов означает, что робот ходит по несуществующему.

Когда страницы выпадают массово

Резкое падение количества страниц в поиске почти всегда имеет техническую причину, и находится она за полчаса. Порядок проверки:

1. robots.txt. Не появилась ли строка Disallow: / после работ на сайте. Классика при переносе с тестового сервера, где закрытие было правильным.
2. Галочка запрета индексации в CMS. В WordPress это один переключатель в настройках чтения. Его забывают снять после разработки регулярно, и он выставляет noindex на весь сайт.
3. Коды ответов. Массовые ошибки 5xx означают, что сервер не справлялся в момент обхода. Смотреть надо не текущее состояние, а журнал за период падения.
4. Изменение адресов. Смена структуры без настройки редиректов 301 выбивает из поиска весь старый набор адресов и заводит новый с нуля.
5. Раздел безопасности в Вебмастере. Заражение сайта или обнаруженные нарушения дают резкое выпадение с уведомлением.
6. Сертификат и доступность по протоколу. Просроченный сертификат делает сайт недоступным для части запросов.

Первые два пункта закрывают большинство случаев. Если они в порядке, дальше смотрите даты: сопоставьте день начала падения с датой последних работ на сайте. Совпадение находится почти всегда.

Смежный материал по теме — «Краулинговый бюджет сайта: что это такое и как его оптимизировать».

Краулинговый бюджет: почему роботу не хватает сил на весь сайт

У каждого сайта есть предел числа страниц, которые робот берёт за сутки. Он не фиксирован и зависит от скорости сервера, частоты обновлений и общей оценки ресурса. Для сайта услуг на полсотни страниц предел неважен — обход укладывается в один визит. Для каталога на десятки тысяч адресов он определяет всё.

Считается просто: разделите число адресов, которые вы хотите видеть в поиске, на число страниц, обходимых за сутки. Получите срок полного цикла. Если он больше месяца, новые материалы будут появляться в поиске с задержкой в недели, и никакая отправка на переобход этого не компенсирует.

Что съедает бюджет чаще всего:

• Страницы фильтров и сортировок каталога, порождающие адреса комбинаторно.
• Внутренний поиск по сайту с адресами вида «?s=запрос».
• Адреса с рекламными метками, попавшие во внутренние ссылки.
• Цепочки редиректов: каждый шаг — отдельный запрос.
• Страницы вложений и архивы по датам в блогах на WordPress.

Для крупного проекта — например, если вы собираетесь открывать интернет-магазин с большим каталогом — управление обходом закладывают в структуру сразу, а не чинят потом. Переделывать адресацию работающего магазина дороже, чем спроектировать её один раз.

Что закрывать от индексации, а что нет

Ошибки здесь встречаются в обе стороны: закрывают нужное и оставляют открытым мусор. Ориентир по типовым разделам.

Тип страниц	Решение	Чем закрывать
Личный кабинет, корзина, оформление заказа	Закрыть	robots.txt
Результаты внутреннего поиска	Закрыть	robots.txt
Страницы фильтров без спроса	Закрыть	Canonical на категорию
Страницы фильтров с реальным спросом	Оставить и оптимизировать	Свои title и текст
Пагинация категорий	Оставить открытой	Canonical на саму страницу, уникальные title
Теги и архивы по датам в блоге	Чаще закрыть	noindex, если нет собственной ценности
Служебные и технические разделы CMS	Закрыть	robots.txt плюс доступ по паролю

Если нужна помощь по теме — обучение SEO-продвижению.

Важная деталь, на которой ошибаются постоянно: страница, закрытая в robots.txt, всё равно может оказаться в выдаче. Робот не заходит внутрь, но видит ссылки на неё и может показать адрес без описания. Если страницу нужно убрать из поиска гарантированно, её закрывают метатегом noindex и оставляют открытой для обхода — иначе робот просто не увидит запрет.

Переиндексация: что происходит, когда страницу правят

Попадание в базу — не разовое событие. Робот возвращается к уже известным адресам и переоценивает их, и от того, как часто он это делает, зависит скорость появления правок в выдаче. Обновили текст и цены, а в сниппете висит старое — значит, до переобхода этого адреса очередь пока не дошла.

Если нужны детали, смотрите «Кроссбраузерность сайта: что это такое и почему это важно».

Ускоряется тем же способом, что и первичная индексация: отправкой на переобход и обновлением даты изменения в карте сайта. Но есть условие, о котором забывают при массовых правках через базу данных: если дата последнего изменения страницы не поменялась, для карты сайта и для робота ничего не произошло. Правка есть, сигнала о ней нет. При обновлении большого числа страниц скриптом дату модификации нужно проставлять принудительно.

Обратная ситуация тоже встречается: страницу правят раз в неделю без содержательных изменений, надеясь, что частое обновление повысит частоту визитов робота. Это не работает. Система сравнивает версии и, обнаружив, что менялась одна запятая, снижает частоту переобхода — смысла ходить чаще нет.

Частые вопросы

Сколько страниц должно быть в поиске от общего числа?
Ориентир — почти все, которые вы намеренно оставили открытыми. Нормальным считается расхождение в несколько процентов. Разрыв в треть и больше означает системную причину, а не естественную убыль.

Помогает ли частая отправка на переобход?
Отправка ускоряет обнаружение, но не влияет на решение о включении в базу. Если страница отбраковывается по содержанию, её можно отправлять хоть каждый день — результат не изменится, пока не изменится сама страница.

Почему в Яндексе страниц в поиске больше, чем в Google, или наоборот?
Системы оценивают независимо и по-разному относятся к дублям и малополезным страницам. Разница в объёме индекса между ними нормальна. Сравнивать надо не системы между собой, а динамику каждой с самой собой.

Влияет ли количество страниц в индексе на позиции?
Прямой зависимости нет. Но страница, которой нет в базе, не ранжируется вообще — то есть ноль по определению. Плюс большое количество малополезных страниц в индексе ухудшает общую оценку сайта, поэтому наращивать число адресов ради числа вредно.

Что делать, если страница в индексе, но не находится по своим запросам?
Это уже не задача индексации, а задача ранжирования. Индексация отвечает на вопрос «есть ли страница в базе», а место в выдаче зависит от соответствия запросу, конкуренции и оценки сайта в целом.

Как быстро выпадают страницы после удаления?
Если адрес отдаёт 404 или 410, он исключается за срок от нескольких дней до пары недель. Ускорить можно через инструмент удаления страниц в панели вебмастера, но это временная мера: если страница продолжит отдавать код 200, она вернётся.

Показываю на примере, как читать раздел с исключёнными страницами и что делать с найденными причинами:

2:14

Коротко

• Пока страницы нет в базе поиска, для системы она не существует, и качество её содержания роли не играет.
• Робот может обойти страницу и не взять её: из-за дубля, canonical, метатега noindex или слабого содержания — причина всегда названа в разделе исключённых страниц.
• На живом сайте новая страница индексируется за срок от часов до двух недель; месяцы ожидания означают проблему со скоростью сервера или структурой ссылок.
• Ускоряют три вещи: переобход в Вебмастере, ссылка с уже проиндексированной страницы и свежая карта сайта.
• При массовом выпадении первыми проверяют robots.txt и галочку запрета индексации в настройках CMS — они закрывают большинство случаев.
• Закрытие в robots.txt не гарантирует отсутствия в выдаче: для гарантии нужен noindex при открытом обходе.

Если страницы вашего сайта не попадают в поиск и непонятно почему — это разбирается адресно на SEO-консультации: смотрю отчёты Вебмастера, называю причину по каждой группе адресов и порядок исправления. Первичную проверку можно запустить сразу — бесплатный аудит сайта.