Как проверить индексацию сайта в Яндексе

Проверить индексацию сайта в Яндексе нужно первым делом при любой проблеме с трафиком — до того, как переписывать тексты, закупать ссылки и менять подрядчика. Страница, которой нет в индексе, не участвует в ранжировании вообще: она не занимает сотую позицию, её просто не существует для поиска. Проверка занимает двадцать минут, делается бесплатно и регулярно закрывает вопрос, над которым до этого месяцами гадали.

Дальше — четыре способа проверки от быстрого к точному, расшифровка каждой причины исключения из Вебмастера, разбор реального сайта, у которого вне индекса оказалось 40% страниц, и чек-лист на девять пунктов. Отдельно — про краулинговый бюджет: почему на большом сайте часть страниц не доходит до индекса, даже когда с ними технически всё в порядке.

Вебмастер: единственный источник, где видны причины

Все остальные способы отвечают на вопрос «сколько страниц в поиске». Яндекс.Вебмастер отвечает на вопрос «почему остальных там нет», и это единственный инструмент, который на него отвечает. Всё, что делается без него, — гадание по внешним признакам.

Раздел «Индексирование → Страницы в поиске» содержит четыре блока, и все четыре нужны:

• Всего страниц в поиске — число, которое сравнивается с реальным количеством страниц на сайте. Реальное берётся не из головы, а из обхода краулером или из карты сайта.
• История — график за месяцы. По нему видно, когда началось падение, и это половина диагноза: дата падения почти всегда совпадает с датой какого-то изменения на сайте.
• Добавленные и удалённые — что уходит и приходит. Если страницы каждую неделю уходят и возвращаются, значит, сайт периодически отдаёт роботу ошибки, и стоит смотреть журнал сервера.
• Исключённые страницы с причинами — самая ценная часть отчёта. По каждому адресу написано, почему он не в поиске.

Раздел «Индексирование → Обход» показывает, что робот скачивал и с какими кодами ответа. Раздел «Статистика обхода» — сколько страниц обходится в сутки. Оба нужны, когда число страниц в поиске меньше нужного, а явных запретов нет: причина тогда обычно в том, что робот физически не доходит до части адресов.

Практический приём при разборе: не читайте список исключённых страниц подряд. Отсортируйте его по причине и посмотрите распределение. Картина «19 дублей, 12 малополезных, 6 без входящих ссылок» даёт план работ за пять минут, а тот же список в случайном порядке производит впечатление катастрофы и не даёт ничего.

Быстрые способы: оператор site: и проверка конкретной страницы

Запрос вида site:vashsayt.ru в поисковой строке показывает примерное число страниц. У способа есть свои плюсы и понятные ограничения.

Плюсы очевидны: быстро, без доступов, работает и для чужих сайтов, заодно видно, как выглядят сниппеты. Минусы столь же понятны: число приблизительное, причины исключения не показываются, а расхождение с данными Вебмастера бывает двукратным.

Использовать стоит как быструю прикидку, а решения принимать по Вебмастеру. Полезный побочный эффект: пролистав выдачу по оператору, вы увидите, какие заголовки и описания показывает поиск. Регулярная находка на этом шаге — десятки страниц с одинаковым заголовком вроде «Услуги» или «Каталог», то есть шаблон не подставляет данные страницы.

Проверка одной конкретной страницы делается тремя способами, и они не равнозначны:

1. Инструмент «Проверка URL» в Вебмастере — показывает статус конкретного адреса, дату последнего посещения роботом и то, что он там нашёл.
2. Поиск по фрагменту текста в кавычках: если страница в индексе, она найдётся по своей же фразе. Берите предложение из середины текста, а не из первого абзаца, — первый абзац часто дублируется в анонсах.
3. Оператор url: с адресом страницы — самый быстрый способ, но отвечает только «есть или нет».

Первый способ надёжнее: он покажет не только факт наличия, но и когда робот заходил и что нашёл. Если в результате написано, что страница обойдена, но не включена в поиск, вопрос переходит из технической плоскости в содержательную — робот её видел и счёл недостаточно ценной.

Массовая сверка: список страниц против списка в поиске

Когда страниц сотни, поштучно проверять невозможно. Задача сводится к сравнению двух списков.

• Выгрузите список страниц в поиске из Вебмастера.
• Обойдите сайт краулером — получите список всех существующих страниц.
• Сравните два списка формулой в таблице.
• Разница и есть то, что не проиндексировано.

Дополнительно полезно сверить с картой сайта, и здесь появляется третий список. Пересечения этих трёх списков дают готовый диагноз без всякого анализа.

Где страница есть	Где её нет	Что это означает
На сайте	В карте и в индексе	Сирота: на страницу не ведёт ни одна внутренняя ссылка, робот её не находит
На сайте и в карте	В индексе	Робот знает адрес, но не включил: смотреть причину исключения
В карте	На сайте	Карта содержит удалённые адреса, робот тратит на них обход
В индексе	На сайте и в карте	В поиске остались старые адреса: нужны редиректы или удаление
В индексе	Нигде больше, адрес с параметрами	Мусорные адреса от фильтров и меток попали в поиск

Тему проверки сайта в целом разбирал отдельно: «Как проверить SEO сайта».

Причины исключения и что делать с каждой

Формулировки в Вебмастере короткие, и половина вопросов возникает от того, что непонятно, о чём именно речь. Расшифровка с действием по каждой:

Причина в Вебмастере	Что значит	Действие
Запрет в robots.txt	Раздел закрыт правилом	Проверить и убрать лишнее
Тег noindex	Запрет в коде страницы	Найти и удалить
Дубль	Есть такая же страница	Канонический адрес или переадресация
Недостаточно качественная	Мало содержания или копия	Переработать или закрыть
Ошибка соединения	Сервер не ответил	Проверить хостинг и доступность
Ошибка HTTP	Код 4xx или 5xx	Починить страницу
Неканоническая	Указывает на другую как основную	Проверить, верно ли указано
Загружено, но не проиндексировано	Робот видел, но не включил	Улучшить содержание, добавить ссылки

Две причины из этого списка постоянно понимают неправильно. «Неканоническая» — это не ошибка сама по себе: если страница пагинации указывает на первую как на основную, всё логично. Ошибка начинается там, где на главную категорию канонический адрес проставлен со всех карточек товара — тогда карточки из индекса исчезают по вашей же указке. «Недостаточно качественная» тоже не приговор: так помечают и тонкие карточки на две строки, и служебные страницы, и рубрики без своего текста. Лечение зависит от типа страницы, а не от формулировки.

Отдельная ловушка — запрет в заголовках ответа сервера. Директива X-Robots-Tag: noindex не видна в исходном коде страницы, и её ищут неделями, просматривая шаблон. Смотреть надо заголовки ответа: в консоли браузера на вкладке сети или командой curl.

Самые частые причины на практике

1. Забытый запрет после разработки. Сайт переносят с тестового домена вместе с noindex или галочкой в настройках движка. Обнаруживается через месяц-полтора, когда кто-то наконец открывает Вебмастер.
2. Дубли из-за адресов. Сайт открывается с www и без, с http и https, со слешем и без — страницы дробятся, сигналы делятся между копиями.
3. Параметры и фильтры. Каталог генерирует тысячи адресов, робот тратит на них весь ресурс, а до карточек товара очередь не доходит.
4. Страницы-сироты. На страницу не ведёт ни одна внутренняя ссылка — робот её не находит. Типичный случай: страницы созданы и лежат, но в меню и в разделах их нет.
5. Медленный сервер. При ответе больше секунды робот сокращает обход, чтобы не создавать нагрузку.
6. Слабое содержание. Страницы на 300 знаков массово исключаются как малополезные, и никакой переобход этого не исправит.

Порядок в списке не случайный. Первые четыре причины — технические, они чинятся за день-два и дают результат за несколько недель. Последние две требуют работы над сервером и текстами, то есть недель и месяцев. Начинать надо сверху: смысла переписывать тексты нет, пока раздел закрыт от индексации.

Краулинговый бюджет: почему очередь не доходит

У каждого сайта есть предел того, сколько страниц робот обходит за сутки. Если ресурс тратится на мусор, до нужных страниц очередь не доходит — при том, что с самими страницами всё в порядке.

Что съедает бюджет	Как проверить	Что делать
Параметры фильтров и сортировок	Логи сервера, обход краулером	Закрыть в robots.txt
Результаты внутреннего поиска	Адреса с ?s=	Запретить обход
Пагинация без конца	Страницы /page/50/ и дальше	Ограничить, оставить канонические
Битые ссылки	Краулер, отчёт 4xx	Исправить или убрать
Цепочки редиректов	Проверка кодов ответа	Сократить до одного шага
Медленный ответ сервера	curl, время ответа	Ускорить хостинг, включить кэш

Признак, что бюджет исчерпан: новые страницы попадают в индекс неделями, а в Вебмастере много адресов со статусом «загружено, но не проиндексировано». Проверяется это в статистике обхода. Откройте список адресов, которые робот скачивал за последнюю неделю, и посмотрите, что там: если больше половины — адреса с параметрами, страницы поиска и редиректы, причина найдена и лечится настройками, а не контентом.

Полезно помнить про природу самого лимита. Он зависит от того, насколько быстро сайт отвечает и насколько часто на нём появляется что-то новое. Ускорение сервера напрямую увеличивает объём обхода: робот берёт больше страниц за тот же интервал, потому что каждая обходится дешевле. Это редкий случай, когда техническая работа даёт эффект сразу на двух фронтах — и на индексации, и на поведении посетителей.

Как ускорить попадание в индекс и сколько ждать

Инструменты ускорения есть, но каждый работает в своих границах.

• Переобход в Вебмастере — квота зависит от сайта, обычно от 20 до нескольких сотен адресов в сутки. Самый прямой способ.
• IndexNow — если ключ настроен, до 10 000 адресов за раз. Подходит для массовых публикаций и для сайтов, где страницы обновляются пачками.
• Внутренние ссылки с часто обходимых страниц: главная, разделы, свежие материалы. Работает медленнее переобхода, но действует постоянно.
• Актуальная карта сайта с корректными датами обновления. Если даты одинаковые у всех страниц или не меняются годами, робот перестаёт им верить.
• Ускорение сервера — прямо влияет на объём обхода.
• Чистка мусорных адресов — робот перестаёт тратить на них ресурс.

Сроки, на которые стоит рассчитывать:

Ситуация	Обычный срок
Новая страница на живом сайте	3 дня — 2 недели
Новая страница после переобхода	1–5 дней
Первые страницы нового сайта	1–4 недели
Возврат после снятия запрета	2–6 недель
Полная переиндексация крупного сайта	1–3 месяца

Обратите внимание на строку про возврат после снятия запрета. Две-шесть недель — это нормальный срок, и в этот период не надо ничего дополнительно чинить. Типичная ошибка: через неделю после снятия noindex страниц в поиске всё ещё нет, начинается вторая волна правок, и когда индекс наконец восстанавливается, уже невозможно понять, что именно сработало.

Разбор: 40% страниц вне индекса

Сайт услуг, 61 страница, в поиске 22. Владелец был уверен, что дело в текстах, и уже заказал переписывание половины страниц.

Что показал разбор причин исключения:

• 19 страниц — дубли: сайт открывался и с www, и без.
• 12 страниц — недостаточно качественные: тексты по 400–600 знаков.
• 6 страниц — сироты: на них не вело ни одной внутренней ссылки.
• 2 страницы — остаток noindex после разработки.

Что было сделано: настроена переадресация на основной адрес, слабые страницы дописаны до полноценных, добавлены внутренние ссылки на сироты, убраны забытые запреты, всё отправлено на переобход. Через шесть недель в поиске было 58 страниц из 61, трафик из поиска вырос почти вдвое. Ни одной новой страницы при этом не создавали.

Показательна пропорция: из 39 отсутствовавших страниц 27 не имели никакого отношения к содержанию. Переписывание текстов, которое собирался оплатить владелец, решило бы примерно треть проблемы и стоило бы дороже всех остальных работ вместе взятых. Смежный материал по теме — «Как проверить IP сайта».

Индексация в Google: чем отличается

• Инструмент проверки URL в Search Console с возможностью запросить индексирование — 10–15 адресов в сутки.
• Отчёт «Страницы» с причинами исключения, аналогичный Вебмастеру.
• IndexNow не поддерживается — Google в протоколе не участвует.
• Карта сайта играет большую роль, чем в Яндексе.
• Сроки обычно дольше, особенно для новых сайтов.

Практический вывод: для Google основной рычаг — качественная карта сайта, внутренние ссылки и скорость. Массовой загонки в индекс там нет, и попытки её имитировать ручными запросами по десять адресов в сутки на большом сайте бессмысленны. Второе отличие, которое замечают не сразу: Google охотнее держит в индексе страницы, на которые есть внешние ссылки, тогда как Яндекс сильнее опирается на внутреннюю структуру сайта.

Чек-лист за 20 минут и что делать после правок

Девять пунктов, которые закрывают вопрос:

1. Вебмастер: сколько страниц в поиске против реального количества.
2. Причины исключения — открыть и посмотреть распределение.
3. robots.txt: нет ли запрета нужных разделов.
4. Исходный код 2–3 важных страниц: нет ли noindex.
5. Заголовки ответа: нет ли X-Robots-Tag.
6. Варианты адреса главной: все ли ведут на один.
7. Карта сайта: открывается, содержит нужные страницы, даты свежие.
8. Время ответа сервера через curl.
9. Раздел нарушений — нет ли санкций.

Если все девять в порядке, а страниц в индексе мало, причина в содержании — робот считает страницы недостаточно ценными, и дальше работа идёт с текстами, а не с настройками.

После исправлений порядок такой: отправить страницы на переобход, через неделю проверить, изменилось ли число страниц в поиске, посмотреть, ушли ли причины исключения из отчёта, через месяц сравнить показы и клики с периодом до правок. Отдельным пунктом — зафиксировать дату изменений: без неё связать причину и следствие не выйдет, а через два месяца никто уже не вспомнит, когда что делали.

Типичная динамика: страницы возвращаются в индекс за две-шесть недель, показы подтягиваются в течение месяца после этого. Проверять каждый день бессмысленно и вредно — на коротком интервале колебания числа страниц в поиске нормальны и ни о чём не говорят.

Частая ошибка: искать причину не там

Что делают	Что надо было
Переписывают тексты	Проверить, в индексе ли страницы вообще
Закупают ссылки	Убрать запрет индексации
Меняют дизайн	Ускорить ответ сервера
Ждут «пока Яндекс сам найдёт»	Отправить на переобход и добавить внутренние ссылки
Меняют подрядчика	Открыть раздел причин исключения

Каждая строка левой колонки — это месяцы и деньги, потраченные до того, как кто-то открыл Вебмастер. Проверка занимает двадцать минут. Если нужны детали по домену и хостингу, смотрите «Как проверить домен сайта».

Частые вопросы

Почему в Вебмастере и по оператору site: разные числа?
Разная методика подсчёта: оператор показывает оценку, Вебмастер — фактические данные по вашему сайту. Ориентироваться надо на Вебмастер, а расхождение вдвое считать нормальным.

Что делать, если страница «загружена, но не проиндексирована»?
Улучшить содержание и добавить внутренние ссылки — робот счёл её недостаточно ценной. Отправлять такую страницу на переобход без изменений бесполезно: он ускоряет визит робота, но не меняет его оценку.

Как часто проверять индексацию?
Раз в неделю смотреть график в разделе «Страницы в поиске», полный разбор — раз в квартал. Внеочередная проверка обязательна после любого изменения на сайте: переноса, смены шаблона, обновления движка.

Влияет ли скорость сайта на индексацию?
Прямо: чем медленнее ответ, тем меньше страниц робот успевает обойти за сутки. На сайте в несколько тысяч страниц разница между ответом в 200 миллисекунд и в полторы секунды измеряется неделями задержки для новых материалов.

Можно ли ускорить индексацию покупкой ссылок?
Косвенно, если ссылка с часто обходимого сайта. Но переобход и работа с краулинговым бюджетом дают результат быстрее и бесплатно, поэтому начинать надо с них.

Страница в индексе, но по запросам не показывается — почему?
Значит, система не считает её подходящей ни под один запрос. Чаще всего причина в типе страницы: под коммерческий запрос написана статья или наоборот. Второй частый вариант — тема без спроса, проверяется точной частотой в Вордстате.

Показываю на экране, как выглядит проверка индексации и что смотреть в отчётах:

8:14

Коротко

• Единственный источник, показывающий причины исключения, — Вебмастер. Оператор site: даёт лишь прикидку, и расхождение с ним вдвое нормально.
• Самая частая причина отсутствия страниц в поиске — забытый запрет индексации после разработки или переноса с тестового домена.
• Дубли из-за вариантов адреса дробят индекс: сайт должен открываться по одному адресу, остальные варианты — редиректом 301.
• Страницы-сироты робот просто не находит, потому что на них не ведёт ни одной внутренней ссылки.
• Ускоряют попадание в индекс переобход, IndexNow, скорость сервера и чистка мусорных адресов, съедающих обход.
• Разбор причин занимает двадцать минут и регулярно отменяет работы на сотни тысяч рублей, которые собирались делать вслепую.

Если число страниц в поиске не сходится, а причины из отчёта непонятны — это SEO-консультация: смотрю Вебмастер вместе с вами, называю причину по каждой группе страниц и порядок действий. Первичную проверку можно запустить прямо сейчас — бесплатный аудит сайта, отчёт приходит на почту. Помогу и с продвижением: продвижение сайтов белыми методами.