Яндекс не индексирует страницу: 8 причин и порядок проверки

Яндекс не индексирует страницу — жалоба, с которой ко мне приходят чаще всего, и в половине случаев страница на самом деле в индексе: человек искал её по названию услуги, не нашёл на первой странице выдачи и сделал вывод. Проверка занимает тридцать секунд и делит все дальнейшие действия надвое. Ниже — как убедиться, что страницы действительно нет в поиске, и восемь причин в том порядке, в котором их надо перебирать: от той, что находится за минуту, до той, на которую уходят недели.

Речь именно об одной странице: новая статья не появляется, карточка товара не находится, посадочная под рекламу существует только для вас. Если из поиска пропадает сайт целиком или перестали индексироваться все новые материалы разом — это другая задача, с другими причинами; она разобрана отдельно в материале про то, почему Яндекс перестал индексировать новые страницы.

Шаг нулевой: страница действительно не в индексе?

Два способа, оба бесплатные.

Оператор поиска. В строке Яндекса наберите url:вашсайт.ру/adres-stranicy/. Если страница в индексе, она появится в результатах; если результатов нет — её там нет. Оператор url: ищет документы по конкретному адресу, и звёздочка на конце позволяет проверить целую группу: url:вашсайт.ру/blog/*. Одна оговорка: адрес нужно писать ровно так, как он существует, — со слешем на конце, если он есть, и без www, если сайт работает без него.

Проверка в Вебмастере. Там есть отдельный инструмент анализа индексации страницы — он проверяет, не закрыта ли страница от роботов Яндекса. Проверяются две вещи: директивы файла robots.txt и значение метатега robots в коде страницы. Результат — либо страница доступна для индексирования, либо закрыта с указанием причины. Это не отчёт «есть в поиске или нет», а именно проверка запретов, но она сразу отсекает две самых частых причины из восьми.

Если страница нашлась по оператору — вопрос не в индексации, а в позициях, и разбирать надо содержимое и конкурентов, а не технику. Это принципиально разные задачи, и путать их — значит чинить исправное.

Восемь причин в порядке проверки

1. Запрет в robots.txt

Откройте вашсайт.ру/robots.txt в браузере и найдите строки Disallow. Ищите не точное совпадение с адресом, а маску, под которую он попадает: Disallow: /*? закроет всё с параметрами, Disallow: /uslugi закроет и /uslugi-remonta/. Отдельно проверьте, что сам файл отдаёт код 200, а не 404 или 500 — сломанный robots.txt робот трактует непредсказуемо.

Классическая ситуация: сайт разрабатывали на тестовом домене с полным запретом, перенесли на боевой и файл забыли. Одна строка закрывает весь сайт на месяцы — у меня есть отдельный разбор с последствиями: как одна строчка в robots.txt убирает сайт из Яндекса.

2. Метатег robots или заголовок X-Robots-Tag

Откройте исходный код страницы и найдите в секции head строку вида <meta name="robots" content="noindex"/>. Директива noindex означает, что текст страницы индексировать не нужно. Яндекс поддерживает также none — это то же самое, что noindex вместе с nofollow. Проверьте и вариант с указанием робота: <meta name="yandex" content="noindex, nofollow"/>.

Тот же запрет может приходить в заголовке ответа сервера — X-Robots-Tag: noindex. В коде страницы его не видно, смотреть нужно заголовки ответа. Этот способ чаще применяют к файлам, куда метатег не вставить: как закрыть PDF и картинки заголовком X-Robots-Tag.

Важная деталь из справки: если страница запрещена в файле robots.txt, директива метатега или заголовка не действует. То есть комбинация «закрыто в robots.txt плюс noindex в коде» работает не так, как многие думают, — робот просто не доходит до страницы и метатег не читает.

3. Страница не является канонической

В коде ищите <link rel="canonical" href="...">. Если адрес в теге отличается от адреса открытой страницы, вы сами сказали поиску показывать другую. Частые источники: плагин оптимизации, подставляющий адрес без параметров; тема, жёстко прописывающая адрес с www; настройка «каноническая ссылка на первую страницу» у пагинации.

4. Редирект

Страница может отдавать код 301 или 302 и перенаправлять на другой адрес. В браузере это незаметно — вы видите содержимое, но в адресной строке уже другой URL. Смотреть надо код ответа: если он трёхсотый, индексироваться будет адрес назначения, а не исходный.

5. Ошибка ответа сервера

Код 404 при том, что страница открывается в браузере, — не редкость: так ведут себя движки с неправильно настроенными постоянными ссылками. Коды 500, 502 и 503 означают, что сервер не отдал страницу роботу, даже если вам её отдаёт. Отдельно проверьте ответ на заголовок If-Modified-Since: если сайт всегда отвечает «не изменилось», робот может не забирать новое содержимое.

6. Робот ещё не дошёл

Самая частая причина для новой страницы и самая недооценённая. Робот приходит не по расписанию: на молодой сайт с десятком страниц — раз в несколько дней, на большой каталог — постоянно, но не везде. Если страница создана вчера, на неё нет внутренних ссылок и её нет в карте сайта, робот о ней просто не знает.

Проверить косвенно можно по дате последнего посещения в отчётах Вебмастера и по логам сервера. А ускорить — отправкой адреса на переобход, обновлением карты сайта и ссылками на новую страницу с тех разделов, которые робот обходит часто. Есть и протокол мгновенного уведомления: IndexNow сообщает поиску об изменениях сразу, не дожидаясь очередного обхода.

7. Страница признана дублем

Поиск объединил её с другой и показывает ту. Смотреть надо отчёт об исключённых страницах: если у адреса статус «дубль», там же будет видно, какую страницу алгоритм счёл основной. Причина обычно в одинаковом содержимом: два города с идентичным текстом, карточка товара, доступная из двух категорий, версия с параметром в адресе.

8. Низкая ценность страницы

Последняя по порядку проверки и первая по количеству паники. Алгоритм может не включать страницу в поиск, если у неё мало шансов оказаться востребованной: она дублирует известное роботу, не содержит видимого содержимого либо в поиске нет запросов, на которые она могла бы ответить. Это решение алгоритма, а не наказание, и оно пересматривается.

Отдельная подпричина, которую владельцы не рассматривают: робот обходит сайт, но до этой конкретной страницы не добирается, потому что тратит время на мусорные адреса. Если каталог генерирует десятки тысяч комбинаций фильтров, внимание робота уходит туда — механизм описан в материале про краулинговый бюджет и необойдённые разделы сайта.

Таблица: причина, как проверить, что сделать

Причина	Как проверить	Что сделать
Запрет в robots.txt	Открыть файл в браузере, найти маски Disallow; проверить инструментом анализа индексации	Удалить или сузить директиву, проверить код ответа самого файла
Метатег robots с noindex	Исходный код страницы, секция head; вариант с name=»yandex»	Убрать директиву в настройках движка или плагина
Заголовок X-Robots-Tag	Заголовки ответа сервера, а не код страницы	Убрать заголовок в настройках сервера или плагина
Неканоническая страница	Тег link rel=»canonical» в коде: совпадает ли адрес	Исправить тег или отключить автоподстановку в плагине
Редирект	Код ответа: 301 или 302 вместо 200	Убрать перенаправление, если оно лишнее
Ошибка ответа сервера	Код ответа: 404, 500, 502, 503; ответ на If-Modified-Since	Починить страницу или настройки сервера, убрать адрес из карты сайта
Робот ещё не дошёл	Дата последнего посещения в отчётах, логи сервера	Переобход, карта сайта, внутренние ссылки с часто обходимых страниц
Признана дублем	Отчёт об исключённых страницах, статус «дубль»	Развести содержимое либо явно указать нужный адрес
Низкая ценность	Статус «малоценная или маловостребованная» в исключённых	Дорабатывать содержимое под реальные запросы либо убрать страницу

Порядок проверки за двадцать минут

Перебирать причины наугад — потерять вечер. Порядок ниже выстроен по принципу «сначала то, что проверяется быстрее и встречается чаще».

Минуты	Что делаете	Что отсекаете
0–1	Оператор url: в поиске по точному адресу	Половину обращений: страница в индексе, вопрос в позициях
1–3	Открываете robots.txt, ищете маски под свой адрес	Самую частую техническую причину
3–5	Инструмент анализа индексации страницы в Вебмастере	Запреты в robots.txt и метатеге разом
5–8	Исходный код: метатег robots, canonical, наличие текста	Запрет в коде и указание на чужой канонический адрес
8–11	Проверка кода ответа сервера по адресу	Редиректы и ошибки 4xx и 5xx
11–14	Заголовки ответа: ищете X-Robots-Tag	Скрытый запрет, невидимый в коде страницы
14–17	Отчёт об исключённых страницах: ищете свой адрес и статус	Дубль, неканоническую, малоценность — прямым ответом поиска
17–19	Смотрите, есть ли на страницу внутренние ссылки и в карте ли она	Ситуацию «робот о странице не знает»
19–20	Отправляете адрес на переобход	Ожидание: робот придёт не через месяц, а в ближайшее время

⚠️ Перед правкой robots.txt, .htaccess или файлов темы сохраните копию файла. Откатить неудачную правку из копии — минута, восстанавливать сайт из памяти — вечер.

Все проверки чистые, страницы всё равно нет

Бывает и так: запретов нет, код ответа 200, canonical на себя, в исключённых адрес не значится. Тогда остаются три версии.

Первая: страница слишком новая. Дайте роботу время после переобхода — не три дня, а полторы-две недели. Параллельно поставьте на неё ссылки с разделов, которые обходятся часто: с главной, из списка последних материалов, из соседней статьи по теме.

Вторая: содержимое страницы робот не видит. Так бывает, когда текст подгружается скриптом после загрузки документа. Проверяется просто — отключите в браузере JavaScript и откройте страницу: что осталось на экране, то и видит робот. Если осталась пустая рамка, индексировать нечего.

Третья: на сайт наложено ограничение. Проверяется в разделе «Безопасность и нарушения» Вебмастера — если там пусто, версия отпадает. Это редкий случай, но исключать его надо последним, а не первым.

Пять ошибок при самостоятельной диагностике

Искать страницу по названию услуги вместо оператора. Отсутствие на первой странице выдачи не означает отсутствия в индексе. Проверять надо адресом.

Проверять код ответа в браузере. Браузер показывает результат после всех перенаправлений и кэширования. Смотреть нужно ответ сервера по конкретному адресу — инструментом Вебмастера или через консоль разработчика на вкладке сети.

Отправлять одну страницу на переобход по десять раз. Суточное количество адресов ограничено, и лимит рассчитывается для каждого сайта индивидуально. Десять отправок одной страницы не ускоряют ничего, зато съедают квоту, которая понадобится для других адресов.

Верить настройкам плагина вместо кода. В админке переключатель может стоять в положении «индексировать», а в коде страницы при этом будет noindex — из-за кэша, второго плагина или правки в теме. Истина всегда в исходном коде.

Покупать «ускорение индексации». Никаких официальных способов ускорить попадание страницы в поиск, кроме переобхода, карты сайта, IndexNow и обхода по счётчику Метрики, не существует. Всё остальное — продажа ожидания.

Когда это не сработает и когда нужен специалист

Инструкция разбирает одну страницу. Она не поможет, если не индексируется половина сайта: там причина системная — в структуре, в нагрузке на сервер, в robots.txt, в переезде, который не закончился. Перебирать восемь причин по каждому адресу в такой ситуации бессмысленно.

Не поможет она и тогда, когда страница технически безупречна, но отвечает на запрос, которого нет. Это не проблема индексации: поиску незачем держать в базе страницу, которую никто не ищет. Решение здесь не в тегах, а в том, чтобы делать страницы под реальный спрос.

Отдельная ситуация — сайт на конструкторе, где нет доступа к robots.txt, заголовкам ответа и коду шаблона. Половина проверок из списка там недоступна, и остаётся работать с тем, что даёт панель конструктора.

Человек со стороны нужен, когда проверки показывают противоречие: в robots.txt чисто, в коде чисто, код ответа 200, а страница в исключённых с непонятным статусом. Обычно оказывается, что робот получает не то, что получаете вы, — из-за кэша, из-за настроек сервера по типу клиента или из-за защиты, которая режет запросы. Разбирается это по логам, и без доступа к серверу не решается. Если нужна техническая правка руками, есть доработка сайта — обычно на такие вещи уходит от часа до дня.

Частые вопросы

Сколько ждать индексации новой страницы?

Точного срока нет, он зависит от того, как часто робот обходит ваш сайт. На активном сайте с регулярными публикациями новая страница попадает в поиск за дни, на сайте, который не обновлялся год, — за недели. После отправки на переобход считайте от полутора до двух недель, прежде чем делать выводы.

Если закрыть страницу в robots.txt, она исчезнет из поиска?

Не обязательно и не сразу. Запрет в robots.txt — это запрет обхода, а не команда удалить из базы. Для надёжного удаления используют метатег robots с noindex: справка указывает, что страница удаляется из поисковой базы в течение недели после того, как робот обнаружит указание. Но чтобы робот его обнаружил, страница не должна быть закрыта в robots.txt.

Помогает ли ссылка с другого сайта ускорить индексацию?

Помогает роботу узнать об адресе, если внутри вашего сайта на него ссылок нет. Но на решение о включении страницы в поиск внешняя ссылка не влияет — это разные вещи. Дешевле и быстрее поставить внутреннюю ссылку с часто обходимого раздела.

Страница была в поиске и пропала. Это то же самое?

Нет, это другая задача. Смотреть надо представление последних изменений в отчёте о страницах в поиске: там видно дату исчезновения и статус, с которым адрес ушёл. По статусу сразу понятно, что произошло: сервер отдал ошибку, появился запрет, адрес признан дублем.

Можно ли проверить индексацию сразу по списку адресов?

Массовую проверку удобнее делать через отчёты Вебмастера: выгружаете список страниц, участвующих в поиске, и сравниваете его со своим списком в таблице. Оператор url: подходит для точечных проверок, для сотен адресов он неудобен.

Коротко

Сначала убедитесь, что страницы действительно нет в индексе: оператор url: с точным адресом и инструмент анализа индексации в Вебмастере. Это отсекает половину случаев — страница в поиске есть, но не на первой странице по нужному запросу.

Дальше причины перебираются по порядку, от быстрых к долгим: robots.txt, метатег robots, заголовок X-Robots-Tag, canonical, редирект, код ответа сервера, отсутствие обхода, дубль, низкая ценность страницы.

Запрет в robots.txt и запрет метатегом работают по-разному и не складываются: если страница закрыта в robots.txt, директива метатега не действует, потому что робот до неё не доходит.

Отправлять страницу на переобход по десять раз бесполезно — суточная квота рассчитывается для каждого сайта отдельно, и вы просто расходуете её впустую. Один раз плюс внутренние ссылки и обновлённая карта сайта работают лучше.

Если все проверки чистые, остаются три версии: страница слишком новая, её содержимое робот не видит из-за скриптов, либо на сайт наложено ограничение — последнее проверяется в разделе безопасности и встречается редко.

И то, ради чего стоит доводить эти проверки до конца. Рекламный трафик существует ровно до момента отключения кампании: кончился бюджет — кончились переходы, и накопленного не остаётся. Страница, которую поиск проиндексировал и показывает, продолжает приносить обращения сама, без ежедневных списаний, и остаётся вашим активом вместе с сайтом. Техническое SEO-продвижение как раз про это: не покупать внимание, а убирать причины, по которым поиск не показывает то, что у вас уже сделано и оплачено. Разобраться в подходе целиком можно тут — техническое SEO-продвижение. А если проверки зашли в тупик и страница всё равно не индексируется, приходите на консультацию: посмотрим ответы сервера и отчёты вместе, обычно причина находится за полчаса.

Первоисточники: справка о метатеге robots и заголовке X-Robots-Tag и описание инструмента анализа индексации страницы.