Страницы исключены из поиска: что значат статусы в Вебмастере и как вернуть страницы

Страницы сайта исключены из поиска — надпись, после которой владелец обычно решает, что попал под санкции, и начинает переписывать тексты на всём сайте. В девяти случаях из десяти причина техническая и лечится за вечер, а в части случаев исключение вообще не требует действий. Ниже — все статусы исключённых страниц так, как их называет справка Яндекса, что стоит за каждым, что делать по каждому и сколько ждать, прежде чем делать выводы.

Сразу главное различие, из-за которого ломается больше всего сайтов. Исключение страницы из поиска и ограничение, наложенное на сайт за нарушение, — две разные вещи. Первое происходит постоянно и в норме, второе видно в отдельном разделе Вебмастера и сопровождается прямым сообщением. Путать их дорого: люди начинают лечить несуществующую болезнь и массовыми правками ломают то, что работало.

Где смотреть исключённые страницы

В Яндекс Вебмастере это раздел «Индексирование», внутри него — «Страницы в поиске» и представление исключённых адресов. Там же фильтр по статусу: можно выбрать конкретную причину и получить только её. Список выгружается в таблицу форматов XLS или CSV, и работать удобнее именно с выгрузкой, а не с экраном: в файле видно адрес, заголовок, код ответа, статус и дату последнего посещения роботом.

Второй источник — представление последних изменений. Оно показывает движение: какие адреса за последнее время добавились в поиск, а какие из него ушли, и с каким статусом. Если позиции просели на прошлой неделе, смотреть надо именно сюда, а не в общий список. Как устроены остальные отчёты сервиса и что из них вытаскивать первым делом, я разбирал в материале про три отчёта Вебмастера, которые находят точки роста.

Обратите внимание на объём данных: сервис отдаёт ограниченное число строк, поэтому на большом сайте выгружайте по статусам отдельно, а не всё сразу.

Восемь статусов из справки и что за каждым стоит

Названия ниже — как они сформулированы в справке Яндекса. В интерфейсе они могут отображаться короче, но смысл тот же.

Страница признана малоценной или маловостребованной. Алгоритм решил не включать страницу в поиск, потому что у неё мало шансов оказаться востребованной пользователями. Справка описывает две ситуации: страница дублирует уже известные роботу страницы либо не содержит видимого роботу содержимого — это «малоценная»; и страница с содержимым, но в поиске нет запросов, на которые она могла бы ответить, — это «маловостребованная».

Ошибка при загрузке или обработке страницы роботом. Сервер ответил кодом 3XX, 4XX или 5XX вместо 200. Справка прямо отправляет к инструменту проверки ответа сервера: именно он показывает, что робот получил на самом деле.

Индексирование страницы запрещено в файле robots.txt или с помощью метатега. Самый простой в починке статус: удалите запрещающую директиву. И самый опасный по последствиям, если запрет стоит там, где не должен.

Страница перенаправляет робота на другие страницы. На адресе стоит редирект. Справка советует убедиться, что страница действительно должна перенаправлять посетителей. Если должна — статус нормальный и трогать его не надо.

Страница дублирует содержание другой страницы. Поиск объединил группу адресов и выбрал из неё основной. Если объединение ошибочное, разбираться нужно по правилам работы с дублями.

Страница не является канонической. В коде страницы стоит атрибут rel=»canonical», указывающий на другой адрес. Проверьте, что он указывает именно туда, куда вы хотели.

Адрес сайта признан неглавным. Сайт объединён в группу с другим адресом, и главным выбран не он. Если сайты объединены по ошибке, их нужно разгруппировать.

На сайте обнаружены нарушения. Единственный статус из восьми, который означает санкцию. Справка отправляет проверять раздел «Безопасность и нарушения» в Вебмастере — там будет название нарушения и рекомендации.

«Малоценная» и «недостаточно качественная»: почему это не одно и то же

Это место путают чаще всего, и в интернете по нему больше всего выдумок. Разберём аккуратно.

«Малоценная или маловостребованная» — официальный статус, он описан в справке. Это не санкция и не наказание. Формулировка Яндекса: алгоритм принял решение не включать страницу в поиск, поскольку у неё мало шансов оказаться востребованной пользователями. Ключевое слово — «шансов»: решение вероятностное и пересматриваемое. Справка отдельно указывает, что робот продолжает посещать исключённые страницы, а алгоритм проверяет вероятность их показа перед каждым обновлением поисковой базы.

«Недостаточно качественная» — надпись, которую владельцы видят в интерфейсе и в выгрузках, но которой в справочном описании статусов исключённых страниц нет. Это важно понимать буквально: Яндекс не публикует определения этого статуса и не описывает, чем он отличается от малоценности. Всё, что пишут в блогах про «признак машинно-сгенерированной страницы» и «фильтр BAD quality», — чужие наблюдения, а не документ. Я сам видел этот статус на страницах фильтров магазинов и на карточках без описаний, но выдавать наблюдение за правило не буду.

Практический вывод из этой разницы один: ни один из двух статусов не означает санкцию. Санкция называется нарушением, лежит в отдельном разделе и выглядит как прямое сообщение с названием и рекомендациями. Если в разделе безопасности пусто — ограничений на сайт нет, что бы ни показывал список исключённых адресов.

Что действительно влияет на попадание страницы в поиск — это спрос и содержимое. Тема того, как поиск оценивает сайты целиком, разобрана отдельно: как Яндекс определяет качество сайтов. И ещё одно, о чём забывают: страница может быть в индексе и при этом не приносить переходов — это разные состояния, разница описана в материале про индексацию против ранжирования.

Таблица: статус, причина, что делать

Статус	Что за ним стоит	Действие
Малоценная или маловостребованная	Решение алгоритма о низких шансах страницы быть востребованной	Если страница нужна — дорабатывать содержимое под реальные запросы; если служебная — оставить как есть
Ошибка при загрузке или обработке	Сервер ответил кодом 3XX, 4XX или 5XX	Проверить ответ сервера, починить страницу или убрать её из карты сайта
Запрещено в robots.txt или метатегом	Директива Disallow либо метатег robots с noindex	Убедиться, что запрет намеренный; если нет — удалить директиву или метатег
Перенаправляет робота на другие страницы	На адресе настроен редирект	Если редирект нужен — ничего не делать; если нет — убрать и вернуть код 200
Дублирует содержание другой страницы	Поиск объединил группу адресов, основным выбран другой	Разделить содержимое либо явно указать нужный адрес канонической ссылкой или редиректом
Не является канонической	Атрибут rel=»canonical» указывает на другой адрес	Проверить тег в коде страницы; исправить, если указывает не туда
Адрес сайта признан неглавным	Сайт в группе зеркал, главным выбран другой адрес	Проверить группу; при ошибочном объединении разгруппировать сайты
На сайте обнаружены нарушения	Ограничение за нарушение правил поиска	Открыть раздел «Безопасность и нарушения», устранить причину и отправить на проверку

Порядок разбора: от выгрузки до решения

Не пытайтесь чинить всё подряд. Половина исключённых адресов на любом сайте исключена правильно, и трогать их не надо. Работает такой порядок.

Шаг	Что делаете	Результат шага
1	Выгружаете исключённые адреса в таблицу	Полный список со статусами и датами посещения роботом
2	Открываете раздел «Безопасность и нарушения»	Ответ на главный вопрос: есть санкция или нет
3	Считаете адреса по статусам сводной таблицей	Видно, какая причина даёт основную массу
4	Отмечаете адреса, которые приносили переходы из поиска	Короткий список страниц, за которые стоит бороться
5	Вычёркиваете служебные адреса: метки, сортировки, фиды, архивы	Их исключение — норма, действий не требуется
6	Проверяете ответ сервера у всех адресов со статусом ошибки	Понятно, что именно чинить: страницу, сервер или карту сайта
7	Смотрите код нужных страниц на предмет noindex и canonical	Находятся запреты, о которых никто не помнил
8	Дорабатываете содержимое страниц из короткого списка	Появляются ответы на запросы, которых раньше не было
9	Отправляете исправленные адреса на переобход	Робот узнаёт об изменениях, не дожидаясь очередного обхода
10	Через две-три недели сверяете выгрузку заново	Видно, какие статусы ушли, а какие остались

Чего делать не надо

Закрывать исключённые страницы в robots.txt «чтобы не портили картину». Это не улучшает ничего: адрес просто меняет один статус на другой, а робот перестаёт видеть изменения, которые вы на странице сделаете. Отдельный случай — служебные разделы вроде результатов внутреннего поиска: их закрывать действительно стоит, и как это делать правильно, описано в материале про внутренний поиск, который плодит тысячи пустых страниц.

Переписывать все тексты сразу. Если под статусом малоценности лежит триста страниц, переписывание всех трёхсот за неделю не вернёт их: алгоритм оценивает страницу заново после того, как робот увидел изменения, и смотрит на спрос, а не на объём текста.

Дублировать содержимое с работающих страниц. Классический способ превратить исключение в реальную проблему: вы берёте текст со страницы, которая в поиске есть, и ставите его на ту, которой нет. Результат предсказуемый — вторая уходит в дубли, а первая теряет уникальность.

Ставить 301 с исключённых страниц на главную. Массовое перенаправление на главную поиск считает ошибкой, а посетитель из выдачи не находит того, что искал.

Делать выводы через три дня. Данные в отчётах обновляются с задержкой, а решение алгоритма пересматривается перед обновлением поисковой базы. Три дня — это ещё не результат.

Сколько ждать возврата страниц

Справка формулирует это так: робот продолжает посещать исключённые из поиска страницы, специальный алгоритм проверяет вероятность их показа перед каждым обновлением поисковой базы, и страница может появиться в поиске в течение двух недель после того, как робот узнает об её изменении.

Из этой формулировки следуют два практических вывода. Первый: отсчёт идёт не от момента вашей правки, а от момента, когда робот эту правку увидел. Поэтому после исправления имеет смысл отправить адрес на переобход, а не ждать. Второй: две недели — это про одну страницу с изменениями, а не про сайт целиком. Если вы поправили триста адресов, робот дойдёт до них не одновременно, и картина в отчёте будет меняться постепенно.

С техническими статусами проще. Снятый запрет в robots.txt, исправленный код ответа, убранный лишний canonical — всё это отрабатывает быстрее, потому что алгоритму не нужно переоценивать содержимое, достаточно заново получить страницу. Мой опыт по таким правкам: первые возвраты видны на третий-пятый день, основная масса — на второй-третьей неделе.

Когда это не сработает и когда нужен специалист

Инструкция выше не поможет в трёх ситуациях, и лучше знать о них заранее.

Первая: страницы исключены по статусу малоценности, и при этом они действительно никому не нужны — карточки снятых с производства товаров, страницы городов, где вы не работаете, теги блога из двух записей. Здесь надо не возвращать их в поиск, а убирать с сайта или объединять. Возврат мусора в индекс не даёт ничего.

Вторая: массовое исключение началось одновременно со сменой домена, протокола или структуры адресов. Тогда вы смотрите не на проблему, а на её следствие; чинить нужно переезд, и пока он не закончен, отчёт будет показывать движение адресов в обе стороны.

Третья: в разделе безопасности есть подтверждённое нарушение. Разбор статусов исключённых страниц в этом случае вторичен — сначала снимается ограничение, потом всё остальное.

Звать человека со стороны стоит, когда исключено больше половины сайта, когда исключение совпало по датам с работами подрядчика и вы не знаете, что именно он менял, или когда после ваших правок число исключённых адресов не уменьшилось, а выросло. Ещё один признак — магазин, где под статусом малоценности лежат тысячи карточек: там нужно решать, какие карточки вообще должны быть отдельными страницами, а это уже работа с каталогом, а не с тегами.

Частые вопросы

Исключение страницы — это фильтр?

Нет, кроме одного статуса — «на сайте обнаружены нарушения». Остальные семь описывают технические причины или решение алгоритма о невключении страницы в поиск. Проверить наличие санкции можно только в разделе «Безопасность и нарушения»: если он пуст, ограничений нет.

У меня в исключённых больше адресов, чем в поиске. Это нормально?

Зависит от того, что именно исключено. Если это метки кампаний, сортировки, фиды и архивы — нормально для любого сайта на популярном движке. Если это карточки товаров и страницы услуг — ненормально, и разбираться надо по статусам.

Можно ли ускорить возврат страницы в поиск?

Частично. Отправка адреса на переобход сокращает время до того момента, когда робот увидит изменения. Но решение о включении в поиск принимает алгоритм, и переобход на него не влияет — он влияет только на скорость получения новых данных.

Что делать со статусом «страница не является канонической», если canonical я не ставил?

Значит, его ставит движок или плагин. Откройте исходный код страницы и найдите строку с rel=»canonical» — там будет видно, на какой адрес он указывает. Чаще всего это настройка плагина оптимизации, включённая по умолчанию, либо тема, подставляющая адрес с www.

Страницы исключены после того, как я закрыл мусор от индексации. Это ошибка?

Скорее подтверждение, что правка сработала. Проверить нужно одно: не попали ли под общее правило нужные адреса. Сравните список исключённых со списком страниц, которые приносили переходы. Похожий разбор с цифрами есть в материале про то, как закрытие мусорных страниц влияет на позиции.

Коротко

Исключение страницы из поиска — рабочее состояние, а не наказание. Санкцию означает ровно один статус из восьми, и проверяется она в отдельном разделе Вебмастера, где написано название нарушения и что с ним делать.

Работать надо с выгрузкой, а не с экраном. Сводная таблица по статусам за десять минут показывает, что у вас одна причина на сотни адресов, а не сотни проблем.

«Малоценная или маловостребованная» — описанный в справке статус и решение алгоритма о шансах страницы. «Недостаточно качественная» — надпись из интерфейса, которой в справочном описании статусов нет, поэтому все её трактовки в блогах остаются чужими наблюдениями.

Половину исключённых адресов трогать не нужно: метки, сортировки, фиды, архивы и намеренные редиректы исключены правильно. Бороться стоит за короткий список страниц, которые приносили переходы или должны их приносить.

Сроки считаются от момента, когда робот увидел изменения, а не от момента вашей правки. Технические статусы уходят за дни, статус малоценности пересматривается алгоритмом и требует изменений в содержимом, а не в тегах.

И то, ради чего это вообще делается. Реклама приносит переходы ровно до тех пор, пока списывается бюджет: кончились деньги — кончился трафик, и повлиять на это нельзя. Страница, которую поиск включил в выдачу, работает иначе: она остаётся вашим активом и приносит обращения без ежедневных списаний. Контроль индексации — самая дешёвая часть этой работы: вы не покупаете трафик, а убираете причины, по которым поиск не показывает то, что у вас уже есть. Если хотите выстроить это системно, посмотрите продвижение сайта с контролем индексации, а доработку слабых страниц можно закрыть через тексты под реальные запросы. Если нужен разбор вашей конкретной выгрузки — приходите на консультацию: посмотрим статусы вместе и решим, за какие страницы стоит бороться, а какие проще убрать.

Первоисточники для проверки формулировок: справка Яндекса о причинах исключения страниц и описание малоценных и маловостребованных страниц.