«Яндекс перестал индексировать сайт» — с этой формулировкой ко мне приходят чаще всего, и почти всегда за ней стоит не та причина, которую предполагает владелец. Страницы работают, тексты уникальные, robots.txt проверен — а в поиске их нет. На форумах советуют ждать три месяца и отправлять в переобход, и оба совета обычно бесполезны, потому что лечат не то.
Реальная причина в подавляющем большинстве случаев одна из восьми, и Вебмастер называет её прямо — надо только знать, в каком отчёте смотреть. Ниже порядок диагностики: как измерить масштаб проблемы, как определить причину по формулировке в отчёте об исключённых страницах и что делать по каждой из них.
Сначала измерьте: сколько страниц реально в индексе
Прежде чем искать причину, нужно понять масштаб. Ощущение «сайт не индексируется» часто означает «не индексируются несколько важных страниц», и это совсем другая задача.
Три числа, которые надо получить:
- Сколько страниц вы хотите видеть в поиске. Считается по карте сайта или обходом любой программой-краулером. Именно хотите — без служебных, архивных и технических адресов.
- Сколько страниц в поиске сейчас. Вебмастер, раздел индексирования, отчёт о страницах в поиске. Это точное число, в отличие от оператора site: в выдаче, который даёт приблизительную оценку.
- Сколько страниц робот обходит в сутки. Статистика обхода. Если на сайте две тысячи адресов, а робот берёт двадцать в день, полный цикл займёт три месяца — и любые правки будут учитываться неделями.
Разрыв между первым и вторым числом — это ваша задача. Дальше открываете отчёт об исключённых страницах: там по каждому адресу указана причина, и причины принципиально разные. Общего диагноза «плохо индексируется» не существует, есть конкретные статусы.
| Статус в Вебмастере | Что означает | С чего начинать |
|---|---|---|
| Недостаточно качественная | Страница обойдена, но признана малополезной | Смотреть содержимое: объём, уникальность, польза |
| Дубль | Есть другая страница с тем же содержимым | Канонический адрес, склейка параметров, редиректы |
| Запрет в robots.txt | Обход закрыт директивой | Проверить правила, часто закрыто лишнее |
| Запрет метатегом | На странице стоит noindex | Убрать тег, отправить в переобход |
| Ошибка при обходе | Сервер отдал 5xx или не ответил | Логи сервера, время ответа, стабильность хостинга |
| Неканоническая | Страница указывает на другую как на основную | Проверить, туда ли указывает каноникал |
| Страница не найдена | Адрес отдаёт 404 | Убрать из карты сайта и внутренних ссылок |
Отсортируйте исключённые по причине и посчитайте доли. Обычно выясняется, что восемьдесят процентов приходится на один-два статуса, и работа сводится к одной задаче вместо десяти.
Причина, которая встречается чаще остальных
Самый частый статус — «недостаточно качественная страница». И это одновременно самая неприятная формулировка, потому что она не говорит, что именно не так.
Что за ней обычно стоит на практике:
- Тонкое содержимое. Карточка товара с названием, ценой и двумя строчками описания. Страница категории с одним заголовком и списком ссылок. Формально страница есть, отвечать на запрос ей нечем.
- Почти-дубли. Сто карточек, отличающихся одним словом в названии и цифрой в характеристиках. Технически это разные адреса, содержательно — одна страница в ста экземплярах.
- Страницы, порождённые фильтрами и сортировкой. Каждое сочетание параметров создаёт адрес, содержимое повторяется, ценности ни в одном.
- Пустые разделы. Теги с одной записью, архивы по месяцам, страницы пагинации без собственного смысла.
- Скопированные описания. Характеристики, взятые из каталога поставщика, встречаются на сорока сайтах одновременно.
Лечение зависит от типа. Тонкие карточки дорабатывают: добавляют то, чего нет у конкурентов, — условия доставки для этого товара, совместимость, ответы на вопросы, которые задают перед покупкой. Служебные адреса от фильтров закрывают от обхода или склеивают каноническим адресом. Пустые разделы убирают вовсе.
Важная деталь: возврат в индекс после доработки занимает от недели до месяца, и происходит он не сразу для всех страниц. Система переоценивает сайт постепенно, поэтому исправление десяти карточек из тысячи заметного эффекта не даст — нужен объём или системная правка шаблона.
Подробнее об этом — в статье «Core Web Vitals: скрытая причина, почему ваш сайт не растёт в позициях».
Закрыто от индексации по недосмотру
Банальная причина, которая тем не менее встречается регулярно, особенно после разработки или переезда. Сайт делался на тестовом адресе, был закрыт от обхода, выкатили в рабочий контур — запрет остался.
Проверяется по трём местам, и все три обязательны:
- Файл robots.txt. Откройте его по прямому адресу и найдите блоки для всех агентов и для агента Яндекса. Строка запрета всего сайта — очевидна, но чаще прячется частный запрет: закрыт раздел каталога или адреса с определённым фрагментом.
- Метатег в коде страницы. Смотрите исходный код, а не отображение. В блоке служебных тегов не должно быть запрета на индексацию.
- Заголовок ответа сервера. Запрет может стоять на уровне сервера, и в коде страницы его не видно. Проверяется любым сервисом просмотра заголовков ответа.
Помогу с продвижением: SEO-продвижение сайтов — вывожу сайты в топ Яндекса белыми методами.
Отдельная ловушка — плагины. В системах управления сайтом бывает переключатель «попросить поисковые системы не индексировать сайт», поставленный на этапе разработки и забытый. Он не виден в коде явно, потому что подставляет запрет через настройки, но действует так же.
Ещё одна деталь про robots.txt, которую понимают неверно: закрытие в нём не гарантирует отсутствия страницы в поиске. Робот не заходит внутрь, но видит ссылки на адрес и может показать его в выдаче без описания. Если страницу нужно убрать гарантированно, её оставляют открытой для обхода и закрывают метатегом — иначе робот просто не увидит запрет.
Сервер отвечает медленно или нестабильно
Если сервер отдаёт ответ дольше нескольких секунд или периодически возвращает ошибки, робот уходит ни с чем. Дальше срабатывает механизм, о котором редко думают: частота обхода снижается. Система не тратит ресурсы на сайт, который плохо отвечает, и в результате новые страницы попадают в индекс с задержкой в недели.
Что смотреть:
- Время ответа в статистике обхода. Ориентир — до 500 мс, тревожный порог — от 1500 мс. Смотрите не среднее, а динамику: провалы в определённые часы указывают на перегрузку.
- Доля ошибок 5xx среди обойденных адресов. Единичные допустимы, устойчивая доля означает проблему на сервере.
- Логи сервера. В них видно, приходил ли робот вообще и что получил. Это самый честный источник: отчёты агрегированы, логи показывают каждый запрос.
- Стабильность доступности. Любой сервис внешнего мониторинга, запущенный хотя бы на неделю, покажет, падает ли сайт ночью, когда вы этого не видите.
Лечится это по-разному: кэширование, оптимизация запросов к базе, смена тарифа или хостинга. Универсального совета нет, но диагностика обязательна до всех остальных работ — на нестабильном сервере бессмысленно править тексты. Если правки требуют вмешательства в код и настройки, это отдельная задача на доработку сайта.
Дубли, квота обхода и карта сайта
У каждого сайта есть предел количества страниц, которые робот берёт за период. Если из двух тысяч обойденных адресов полторы тысячи — это фильтры, сортировки и метки в ссылках, ценные страницы просто не получают внимания.
Тему разбирал отдельно: «Как я вывел сайт клиента на первое место в Яндекс за неделю».
Порядок разбора:
- Посмотрите, какие адреса робот брал за последнюю неделю. Статистика обхода даёт список. Если там преобладают адреса с параметрами, причина найдена без дальнейших поисков.
- Обойдите сайт краулером и найдите группы дублей. Одинаковые заголовки и описания — самый быстрый способ их обнаружить.
- Закройте служебные адреса. Параметры сортировки и меток склеиваются специальной директивой, фильтры закрываются от обхода или получают канонический адрес основной категории.
- Проверьте варианты главной страницы. С www и без, по обоим протоколам, со слэшем и без. Все версии, кроме одной, обязаны вести на неё перенаправлением.
- Приведите в порядок карту сайта. В ней должны быть только те адреса, которые вы хотите видеть в поиске: без закрытых от индексации, без перенаправляемых, без несуществующих.
Противоречивые сигналы — отдельная беда. Адрес есть в карте сайта, но закрыт метатегом. Или канонический адрес указывает на страницу, которая сама перенаправляет на третью. Робот в таких случаях принимает решение самостоятельно, и решение редко совпадает с вашим намерением.
Когда страницы вылетели массово
Если сайт был в индексе, а потом за короткий срок потерял значительную часть страниц, картина меняется: искать надо не техническую причину, а событие.
Сначала проверьте очевидное: не было ли переезда, смены системы управления, обновления шаблона, переноса на другой сервер. Массовый вылет чаще объясняется тем, что после переезда старые адреса стали отдавать ошибку без перенаправлений, чем санкциями.
Если технических событий не было, смотрите уведомления в Вебмастере — там появляются сообщения о нарушениях. Типовые основания и то, как они выглядят:
- Низкое качество и автоматически сгенерированное содержимое. Поражает сайт целиком, восстановление занимает месяцы после реальной переделки, а не косметической правки.
- Искусственные ссылки. Проявляется просадкой по коммерческим запросам. Требует снятия закупленных ссылок и времени на пересчёт.
- Переоптимизированные тексты. Избыток ключевых слов, перечисления городов, неестественные формулировки. Лечится переписыванием, эффект виден за несколько недель.
- Накрутка поведения. Самое тяжёлое основание, последствия длительные, и восстановление не гарантировано.
Порядок действий одинаковый: устранить причину полностью, а не частично, дождаться переобхода и только потом писать в поддержку. Обращение с формулировкой «мы всё исправили», когда исправлена половина, отодвигает пересмотр, а не приближает его.
Молодой домен и содержимое, собираемое скриптами
Две ситуации, которые часто принимают за поломку, хотя это нормальное поведение системы.
Новый сайт. Первые месяцы он индексируется медленно и почти не ранжируется даже по уточнённым запросам. Это не фильтр, а недостаток данных: системе нечем оценить сайт, у него нет ни истории, ни упоминаний. Ускоряется это не переобходом, а наполнением, внешними упоминаниями и стабильностью — то есть тем, что даёт материал для оценки.
Смежный материал по теме — «Сколько времени сайт продержится в ТОП Яндекс если его не продвигать».
Содержимое, которое собирается в браузере. Если сайт построен на современном фреймворке с отрисовкой на стороне пользователя, текст может отсутствовать в исходном коде и появляться только после выполнения скриптов. Робот такие страницы обрабатывает, но не всегда успешно и не всегда быстро.
Проверяется просто: откройте исходный код страницы и поищите в нём любой абзац из видимого текста. Нет — значит, содержимое собирается скриптами. Решение — отрисовка на стороне сервера или предварительная генерация страниц. Для готовых проектов используют промежуточный слой, который отдаёт роботу готовый вариант страницы.
Порядок действий по шагам
Чтобы не хвататься за всё сразу, идите сверху вниз и не переходите к следующему пункту, пока не закрыт предыдущий.
| Шаг | Что делаете | Когда переходить дальше |
|---|---|---|
| 1 | Смотрите уведомления и диагностику в Вебмастере | Критических сообщений нет |
| 2 | Проверяете robots.txt, метатег и заголовок ответа | Запретов на нужных страницах не осталось |
| 3 | Сортируете исключённые страницы по причине | Понятно, какой статус даёт основную долю |
| 4 | Проверяете время ответа сервера и долю ошибок | Ответ укладывается в норму стабильно |
| 5 | Приводите в порядок карту сайта | В ней только нужные и открытые адреса |
| 6 | Закрываете дубли и служебные адреса | В обходе преобладают ценные страницы |
| 7 | Дорабатываете малополезные страницы | Содержимое отвечает на запрос, а не обозначает тему |
| 8 | Отправляете важные страницы на переобход | Ждёте от нескольких дней до трёх недель |
Переобход стоит на восьмом месте не случайно. Отправлять страницу заново, не исправив причину исключения, бессмысленно: робот придёт, увидит то же самое и исключит её повторно. Инструмент переобхода ускоряет учёт изменений, но не заменяет сами изменения.
Частые вопросы
Сколько ждать после исправления?
От нескольких дней до трёх недель для отдельных страниц, отправленных на переобход. Для сайта целиком — дольше, потому что переоценка идёт постепенно и зависит от того, как часто робот заходит. Ориентируйтесь на статистику обхода: если робот берёт мало страниц в сутки, любые изменения будут учитываться медленно, и сначала имеет смысл заняться скоростью и чисткой мусорных адресов.
Помогает ли постоянная отправка страниц на переобход?
Помогает ускорить учёт конкретной правки, но не решает системных проблем. Ежедневная отправка одних и тех же адресов ничего не ускоряет: лимит на количество адресов ограничен, и разумнее тратить его на действительно изменившиеся страницы. Если страница исключена как малополезная и вы ничего в ней не поменяли, переобход вернёт тот же статус.
Почему в выдаче по оператору site: одно число, а в Вебмастере другое?
Оператор в выдаче даёт приблизительную оценку и включает адреса в разных состояниях, а Вебмастер показывает точное количество страниц, участвующих в поиске. Расхождение в полтора-два раза нормально. Опираться при работе нужно на данные Вебмастера, а оператор использовать только для быстрой прикидки.
Может ли сайт не индексироваться из-за хостинга?
Да, и не только через скорость. Бывают случаи, когда сервер блокирует запросы робота как подозрительную активность, особенно после настройки защиты от нежелательного трафика. Проверяется по логам: если запросов от робота в них нет вовсе, а сайт при этом открывается, дело в блокировке. Второй вариант — сервер отвечает роботу иначе, чем браузеру, из-за настроек кэширования.
Стоит ли закрывать пагинацию и архивы?
Пагинацию закрывать не нужно: через неё робот доходит до глубоких страниц каталога, и закрытие обрывает путь. Архивы по датам и теги с одной-двумя записями действительно чаще мешают, чем помогают, потому что расходуют квоту обхода без пользы. Решение принимается по данным: посмотрите, приносят ли эти адреса переходы из поиска, и если за полгода ни одного — закрывайте.
Коротко
- Начинают с измерения: сколько страниц должно быть в поиске, сколько есть, сколько робот берёт в сутки. Без этих трёх чисел диагностика превращается в гадание.
- Причину называет отчёт об исключённых страницах. Статусы разные — «малополезная», «дубль», «запрет», «ошибка сервера» — и лечатся они по-разному.
- Чаще всего встречается статус о недостаточном качестве: за ним стоят тонкие карточки, почти-дубли и адреса, порождённые фильтрами.
- Запрет на индексацию проверяется в трёх местах: robots.txt, метатег в коде, заголовок ответа сервера. Плюс переключатель в настройках системы управления сайтом.
- Медленный или нестабильный сервер снижает частоту обхода, и новые страницы попадают в индекс с задержкой в недели.
- Переобход отправляют последним шагом, после устранения причины. Отправка без исправления возвращает тот же статус исключения.
Если вы прошли все шаги, а страницы в поиск не возвращаются, причина нестандартная и ищется по логам и выгрузкам конкретного сайта — с этим приходите на SEO-консультацию: смотрю Вебмастер, статистику обхода и ответы сервера, называю причину с указанием адресов и даю порядок правок. Если проблема требует вмешательства в код и настройки сервера, отдельно оформляется техническая доработка сайта.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →Комментарии
Роман Желябин
Отсортировал исключённые по причине, как вы пишете. Из 3400 адресов 2900 — «дубль». Открываю несколько штук, это карточки товара с разными параметрами в ссылке после перехода из фильтра. Что с этим делать, закрывать фильтр целиком?
Анатолий Кузнецов автор
Фильтр целиком закрывать не спешите: часть его страниц может быть полезной, если по сочетанию параметров есть реальный спрос. Порядок такой. Сначала посмотрите, отличаются ли эти адреса содержимым от основной карточки — если это одна и та же карточка с довеском в ссылке, ставьте канонический адрес на чистую версию и склеивайте параметры отдельной директивой в robots.txt. Дальше проверьте по Вордстату, ищут ли люди сочетания вроде «категория плюс материал» или «категория плюс размер»: под такие сочетания имеет смысл сделать отдельные посадочные с собственным заголовком и текстом, а не служебные адреса. Всё остальное закрывайте. После правки обязательно проверьте статистику обхода через месяц — если робот перестал ходить по мусору, ценные страницы начнут заходить в индекс сами.
Игорь Захряпин
У нас статус «недостаточно качественная» на трёхстах страницах блога. Тексты писал копирайтер, по 4000 знаков, уникальность высокая. Не понимаю, чем они плохи.
Анатолий Кузнецов автор
Уникальность по проверялкам и полезность — разные вещи, и статус ставится по второй. Возьмите пять таких страниц и честно ответьте: что в них есть, чего нет в первых десяти результатах по тому же запросу? Если ничего — это пересказ, и объём в 4000 знаков ситуацию не спасает, скорее наоборот. Второе, что проверить: не отвечают ли триста статей на один и тот же запрос разными словами. Такое бывает, когда тексты заказывались списком тем без семантики, и тогда система видит внутреннюю конкуренцию и оставляет одну страницу из десяти. Практический ход — сгруппировать статьи по смыслу, объединить близкие в один материал с перенаправлением, а оставшиеся дополнить тем, чего у конкурентов нет: порядком действий, таблицами, разбором частных случаев.
Наталья Зубрицкая
Сайт новый, полтора месяца. В индексе главная и две страницы из двадцати. Подрядчик говорит — песочница, ждите. Ждать действительно нечего не остаётся?
Анатолий Кузнецов автор
Ждать — плохой план, потому что под словом «песочница» часто прячут непроверенные технические причины. Пройдите три пункта прежде, чем соглашаться на ожидание. Первый: есть ли карта сайта и добавлена ли она в Вебмастере — на новом сайте робот сам находит страницы медленно. Второй: не остался ли запрет на индексацию с этапа разработки, это на новых сайтах самая частая находка. Третий: ведут ли на все двадцать страниц внутренние ссылки из меню или разделов — страница, на которую нет ни одной ссылки, для робота почти не существует. Если все три пункта в порядке, тогда действительно нужно время, но параллельно работайте на упоминания: карточки в справочниках, профильные площадки, соцсети. Сайту, о котором никто нигде не говорит, системе нечем себя убедить.
Егор Жулидов
Проверил логи после вашего абзаца про хостинг — и правда, робот получал 403. Оказалось, защита от нежелательного трафика, которую включил хостер месяц назад по нашей же просьбе. Совпало с падением трафика день в день.
Анатолий Кузнецов автор
Классическая история, и хорошо, что нашли по логам, а не гадали месяцами. Дальше сделайте две вещи. Первая: попросите хостера внести адреса роботов поисковых систем в список разрешённых и проверьте результат через инструмент проверки ответа сервера в Вебмастере — он покажет, что видит именно робот, а не ваш браузер. Вторая: после снятия блокировки отправьте на переобход главную и десяток важных страниц, чтобы ускорить возврат. И на будущее заведите привычку смотреть статистику обхода раз в месяц — падение числа обойденных страниц до нуля видно там сразу, задолго до того, как просядет трафик.
Виктор Зудин
Вопрос по пагинации. Читал у разных людей ровно противоположные советы: одни говорят закрывать, другие оставлять. Вы за то, чтобы оставлять. А как же дубли заголовков на второй и третьей странице?
Анатолий Кузнецов автор
Противоречие снимается разделением двух вопросов: обход и участие в поиске. Обход закрывать нельзя — через страницы пагинации робот доходит до товаров, которые больше ниоткуда не связаны, и закрытие обрывает этот путь. А вот показывать вторую и третью страницу в выдаче незачем, и здесь работает разметка: на страницах со второй и далее добавляют номер в заголовок и описание, чтобы они не были дублями первой, а часть проектов дополнительно указывает канонический адрес на первую. Проверить, что путь не оборван, просто: запустите краулер и посмотрите, доходит ли он до карточек с последних страниц каталога. Если доходит только до первой сотни — проблема есть, и она серьёзнее любых дублей заголовков.
Александр Иванищев
Про переключатель в настройках движка — попался ровно на этом. Полгода сайт висел закрытым после переноса, никто не догадался посмотреть галочку, все смотрели robots.txt.
Людмила Жеребилова
Таблицу со статусами сохранила. До этого открывала отчёт об исключённых и закрывала, потому что непонятно было, что делать с каждой строчкой.
Григорий Иорданский
Не соглашусь про архивы. У нас блог на восемь лет, архивы по годам дают неплохой трафик по запросам вида «обзор за такой-то год». Закрывать точно не буду.
Олег Замулин
Замерил время ответа — 2800 мс в вечерние часы, утром 400. Тариф самый дешёвый, соседи по серверу, видимо, активные. Теперь понятно, почему обход такой вялый.
Эдуард Званцев
А есть смысл дублировать карту сайта в robots.txt, если она уже добавлена в Вебмастере? Или это лишнее действие ради галочки.
Оксана Ишбулатова
Про содержимое на скриптах: у нас каталог собирается в браузере, в исходном коде пусто. Разработчик говорит, что современные роботы всё умеют. Судя по индексу — не всё.
Руслан Ихсанов
Отправлял на переобход одни и те же страницы каждый день два месяца. Прочитал восьмой пункт и понял, чем занимался. Причину-то никто не исправлял.
Старт 
Стандарт 
Премиум 
Ждём продолжения про ускорение индексации крупных сайтов.
Хорошо расписано для новичков. Мне как раз не хватало понимания процесса.
А я грешил на хостинг, а оказалось сам всё закрыл в настройках.
Реально помогло, нашёл ошибку в sitemap. Там были старые удалённые страницы.
Спасибо, буду проверять карту сайта, походу она у меня вообще не обновляется.
У нас интернет магазин, страницы фильтров плодят миллионы дублей. Теперь понятно почему индексация буксует.
Толковая статья. Особенно про мета тег noindex, который часто забывают убрать после разработки.
Скажите, а есть смысл использовать инструмент переобхода страниц в Вебмастере каждый день, или Яндекс может расценить это как спам и наоборот замедлить индексацию?
Николай, отправлять на переобход каждый день не запрещено и спамом это не считается, лимит там свой и Яндекс сам его регулирует. Но чуда от ежедневных отправок не будет, если проблема в качестве страниц. Лучше направьте силы на устранение причины, а не на постоянный пинг робота.
Спасибо большое, отправил на переобход вручную, посмотрим что будет через неделю.
Дубли и правда мешают индексации, столкнулся лично. Пришлось настраивать канониклы.
Добавил сайт в Вебмастер только после вашей статьи. Стыдно, полгода работал без него.
А влияет ли скорость загрузки сайта на то, как часто робот Яндекса приходит на переобход, или это вообще никак не связанные между собой вещи?
Денис, связь прямая: чем быстрее грузится сайт, тем больше страниц робот успевает обойти за один визит, это называется краулинговый бюджет. На медленном сайте робот просто не доходит до части страниц. Так что оптимизация скорости это заодно и ускорение индексации.
У меня наоборот всё в индексе но позиций нет. Но статья полезная.
Проверил robots txt по вашему совету, там реально был закрыт весь раздел каталога. Спасибо, глаза открыли.
Подскажите, сколько обычно ждать индексацию новых страниц молодого сайта, если в Вебмастере они висят в статусе обход состоялся но страница не в поиске?
Анастасия, для молодого сайта нормальный срок индексации от нескольких дней до пары недель, но статус обход состоялся страница не в поиске часто говорит о низком качестве или дублях. Проверьте уникальность контента и отправьте страницы на переобход вручную. Если через месяц не появились, значит Яндексу что то не нравится в самих страницах.
Актуальная боль. Сайту три месяца, в индексе всего две страницы из сорока.