Почему сайта нет в поиске Яндекс

«Сайта нет в Яндексе» — формулировка, за которой прячутся минимум восемь разных ситуаций, и лечатся они по-разному. Иногда сайт в индексе полностью, просто не показывается по запросам, которые владелец считает своими. Иногда в индексе две страницы из четырёхсот. Иногда домен вообще не известен поисковику. Я в SEO с 2005 года, и диагностику начинаю всегда с одного и того же: открываю Яндекс.Вебмастер и последовательно исключаю причины сверху вниз. Порядок здесь важнее знаний — без него люди месяцами переписывают тексты, когда на сайте висит запрещающий заголовок сервера. Ниже — алгоритм, которым я пользуюсь сам, только про Яндекс и только через его инструменты.

Сначала проверьте, есть ли сайт в индексе

Прежде чем что-то чинить, надо понять, о какой из трёх ситуаций идёт речь.

Первая: сайта нет в индексе совсем. Проверяется оператором поиска по домену — запрос вида site:вашдомен.ру в поисковой строке. Если результатов ноль, дальше нужно смотреть доступность и запреты. Вторая: часть страниц в индексе, часть нет. Тогда проблема в конкретных разделах или в качестве страниц. Третья: все страницы в индексе, но сайт не находится по запросам. Это уже не проблема индексации, а вопрос ранжирования, и решается он совсем другими действиями — работой над релевантностью, коммерческими факторами и ссылками.

Точные цифры даёт Вебмастер: раздел «Индексирование», отчёт «Страницы в поиске». Там видно, сколько страниц реально участвует в выдаче, и как эта цифра менялась по неделям. Сравните её с фактическим числом страниц на сайте. Расхождение в 5–10% нормально, расхождение в разы — сигнал.

Если сайт не добавлен в Вебмастер, добавьте и подтвердите права первым делом. Без него вы работаете вслепую: все дальнейшие шаги опираются на его отчёты.

Четыре отчёта Вебмастера, с которых начинается диагностика

В панели десятки разделов, но для поиска причины отсутствия в поиске нужны четыре.

Диагностика сайта. Верхний раздел, куда Яндекс складывает найденные проблемы: недоступность сервера, ошибки в robots.txt, отсутствие карты сайта, медленный ответ, отсутствие мобильной версии. Фатальные и критичные пункты закрываются в первую очередь.

Индексирование — Страницы в поиске. Показывает список включённых страниц и, что важнее, вкладку исключённых с указанием причины по каждому адресу. Именно здесь чаще всего и находится ответ.

Индексирование — Статистика обхода. Показывает, какие страницы робот скачивал и с каким кодом ответа. Если в списке масса ответов 5xx или 404 — сервер отдаёт роботу не то, что видите вы в браузере.

Безопасность и нарушения. Раздел, где отображаются санкции и заражения. Пустой раздел означает, что ручных мер к сайту не применяли.

К ним примыкает инструмент «Проверка ответа сервера»: он показывает, что робот Яндекса реально получает по конкретному адресу — код ответа, заголовки, содержимое. Это самый честный способ проверить доступность страницы для робота, а не для вашего браузера с сохранёнными cookie.

Сайт закрыт от индексации: четыре места, где ставят запрет

Самая частая и самая обидная причина. Сайт технически исправен, контент нормальный, а робот его не берёт, потому что ему запретили. Запрет прячется в четырёх местах, и проверять надо все.

Где искать	Как выглядит запрет	Как проверить
robots.txt	Disallow: / или запрет отдельных разделов; директива для User-agent: Yandex	Открыть файл по адресу домен/robots.txt и прогнать через анализатор robots в Вебмастере
Метатег в HTML	Тег robots со значением noindex в разделе head	Посмотреть исходный код страницы, найти строку с robots
Заголовок сервера	X-Robots-Tag со значением noindex в HTTP-ответе	Инструмент «Проверка ответа сервера» в Вебмастере — заголовок виден там
Настройки CMS	В WordPress — галочка «Попросить поисковые системы не индексировать сайт»	Настройки — Чтение в админке; галочка часто остаётся с этапа разработки

Отдельно проверьте, не закрыт ли сайт паролем на уровне сервера или по IP. Разработчики оставляют базовую авторизацию после сдачи проекта регулярно. Признак — в статистике обхода массово код 401 или 403.

Важный нюанс про robots.txt: запрет в нём не гарантирует исчезновения страницы из выдачи и, наоборот, мешает роботу увидеть метатег noindex. Если нужно убрать страницу из индекса — оставьте её открытой в robots.txt и поставьте noindex в коде. Если закрыть оба раза, робот не сможет прочитать тег и страница может висеть в выдаче месяцами.

Молодой домен и скорость обхода

Если домену меньше двух-трёх месяцев, а страниц немного, отсутствие в поиске может быть нормой. Яндекс не индексирует новые сайты мгновенно: сначала робот заходит редко, берёт главную и несколько страниц, оценивает, стоит ли тратить ресурс дальше.

Возраст и тип сайта	Типичный срок появления в поиске	Что ускоряет
Новый домен, 10–30 страниц	2–6 недель до первых страниц	Вебмастер, карта сайта, переобход вручную
Новый домен, крупный каталог	2–4 месяца до основной массы страниц	Быстрый сервер, понятная структура, внутренние ссылки
Домен с историей, новый сайт	1–3 недели, если история чистая	Проверка домена на прошлые санкции перед покупкой
Действующий сайт, новый раздел	3–14 дней	Ссылки на раздел с главной и из меню

На скорость обхода влияет квота, которую Яндекс выделяет сайту. Она зависит от скорости ответа сервера и от того, находил ли робот на сайте что-то ценное раньше. Медленный хостинг режет квоту напрямую: если страница отдаётся две секунды, робот за визит успевает скачать в разы меньше адресов. Это одна из причин, по которой на дешёвом виртуальном хостинге крупный каталог индексируется мучительно долго.

Ускоряют обход три вещи: корректная XML-карта сайта с датами последнего изменения, ссылки на новые страницы из уже проиндексированных разделов и ручная отправка адресов на переобход. Инструмент «Переобход страниц» в Вебмастере даёт квоту в несколько десятков адресов в сутки в зависимости от сайта — этого достаточно, чтобы протолкнуть важные страницы.

Статусы исключённых страниц и что они значат

Вкладка «Исключённые страницы» — главный диагностический инструмент. Каждому адресу Яндекс присваивает статус, и статус прямо говорит, что делать.

Статус	Что произошло	Что делать
Запрещена к индексированию	Робот увидел запрет в robots.txt или метатеге	Снять запрет, если страница нужна в поиске
Ошибка HTTP	Сервер отдал 404, 403 или 5xx	Проверить доступность, починить сервер или поставить 301
Дубль	Найдена страница с идентичным содержимым	Настроить канонический адрес или убрать дубль
Неканоническая	На странице стоит canonical на другой адрес	Проверить, правильно ли указан канонический адрес
Недостаточно качественная	Алгоритм решил, что страница не приносит пользы	Разбираться содержательно, см. следующий раздел
Redirect	Адрес перенаправляет на другой	Норма, если редирект поставлен намеренно
Ошибка соединения	Робот не смог достучаться до сервера	Проверить хостинг, фаервол, блокировки по подсетям

Отдельно проверьте, не блокирует ли робота Яндекса защита от ботов на сервере. Я не раз встречал ситуацию, когда после установки антибот-фильтра сайт разом терял индексацию: робот получал заглушку с проверкой. В статистике обхода это видно как массовые ответы 403 или 200 с крохотным объёмом страницы.

«Недостаточно качественная страница»: что за этим стоит

Самый пугающий статус и самый неоднозначный. Формулировка звучит как приговор контенту, но на практике за ней стоят разные вещи.

Чаще всего это малосодержательные страницы: карточка товара с одним фото и ценой без описания, страница фильтра, отличающаяся от соседней двумя словами, тег с единственной записью, страница пагинации. Яндекс экономит ресурс и не держит в индексе то, что не отвечает ни на один запрос уникальным образом.

Вторая ситуация — страницы нормальные, но новые, и алгоритм ещё не набрал по ним данных. Такое встречается на молодых сайтах: страница уходит в «недостаточно качественные», а через месяц-полтора возвращается сама. Паниковать и переписывать всё подряд в первый месяц не нужно.

Третья ситуация — весь сайт целиком признан слабым. Признак: статус массово стоит на большинстве страниц, включая нормальные. Здесь речь уже не про отдельные тексты, а про доверие к ресурсу в целом: плохой домен с историей, полностью шаблонный или сгенерированный контент, отсутствие контактов и реквизитов, ноль внешних упоминаний.

Что помогает: убрать из индекса заведомо пустые типы страниц, чтобы не разбавлять сайт; на оставшихся дать реальную пользу — характеристики, фото, отзывы, ответы на вопросы; добавить блоки, которых нет у конкурентов; заполнить контактные данные, реквизиты, страницу «О компании». Что не помогает: наращивание объёма текста ради объёма и рерайт того, что и так есть у всех.

Зеркала, дубли и технические сбои

Сайт может быть в индексе, но не тот. Классика — четыре версии адреса: с www и без, по http и по https. Если склейка зеркал не настроена, Яндекс выбирает главное зеркало сам, и оно не всегда совпадает с тем, что вы продвигаете. Проверяется в Вебмастере: раздел «Индексирование — Переезд сайта» и указание главного зеркала. Все остальные версии должны отдавать 301 на выбранную.

Похожая история после переезда на HTTPS. Если старые адреса не перенаправлены, в индексе живут обе версии, и трафик размывается. Смотрите статистику обхода: если робот продолжает ходить по http-адресам через месяц после переезда, редиректы стоят не везде.

Технические сбои проявляются иначе. Если хостинг падал или отдавал 5xx, робот снижает частоту обхода и постепенно выкидывает страницы. График в статистике обхода покажет всплеск ошибок с датами. После восстановления сервера индекс возвращается сам, но на это уходит от двух недель до полутора месяцев.

Ещё одна ловушка — тестовая копия сайта на поддомене разработчика, открытая для индексации. Яндекс видит два одинаковых сайта и может выбрать «главным» не ваш. Закрывайте тестовые копии паролем на уровне сервера, одного robots.txt мало.

Санкции и фильтры Яндекса

Если раздел «Безопасность и нарушения» пуст, ручных санкций нет, и искать причину нужно в другом месте. Если непусто — читайте формулировку: Яндекс прямо называет тип нарушения.

Практически встречаются несколько вариантов. Накрутка поведенческих факторов — самое тяжёлое, сайт теряет позиции по всем запросам, срок ограничения обычно от нескольких месяцев. Малополезный контент и избыток рекламы — отправляет в глубину выдачи большие разделы сайта. Переоптимизация текстов — за перенасыщение ключами; лечится переписыванием текстов на человеческий язык. Наличие вредоносного кода — сайт помечается в выдаче предупреждением, лечится чисткой и запросом на перепроверку.

Важно не подменять понятия. Резкое падение позиций после обновления алгоритма — это не санкция, а переоценка. Отсутствие в поиске нового сайта — не санкция, а очередь на индексацию. Санкция — это конкретная запись в Вебмастере, и только она.

Пошаговый алгоритм: что проверять и в каком порядке

Шаг	Действие	Если нашли проблему
1	Проверить наличие сайта в индексе оператором site:	Ноль страниц — переходить к шагу 2, иначе к шагу 5
2	Открыть robots.txt и метатег robots на главной	Снять запрет, отправить главную на переобход
3	Проверить ответ сервера инструментом Вебмастера	Код не 200 или есть X-Robots-Tag — чинить на сервере
4	Проверить настройки индексации в админке CMS	Снять галочку запрета индексации
5	Открыть раздел «Безопасность и нарушения»	Есть запись — устранять нарушение и запрашивать перепроверку
6	Открыть «Диагностика сайта», закрыть фатальные и критичные	Исправлять по списку сверху вниз
7	Посмотреть исключённые страницы и распределение статусов	Действовать по таблице статусов выше
8	Проверить главное зеркало и редиректы с www и http	Настроить 301 и указать главное зеркало
9	Посмотреть статистику обхода за 3 месяца	Всплески 5xx — разбираться с хостингом
10	Проверить карту сайта и отправить приоритетные адреса на переобход	Ждать 1–3 недели и смотреть динамику

Проходить шаги нужно по порядку и не перепрыгивать. Самая частая ошибка — начать с седьмого пункта и месяц переписывать тексты, когда на сайте висит запрет из второго.

Проблемы с индексацией лечит техническая доработка. Список причин по вашему сайту даст бесплатный аудит.

Коротко

Отсутствие в поиске Яндекса — это не один диагноз, а три разные ситуации: сайта нет в индексе, часть страниц выпала, сайт в индексе, но не ранжируется. Первое, что нужно сделать, — определить, какая из трёх у вас, через оператор site: и отчёт «Страницы в поиске» в Вебмастере.

Дальше проверяйте причины строго по порядку: запреты в robots.txt, метатеге и заголовках сервера, галочка в админке, ответ сервера, санкции, фатальные ошибки диагностики, статусы исключённых страниц, зеркала и редиректы, статистика обхода. Восемь из десяти случаев закрываются на первых четырёх шагах.

Молодому домену нужно время: 2–6 недель на первые страницы и до нескольких месяцев на крупный каталог. Статус «недостаточно качественная» на новом сайте часто снимается сам, а вот массовое его появление на действующем сайте означает проблему с доверием к ресурсу целиком. Ручной переобход, корректная карта сайта и быстрый сервер — три вещи, которые реально ускоряют индексацию; всё остальное придётся ждать.

Если нужно SEO-продвижение сайтов — помогу вывести сайт в топ Яндекса и удержать позиции.