Почему сайта нет в поиске Яндекс

Жалоба «сайта нет в поиске Яндекс» в большинстве случаев упирается не в алгоритмы и не в конкурентов, а в одну строку Disallow: /, которую программист поставил на время разработки и не снял при переносе на боевой домен. Вторая по частоте причина ещё проще: сайту три недели, а его владелец уже ждёт заявок. Ниже — порядок проверок от самой частой причины к самой редкой, с конкретными командами и сроками, чтобы не тратить месяцы на лечение выдуманной болезни.

Порядок диагностики: не начинайте с конца

Типичная ошибка — сразу лезть в тексты, ссылки и «переоптимизацию». Причины отсутствия в выдаче выстраиваются в жёсткую иерархию: пока сайт закрыт от робота, любые работы над контентом бессмысленны. Идти надо сверху вниз и останавливаться на первой найденной проблеме.

Что проверяем	Как проявляется	Чем проверить
Запрет индексации	В Вебмастере 0 страниц в поиске, статус «Запрещён тегом noindex» или «Запрещено в robots.txt»	robots.txt, код страницы, curl -I
Возраст сайта	Домен зарегистрирован недавно, страницы в обходе есть, показов почти нет	Дата регистрации домена, «Статистика обхода»
Санкции	Страницы были в поиске и разом выпали	Диагностика → Безопасность и нарушения
Технические ошибки	Мало страниц в индексе относительно реального числа	Страницы в поиске → Исключённые
Нет страниц под спрос	Индекс в порядке, но показов по коммерческим фразам нет	Сопоставление ядра со структурой
Конкуренция	Страницы в индексе, позиции за пределами сотни	Состав топ-10 по запросу

Дальше — каждый пункт подробно.

Причина 1. Сайт закрыт от индексации через robots.txt

Откройте в браузере адрес вида https://вашсайт.ru/robots.txt. Файл отдаётся как обычный текст, никаких панелей и логинов для этого не нужно. Смертельная комбинация выглядит так:

• User-agent: * и следом Disallow: / — закрыт весь сайт для всех роботов;
• User-agent: Yandex и Disallow: / — закрыт именно для Яндекса, при этом Google может индексировать нормально, и владелец долго не понимает, в чём дело;
• директива Disallow: /*? при том, что вся структура сайта построена на параметрах — закрыты все карточки;
• отсутствие файла вообще: это не запрет, но и не помощь — робот не видит указания на карту сайта.

Проверить, как директиву читает именно Яндекс, надёжнее всего в Вебмастере: «Инструменты → Анализ robots.txt». Туда вставляется список URL, и сервис показывает по каждому — разрешён он или запрещён и какой именно строкой. Это снимает споры про то, что «звёздочка тут работает иначе».

После правки файла не ждите молча. В том же Вебмастере есть «Переобход страниц» — добавьте туда главную и три-четыре ключевые посадочные. Робот приходит на такие адреса заметно быстрее, чем при обычном обходе.

Причина 2. Мета-тег noindex в коде и галочка в настройках CMS

Запрет может стоять не в общем файле, а в самой странице. Откройте исходный код (Ctrl+U) и найдите поиском по странице слово robots. Опасные варианты:

• <meta name="robots" content="noindex, nofollow"> — страница не попадёт в индекс и не передаст вес по ссылкам;
• <meta name="yandex" content="none"> — то же самое, но адресно для Яндекса;
• <meta name="robots" content="noindex, follow"> — страница вне индекса, но ссылки с неё робот обходит.

Важная тонкость: тег может проставляться не вручную, а SEO-плагином. В Yoast, Rank Math и All in One SEO есть настройки типа контента, где случайно выставленный переключатель закрывает разом все записи, все страницы или весь раздел. Проверять надо не одну главную, а по одному представителю каждого типа: главная, страница услуги, карточка товара, статья блога, страница категории.

Галочка «Попросить поисковые системы не индексировать сайт»

Классика для WordPress. Путь: «Настройки → Чтение», внизу пункт «Попросить поисковые системы не индексировать сайт». Её ставят на время сборки на тестовом домене, потом переносят базу на боевой вместе с этой настройкой.

Проявляется двояко: в robots.txt появляются строки запрета, а в код страниц добавляется noindex. Снимается за пять секунд, но найти её можно только если знать, где смотреть — в интерфейсе она спрятана внизу третьестепенного экрана.

В других CMS есть аналоги: в Битриксе — режим разработки и настройки модуля SEO, в OpenCart и Joomla — параметры robots в настройках сайта, в MODX — системная настройка и содержимое шаблона. Логика одна: ищите глобальный переключатель индексации.

Причина 3. Заголовок X-Robots-Tag, которого не видно в коде

Самый неприятный вариант: в robots.txt чисто, в коде страницы никаких мета-тегов, а Вебмастер упорно пишет «Запрещён тегом noindex». Запрет отдаётся HTTP-заголовком, который браузер не показывает в исходном коде.

Проверяется одной командой в терминале:

curl -I https://вашсайт.ru/ | grep -i robots

Если в ответ пришла строка вида X-Robots-Tag: noindex — причина найдена. Пустой вывод означает, что заголовка нет и копать надо дальше. Полезно посмотреть весь ответ целиком: curl -sI https://вашсайт.ru/ покажет заодно код ответа, редиректы и заголовки кэширования.

Смежный материал по теме — «Краулинговый бюджет: что это и почему Яндекс не обходит половину вашего сайта».

Откуда берётся заголовок:

• директива в .htaccess вида Header set X-Robots-Tag "noindex, nofollow", оставшаяся с этапа разработки;
• настройка в конфиге nginx на уровне сервера или конкретного location;
• плагин или модуль «режим обслуживания», который добавляет заголовок ко всем ответам;
• настройка хостинга для тестовых поддоменов, унаследованная при клонировании сайта.

Проверять нужно и главную, и внутренние: заголовок часто ставят на весь каталог или на конкретный раздел, а не на весь домен сразу.

Причина 4. Пароль, оставшийся после разработки

Базовая HTTP-авторизация закрывает сайт от всех, включая робота. Владелец при этом ничего не замечает: браузер помнит логин и пароль и подставляет их автоматически, сайт открывается нормально.

Диагностика — открыть сайт в режиме инкогнито или проверить код ответа командой:

Помогу с продвижением: раскрутка сайта белыми методами — вывожу сайты в топ Яндекса белыми методами.

curl -o /dev/null -s -w "%{http_code}\n" https://вашсайт.ru/

Код 401 означает запрос авторизации, 403 — отказ в доступе, 200 — всё в порядке. Робот на 401 и 403 не индексирует ничего. Та же история с плагинами «Скоро открытие» и «Режим обслуживания»: они отдают 503 всем, кроме залогиненного администратора.

Отдельный подвид — блокировка робота на уровне защиты от ботов. Некоторые модули безопасности и агрессивные настройки фаервола режут запросы с неизвестных им подсетей. Проверить принадлежность IP роботу Яндекса можно обратным DNS-запросом: у настоящего робота хост оканчивается на yandex.ru, yandex.net или yandex.com. Если в логах видно, что запросы робота получают 403, — проблема в защите, а не в SEO.

Как проверить индексацию: три способа

Прежде чем искать причину, стоит точно понять масштаб: нет вообще ничего или нет части страниц.

• Оператор site: — в строке поиска Яндекса наберите site:вашсайт.ru. Способ грубый: число выдачи приблизительное, а для нулевого результата причины могут быть разные. Но он не требует доступов и отвечает на главный вопрос — есть ли сайт в базе вообще.
• Вебмастер, раздел «Индексирование → Страницы в поиске» — точные цифры: сколько страниц в поиске, сколько добавилось и сколько исключено за период. Вкладка «Исключённые» показывает причину по каждому адресу: «Дубль», «Малоценная или маловостребованная страница», «Ошибка HTTP», «Запрещено в robots.txt».
• Проверка конкретного URL — «Индексирование → Проверить статус URL». Сервис отвечает, известен ли адрес роботу, когда был последний обход, какой код ответа получен и разрешена ли индексация. Это самый быстрый способ отделить «робот не знает про страницу» от «робот знает, но ему запрещено».

Если Вебмастер ещё не подключён — начните с него. Без него диагностика превращается в гадание: вы видите только выдачу, но не видите причин.

Причина 5. Сайту просто мало лет

Огромная доля паники приходится на сайты возрастом две-три недели. Индексация — не мгновенный процесс, а показы по коммерческим запросам появляются заметно позже индексации. Ориентиры для нового сайта без резких вложений в контент:

Этап	Срок от запуска	Что должно быть видно
Первый заход робота	от нескольких часов до 3–7 дней	Обход появился в «Статистике обхода»
Первые страницы в поиске	1–4 недели	Главная и часть внутренних в «Страницах в поиске»
Первые показы	1–2 месяца	Ненулевые показы по низкочастотным фразам
Первые клики и заявки	3–5 месяцев	Переходы из поиска в метрике
Ощутимый трафик	4–8 месяцев	Рост показов и позиции по средним частотникам

Сроки сдвигаются в обе стороны. Быстрее — если домен не новый и имеет историю, если тематика узкая и низкоконкурентная, если сайт активно ссылается изнутри и регулярно пополняется. Медленнее — в конкурентных нишах (пластиковые окна, юридические услуги, ремонт квартир, микрозаймы) и на сайтах, где страниц мало и они почти не обновляются.

Что реально ускоряет процесс: подключённый Вебмастер с загруженным sitemap, переобход ключевых страниц вручную, наличие сайта в Яндекс Бизнесе с заполненной карточкой, первые внешние упоминания на живых площадках. Что не ускоряет: покупка ссылок в первый месяц, ежедневная правка title, «прогоны» по каталогам.

Причина 6. Санкции и нарушения

Ситуация отличается от предыдущих одним признаком: страницы были в поиске и разом или постепенно выпали, при этом технически всё в порядке. Смотреть надо в Вебмастере: «Диагностика → Безопасность и нарушения». Если раздел пуст, санкций нет и причину надо искать в другом месте.

Нарушение	За что	Что делать	Срок снятия после исправления
Малополезный контент, SEO-текст	Тексты ради ключей, отсутствие полезной информации	Переписать или удалить страницы, оставить только нужные пользователю	от 1–2 месяцев, снимается автоматически при переобходе
Накрутка поведенческих факторов	Имитация переходов и кликов в выдаче	Полностью прекратить, отключить сервисы накрутки	обычно от 6–12 месяцев
Переспам ссылками	Массовая закупка ссылок с неестественным ростом	Снять покупные, наращивать естественные упоминания	от 3–6 месяцев
Вредоносный код	Заражение сайта, вирусы в коде страниц	Вылечить сайт, сменить пароли, закрыть уязвимость, нажать «Я всё исправил»	дни, после успешной перепроверки
Клоакинг, скрытый текст	Разное содержимое для робота и пользователя	Убрать подмену контента	от 1–3 месяцев
Навязчивая реклама	Всплывающие блоки, перекрывающие контент на мобильных	Убрать перекрывающие форматы	от 1 месяца

Точные сроки Яндекс не публикует, и одинаковых случаев не бывает: снятие происходит при очередном пересчёте после того, как робот увидел исправления. Главное правило — устранять причину, а не признак. Если санкция за накрутку, переписывание текстов не поможет; если за малополезный контент, снятие ссылок ничего не изменит.

Если нужны детали, смотрите «От чего зависит позиция сайта в Яндекс ».

Отдельно стоит помнить: раздел «Безопасность и нарушения» показывает не всё. Часть алгоритмических фильтров не отображается в интерфейсе вообще. Косвенные признаки — резкое падение показов при неизменных технических параметрах и обход конкретных страниц роботом без включения их в поиск.

Причина 7. Дубли из-за www и http

Сайт доступен по четырём адресам сразу: с www и без, по http и по https. Для робота это четыре разных сайта с одинаковым содержимым, если не задано главное зеркало и не настроены редиректы. Результат — вес размазан, в поиск попадает «не тот» вариант, часть страниц исключается как дубли.

Адрес	Правильный ответ сервера	Ошибка
http://сайт.ru	301 на https://сайт.ru	200 — открывается копия
http://www.сайт.ru	301 на https://сайт.ru	200 или цепочка из двух-трёх редиректов
https://www.сайт.ru	301 на https://сайт.ru	200 — полный дубль
https://сайт.ru	200	301 на себя же — циклический редирект

Проверить все четыре адреса можно одной строкой:

for u in http://сайт.ru http://www.сайт.ru https://www.сайт.ru https://сайт.ru; do echo -n "$u -> "; curl -o /dev/null -s -w "%{http_code} %{redirect_url}\n" $u; done

К этому же классу относятся дубли внутри сайта: страница со слешем на конце и без, адреса с UTM-метками и параметрами сортировки, пагинация, версии страниц для печати, одна и та же карточка в нескольких категориях. Лечится связкой из трёх приёмов: 301-редирект на канонический вид адреса, тег rel="canonical" на дублирующих вариантах, директива Clean-param в robots.txt для служебных параметров.

Причина 8. Медленный ответ сервера и ошибки 5xx

Робот не будет бесконечно ждать ответа. Если сервер отвечает по несколько секунд, обход замедляется: за один визит робот успевает загрузить меньше страниц, и большой сайт индексируется месяцами. Периодические 502 и 503 приводят к тому, что уже проиндексированные страницы выпадают.

Измерить время ответа:

curl -o /dev/null -s -w "%{time_starttransfer}\n" https://вашсайт.ru/

Если нужна помощь по теме — купить SEO-статьи.

Ориентир для времени до первого байта — менее 0,5 секунды, приемлемо до 1 секунды, всё что выше двух секунд требует вмешательства. В Вебмастере тот же показатель виден в разделе «Индексирование → Статистика обхода», там же — график кодов ответа. Всплески красного на графике означают, что робот регулярно приходит на неработающий сайт.

Типичные причины: перегруженный виртуальный хостинг, тяжёлые запросы к базе без кэширования, десятки плагинов, отсутствие кэша страниц. Для интернет-магазина с тысячами карточек скорость ответа напрямую определяет, какая доля каталога вообще попадёт в индекс.

Причина 9. Страницы-сироты и отсутствие карты сайта

Страница-сирота — адрес, на который не ведёт ни одна внутренняя ссылка. Робот попадает на страницы, переходя по ссылкам; если ссылок нет, страница существует только в отчётах CMS. Так теряются целые разделы: услуги, доступные лишь из выпадающего меню на JavaScript, карточки, до которых можно дойти только через фильтр, посадочные страницы, созданные под рекламу и никуда не привязанные.

Подробнее об этом — в статье «Гарантии продвижения сайта в Яндекс — это 100% обман».

Как найти сирот: выгрузите список всех URL из CMS или из sitemap, прогоните сайт краулером и сравните два списка. Адреса из первого списка, отсутствующие во втором, — сироты. Лечение простое: поставить ссылки на них из меню, из разделов-родителей, из блоков перелинковки в статьях.

Про sitemap.xml. Карта не заменяет внутренние ссылки, но помогает роботу узнать о новых страницах быстрее. Требования к рабочей карте:

• только канонические адреса, отдающие код 200, — без редиректов и без закрытых в robots.txt;
• актуальные даты в lastmod, а не сегодняшнее число для всех страниц разом;
• не больше 50 000 адресов в одном файле, иначе — индексный файл со ссылками на части;
• адрес карты указан в robots.txt строкой Sitemap: https://вашсайт.ru/sitemap.xml и добавлен в Вебмастере.

В Вебмастере есть отчёт по файлам Sitemap: он показывает, когда карта была прочитана и сколько ошибок в ней нашлось. Если карта не обработана месяцами, это отдельный сигнал.

Причина 10. Нет страниц под спрос

Сайт проиндексирован, ошибок нет, санкций нет, а показов по коммерческим фразам нет. Значит, нет страниц, которые соответствуют этим фразам. Классический случай — сайт из пяти страниц: главная, о компании, услуги списком, контакты, отзывы. Под каждую услугу отдельной страницы нет, все услуги свалены в один список.

Метод проверки прямой. Соберите запросы, разбейте на группы по намерению и составьте таблицу: группа — частота — какая страница её закрывает. Пустые ячейки в третьем столбце и есть ответ на вопрос, почему сайта нет в выдаче по этим фразам.

• Одна группа запросов — одна страница. Две страницы под одно намерение конкурируют между собой, и Яндекс сам выбирает, какую показывать, часто не ту.
• Геозапросы требуют отдельных страниц, если вы работаете в нескольких городах, и корректно заданного региона в Вебмастере, если город один.
• Информационные запросы («как выбрать», «сколько стоит», «чем отличается») закрываются статьями блога, а не страницами услуг. Попытка втащить их в коммерческую страницу размывает её.
• Страница должна отвечать на запрос форматом: под «купить» нужны цены и корзина, под «цена» — таблица с ценами, под «отзывы» — реальные отзывы, а не абзац текста.

Отдельная ловушка — страницы, которые Яндекс относит к малоценным. Такие адреса видны во вкладке «Исключённые» с формулировкой «Малоценная или маловостребованная страница». Это не санкция, а решение алгоритма: содержимое дублирует другие страницы или не отвечает ни на один реальный запрос. Плодить пустые страницы под каждое слово из ядра бесполезно, они отправятся туда же.

Причина 11. Конкуренция и агрегаторы в топе

Бывает, что все технические проверки пройдены, страницы в индексе, но позиции за сотней. Посмотрите на состав топ-10 по своему запросу. Если там маркетплейсы, Авито, Профи.ру, Яндекс Услуги, каталоги-агрегаторы и два-три федеральных игрока — это не проблема вашего сайта, это структура выдачи по этому запросу.

Что делать в такой ситуации:

• Уходить в узкие запросы. По «ремонт квартир» вы не встанете рядом с агрегаторами, по «ремонт двухкомнатной квартиры под ключ в Балашихе» — вполне.
• Смотреть на длину хвоста. Сумма трафика по трёмстам низкочастотным фразам часто больше, чем по десятку высокочастотных, а конкуренция ниже на порядок.
• Занимать сами агрегаторы. Если топ забит площадками, размещение на них — тоже канал: карточка в Яндекс Бизнесе, профиль в отраслевом каталоге, объявления.
• Смотреть на коммерческие факторы. Цены на сайте, реальные контакты, ИНН, отзывы, фотографии работ, регион в Вебмастере — по коммерческим запросам это влияет сильнее текстов.
• Считать реалистичный горизонт. Выход в топ по конкурентной фразе в крупном городе — это работа на год и больше, а не на два месяца.

Сколько ждать после устранения причины

Исправление не даёт мгновенного эффекта: нужно, чтобы робот пришёл, увидел изменения и пересчитал результат. Практические ориентиры:

• снят запрет в robots.txt или noindex, страница отправлена на переобход — от нескольких часов до 1–2 недель до появления в поиске;
• настроены редиректы зеркал — склейка занимает обычно 2–4 недели, иногда дольше;
• исправлены коды ответа и ускорен сервер — рост числа проиндексированных страниц виден на следующем цикле обхода, через 2–6 недель;
• созданы новые страницы под спрос — индексация за 1–3 недели, первые позиции за 1–3 месяца, стабилизация ещё через несколько месяцев;
• сняты санкции — по таблице выше, от недель до полугода и больше.

Всё это время следите за «Статистикой обхода»: если робот приходит регулярно и получает код 200, процесс идёт. Если обход нулевой — исправление не сработало, вернитесь к диагностике.

Чек-лист на 20 минут

Шаг	Действие	Хороший результат
1	Открыть сайт.ru/robots.txt	Нет Disallow: /, есть строка Sitemap
2	Ctrl+U на главной, поиск слова robots	Нет noindex
3	curl -I сайт.ru | grep -i robots	Пустой вывод
4	curl -o /dev/null -s -w "%{http_code}\n" сайт.ru	200
5	Открыть сайт в инкогнито	Нет запроса пароля и заглушки
6	Настройки → Чтение в WordPress	Галочка запрета снята
7	Проверить 4 варианта адреса с www и http	Три 301 на один канонический
8	Запрос site:сайт.ru в Яндексе	Страницы находятся
9	Вебмастер → Страницы в поиске	Число близко к реальному числу страниц
10	Вебмастер → Безопасность и нарушения	Раздел пуст
11	Вебмастер → Статистика обхода	Робот заходит, ответ менее 1 секунды, кодов 5xx нет
12	Вебмастер → Файлы Sitemap	Карта прочитана недавно, ошибок нет

Двенадцать пунктов закрывают подавляющее большинство случаев. Если все они зелёные, а сайта в выдаче нет, вопрос уже не в индексации, а в спросе, структуре и конкуренции.

Что делать НЕ надо, пока причина не найдена

• Закупать ссылки. Если сайт закрыт от индексации, ссылки просто некуда вести: робот не увидит страницу-акцептор. Если наложены санкции за переспам ссылками, закупка усугубит проблему. Ссылки — инструмент для сайта, который уже в индексе и уже конкурирует за позиции.
• Переписывать все тексты подряд. Массовая переработка контента занимает недели и стоит денег, а причина может лежать в одной строке конфига. Тексты переписывают адресно — под конкретные страницы, у которых есть показы, но нет кликов, или которые исключены как малополезные.
• Менять домен. Переезд на новый домен обнуляет накопленный возраст и историю, а при санкциях они переносятся вместе с контентом. Смена домена оправдана в редких случаях и всегда после того, как причина точно установлена.
• Менять CMS. Перенос на другую платформу почти гарантированно ломает адреса страниц, если не готовить карту редиректов заранее. Проблема индексации решается настройками, а не сменой движка.
• Запускать «прогон» по каталогам и сервисам «ускорения индексации». Такие сервисы генерируют мусорный ссылочный профиль и не влияют на решение робота индексировать страницу.
• Каждый день править title и заголовки. Постоянные правки сбивают оценку и не дают понять, что сработало, а что нет. Изменение вносится один раз, после чего ждут цикл обхода.

Проверить сайт по всем причинам разом можно через бесплатный аудит — отчёт приходит на почту.

Частые вопросы

Сайту месяц, в Вебмастере ноль страниц в поиске. Это нормально?
Зависит от того, что показывает «Статистика обхода». Если робот заходил и получал код 200, ситуация рабочая: индексация занимает от одной до четырёх недель, иногда дольше на новом домене. Если обхода не было вообще — проверяйте доступность сайта для робота и добавьте sitemap.

В Google сайт есть, в Яндексе нет. Почему?
Первое, что стоит посмотреть, — блок User-agent: Yandex в robots.txt и мета-тег <meta name="yandex">: запрет может быть адресным. Второе — скорость индексации у систем разная, Яндекс обычно медленнее на новых сайтах. Третье — санкции и региональная привязка в Вебмастере.

Страницы были в поиске, потом исчезли. Что смотреть первым?
Вкладку «Исключённые страницы» в разделе «Страницы в поиске»: там указана причина по каждому адресу. Дальше — раздел «Безопасность и нарушения» и график кодов ответа в статистике обхода. Массовое выпадение чаще всего связано с ошибками сервера, случайным noindex после обновления или дублями после смены структуры адресов.

Поможет ли платное продвижение ускорить индексацию?
Реклама в Директе и позиции в органическом поиске — разные механизмы; открутка объявлений сама по себе не заставит робота проиндексировать страницу. Косвенная польза есть: на страницы идут живые пользователи, появляются поведенческие данные, но это не заменяет исправления технических причин.

Сколько страниц должно быть в поиске от общего числа?
Разрыв в 10–20 процентов нормален: служебные адреса, пагинация, фильтры и дубли исключаются намеренно. Если в поиске меньше половины страниц, разбирайтесь с причинами исключения. Если счёт идёт на единицы при сотнях реальных страниц, дело в запрете, скорости ответа или отсутствии внутренних ссылок.

Коротко

• Проверять причины надо по порядку: запрет индексации, возраст, санкции, техника, отсутствие страниц под спрос, конкуренция. Останавливайтесь на первой найденной.
• Четыре места, где прячется запрет: robots.txt, мета-тег в коде, галочка в настройках CMS и заголовок X-Robots-Tag, который виден только через curl -I.
• Реальные сроки для нового сайта: индексация 1–4 недели, первые показы 1–2 месяца, ощутимый трафик 4–8 месяцев.
• Санкции ищутся в разделе «Диагностика → Безопасность и нарушения»; снимаются только после устранения настоящей причины и повторного обхода, от недель до полугода.
• Пока причина не найдена, не покупайте ссылки, не переписывайте весь контент и не меняйте домен — это трата денег и потеря возраста без влияния на проблему.

2:29

Проверить сайт по этим пунктам разом можно через бесплатный аудит — отчёт приходит на почту.