Сайт не отображается в поисковике Яндекс, а ощущается такая ситуация как обман: деньги за разработку отданы, страницы наполнены, а ресурса будто не существует. Ни по названию компании, ни по услугам, ни по адресу. Хорошая новость в том, что причин у такой невидимости конечное и небольшое число, почти все они диагностируются за один вечер, и подавляющее большинство устраняется без переделки сайта.
В SEO с 2005 года, и первое, что я делаю в таких случаях, — не ищу причину, а определяю, какая из двух принципиально разных ситуаций перед нами. От этого зависит вообще всё дальнейшее, а путают их постоянно, включая подрядчиков.
Два разных состояния, которые нельзя смешивать
Состояние первое: сайта нет в индексе. Поисковая система о нём либо не знает, либо знает, но не включила страницы в базу. Найти его невозможно никаким запросом, даже точной цитатой из текста.
Состояние второе: сайт в индексе, но не ранжируется. Страницы в базе есть, по цитате из текста сайт находится, но по осмысленным запросам он на восьмидесятой позиции, куда никто не заходит. Формально видимость есть, практически её нет.
| Признак | Нет в индексе | В индексе, но не ранжируется |
|---|---|---|
| Поиск по точной цитате с сайта | Ничего не находит | Находит вашу страницу |
| Оператор site: по домену | Ноль результатов | Показывает страницы |
| Панель вебмастера, страницы в поиске | Ноль или единицы | Десятки и больше |
| Показы в статистике запросов | Нет | Есть, но кликов мало |
| Где искать причину | Доступ робота, запреты, технические сбои | Содержание страниц, конкуренция, коммерческие факторы |
| Обычный срок исправления | Недели | Месяцы |
Проверка на смешивание этих состояний занимает минуту: скопируйте из текста своей страницы фразу в десяток слов и поищите её в кавычках. Нашлась ваша страница — сайт в индексе, и дальше читайте разделы про ранжирование. Не нашлась — проблема в индексации, и работать надо с ней.
Как убедиться, что сайта нет в индексе
- Оператор site: перед доменом покажет проиндексированные страницы. Пустой результат — сигнал, но не приговор: оператор бывает неточен на маленьких сайтах.
- Панель вебмастера, раздел индексирования — главный и самый достоверный источник. Там видно число страниц в поиске, исключённые страницы и причины исключения.
- Проверка конкретного адреса в панели вебмастера покажет статус этой страницы и когда робот заходил на неё в последний раз.
- Поиск точной цитаты в кавычках — быстрая проверка без всяких инструментов.
- Поиск по названию компании вместе с городом — если сайта нет даже здесь, а компания в выдаче упоминается на чужих площадках, это подтверждает проблему.
Если сайт не добавлен в панель вебмастера, начинайте с этого. Без неё диагностика превращается в гадание: почти вся нужная информация — причины исключения страниц, ошибки робота, статус загрузки — доступна только там. Добавление и подтверждение прав занимает десять минут, а данные начинают накапливаться сразу.
Запрет индексации: самая частая причина
Больше половины случаев полной невидимости объясняются тем, что сайт закрыт от индексации самими владельцами или разработчиками — обычно на время разработки, а потом про это забывают. Проверять нужно все места сразу, потому что запрет может стоять в нескольких.
- Файл robots.txt в корне. Строка Disallow со слэшем закрывает сайт целиком. Откройте адрес домена со слэшем и названием файла и прочитайте его глазами.
- Метатег robots в коде страниц. Значение noindex запрещает включение страницы в базу. Смотреть в исходном коде, а не в визуальном редакторе.
- Заголовок X-Robots-Tag в ответе сервера. Самый коварный вариант: в коде страницы ничего нет, запрет приходит в служебном заголовке. Проверяется инструментами анализа ответа сервера.
- Настройка в системе управления сайтом. В популярных движках есть галочка вида «попросить поисковые системы не индексировать сайт». Если она стоит, всё остальное бессмысленно.
- Закрытие на уровне сервера паролем. Тестовая версия под авторизацией недоступна роботу так же, как и постороннему человеку.
- Настройки плагина или модуля оптимизации. Запрет иногда стоит не в самом движке, а в дополнении, и в основных настройках не виден.
Отдельная разновидность этой же проблемы — сайт открыт, но закрыт нужный раздел. Каталог, блог или страницы услуг попадают под слишком широкое правило в robots.txt, написанное когда-то для служебных адресов. Проверять надо не только главную, а по одному представителю от каждого типа страниц.
Смежный материал по теме — «Яндекс ранжирует не те страницы: 7 причин, почему ваш сайт сам себя саботирует».
Робот не может дойти до страниц
Вторая группа причин: запретов нет, но робот физически не добирается до содержимого либо получает не то, что видит человек.
Подробнее — в моём курсе по продвижению сайтов:
| Проблема | Как проявляется | Как проверить |
|---|---|---|
| Сервер отдаёт ошибку роботу | Страницы не загружаются или загружаются с перебоями | Раздел статистики обхода в панели вебмастера |
| Медленный ответ сервера | Робот сокращает частоту обхода | Время ответа в панели вебмастера и в инструментах скорости |
| Содержимое рисуется скриптами | В исходном коде текста нет, он появляется в браузере | Просмотр исходного кода и просмотр страницы глазами робота |
| Нет внутренних ссылок на страницу | Страница есть, но на неё ниоткуда не перейти | Обход сайта краулером, поиск страниц-сирот |
| Нет карты сайта или она с ошибками | Робот дольше находит новые страницы | Проверка карты сайта в панели вебмастера |
| Неверные коды ответа | Несуществующие страницы отдают код успеха | Проверка кодов ответа выборочно и краулером |
| Блокировка робота защитой сайта | Робот получает отказ, человек — обычную страницу | Логи сервера, статистика обхода |
Последняя строка заслуживает внимания отдельно, потому что встречается всё чаще. Системы защиты от ботов и агрессивные настройки хостинга иногда блокируют поискового робота вместе с вредным трафиком. Снаружи сайт работает идеально, а в статистике обхода — сплошные отказы. Лечится добавлением поисковых роботов в исключения, но сначала это надо заметить.
Сайт просто новый
Если сайту меньше месяца, паниковать рано. Порядок событий обычно такой: робот узнаёт о сайте, обходит его, часть страниц попадает в базу, дальше их количество растёт волнами. Первые страницы появляются в поиске за дни, полная индексация большого сайта занимает недели и месяцы.
Ускорить процесс можно вполне конкретными действиями, и все они законные.
- Добавить сайт в панель вебмастера и подтвердить права — это сообщает поисковику о существовании ресурса.
- Создать и передать карту сайта, следить, чтобы в ней были только нужные страницы, отдающие код успеха.
- Отправить важные страницы на переобход вручную через панель вебмастера.
- Заполнить карточку организации в справочнике с указанием адреса сайта.
- Поставить ссылки на сайт со своих же площадок: профилей, каналов, карточек в каталогах.
- Убедиться, что внутренняя перелинковка позволяет дойти до любой страницы за три-четыре перехода от главной.
Чего делать не стоит — покупать массовую регистрацию в сотнях каталогов ради ускорения. Индексацию это не ускоряет, а профиль ссылок портит надолго.
Если нужны детали, смотрите «Почему Яндекс теперь отправляет трафик не на ваш сайт, а в нейроответ — и как туда попасть».
Страницы выпадают или не попадают в базу по качеству
Ситуация, которая сбивает с толку сильнее всего: робот заходит, страницы видит, но в поиск они не попадают либо через время исчезают. В панели вебмастера у таких страниц указывается причина исключения, и её надо читать буквально.
| Причина исключения | Что за ней стоит | Что делать |
|---|---|---|
| Дубль | Есть другая страница с тем же содержимым | Склеить перенаправлением или указать основную версию |
| Малополезная страница | Мало содержания или оно не отвечает ни на один запрос | Наполнить, объединить с другой или убрать из индексации |
| Страница-дубль по метаданным | Одинаковые заголовки и описания у разных страниц | Уникальные title и description для каждой страницы |
| Ошибка при загрузке | Сервер отдал ошибку в момент обхода | Проверить стабильность хостинга, отправить на переобход |
| Запрет в robots.txt | Попадание под правило запрета | Пересмотреть правила, они часто шире, чем задумывалось |
| Неканоническая страница | Указание на другую страницу как на основную | Проверить, туда ли указывает канонический адрес |
Про дубли скажу отдельно, потому что это самая массовая беда. Типичный набор: сайт открывается и с приставкой из трёх букв, и без неё, и по защищённому протоколу, и по обычному, и со слэшем на конце, и без него, а ещё с параметрами сортировки и фильтров. Итог — одно и то же содержимое доступно по десятку адресов, вес размывается, а поисковик выбирает основную версию сам и не всегда так, как вам хотелось. Решается это выбором одного основного адреса и постоянными перенаправлениями на него со всех остальных.
Сайт в индексе, но по запросам его нет
Переходим ко второму состоянию. Здесь причины другие, и «починить за вечер» уже не получится.
- Нет страниц под запросы. Самое частое. Сайт из пяти страниц не может показываться по сотне запросов: под каждую группу запросов нужна своя посадочная страница.
- Страница не отвечает на запрос. Текст общий, без цены, условий, сроков и конкретики. Поисковик предпочитает страницы, где ответ полный.
- Неверный регион. Для коммерческих запросов регион критичен: без привязки сайт не участвует в местной выдаче.
- Слабые коммерческие факторы. Нет цен, доставки, гарантий, реквизитов, контактов, документов — по коммерческим запросам это ставит сайт заведомо ниже.
- Конкуренция. По запросам, где топ занят маркетплейсами и агрегаторами, новый сайт не появится наверху за счёт одних текстов.
- Ограничения со стороны поиска. Накрутка поведения, покупные ссылки, переоптимизированные тексты, навязчивая реклама — за это видимость сокращается, и в панели вебмастера обычно есть соответствующее сообщение.
- Переоптимизация. Текст, набитый ключами до неестественности, работает против страницы, а не за неё.
Если нужна помощь по теме — обучение SEO-продвижению.
Отличить ограничение со стороны поиска от обычной слабости сайта помогает характер падения. Постепенное снижение на протяжении месяцев — это конкуренция и устаревание. Резкий обвал видимости за один-два дня по всему сайту — повод открыть раздел с сообщениями в панели вебмастера и проверить, нет ли там уведомления.
Порядок диагностики
| Шаг | Что проверяем | Если проблема здесь |
|---|---|---|
| 1 | Поиск точной цитаты со страницы | Не нашлось — идём в шаги 2–5, нашлось — сразу в 8 |
| 2 | Сайт добавлен в панель вебмастера | Добавить и подтвердить права |
| 3 | robots.txt, метатег robots, заголовок сервера, настройки движка | Снять запреты, отправить на переобход |
| 4 | Коды ответа и доступность сайта роботу | Чинить сервер, снимать блокировки защиты |
| 5 | Карта сайта и внутренние ссылки | Создать карту, устранить страницы-сироты |
| 6 | Причины исключения страниц в панели вебмастера | Работать по конкретной причине из таблицы выше |
| 7 | Дубли и основной адрес сайта | Выбрать одну версию, остальные перенаправить |
| 8 | Сообщения и уведомления в панели вебмастера | Устранять указанное нарушение |
| 9 | Регион сайта | Задать корректный регион, завести карточку организации |
| 10 | Наличие страниц под запросы и их наполнение | Строить структуру и дорабатывать посадочные |
Проходить шаги строго по порядку. Смысл в том, что каждый следующий имеет значение только при исправном предыдущем: дорабатывать тексты на сайте, закрытом в robots.txt, — потерянное время.
Подробнее об этом — в статье «Как я вывел сайт клиента на первое место в Яндекс за неделю».
Сколько ждать результата
Сроки зависят от того, на каком шаге нашлась проблема, и это полезно знать заранее, чтобы не дёргать подрядчика через три дня.
- Снятие запрета индексации: от нескольких дней до двух-трёх недель до появления страниц в поиске.
- Исправление серверных ошибок: страницы возвращаются по мере обхода, обычно за пару недель.
- Устранение дублей: склейка занимает от двух недель до полутора месяцев.
- Привязка региона: обновление обычно происходит в течение нескольких недель.
- Снятие ограничения после устранения нарушения: месяцы, и это не мгновенный процесс даже после исправления.
- Рост позиций после доработки структуры и содержания: первые сдвиги через два-три месяца, устойчивый результат — от полугода.
Частые вопросы
Сайт не находится даже по названию компании — это нормально? Нет, это почти всегда признак того, что сайта нет в индексе либо есть проблема с распознаванием бренда. Проверьте индексацию цитатой, и если она в порядке, займитесь сигналами бренда: реквизиты на сайте, карточка организации, название в заголовке главной страницы.
Я закрыл сайт от индексации месяц назад, снял запрет — почему ничего не изменилось? После снятия запрета робот должен снова прийти и переобойти страницы. Ускорить это можно отправкой на переобход из панели вебмастера. Если прошло больше месяца и статистика обхода пустая — ищите проблему с доступностью сайта роботу.
Помогает ли частое обновление сайта индексации? Помогает, но не само по себе: робот приходит чаще на ресурсы, где регулярно появляется новое. Смысл в регулярности и в том, что новые страницы действительно нужны людям, а не в перестановке слов на существующих.
Нужно ли что-то оплачивать, чтобы сайт появился в поиске? Нет. Попадание в индекс и место в обычной выдаче не продаются. Оплачивается только реклама, и она находится в отдельных блоках, на индексацию и позиции не влияя.
Google находит сайт, а Яндекс нет — почему? Системы обходят и оценивают сайты независимо, и расхождения нормальны. Чаще всего дело в разной скорости обхода, в разной строгости к дублям и малополезным страницам либо в том, что сайт добавлен в панель одной системы и не добавлен в другую.
Стоит ли переносить сайт на новый домен, если ничего не помогает? Как правило нет, и это дорогая ошибка. Переезд не решает ни одну из перечисленных причин, а накопленную историю обнуляет. Смена домена оправданна только тогда, когда у текущего плохая история до вас, и это проверяется до, а не после переезда.
Коротко
- Сначала разделяют два состояния: сайта нет в индексе или он в индексе, но не ранжируется — причины и сроки лечения у них разные.
- Проверка занимает минуту: поиск точной цитаты со страницы в кавычках плюс раздел индексирования в панели вебмастера.
- Больше половины случаев полной невидимости — забытый запрет индексации в robots.txt, метатеге, заголовке сервера или настройках движка.
- Вторая группа причин — робот не доходит: ошибки сервера, содержимое на скриптах, страницы-сироты, блокировка робота системой защиты сайта.
- Если сайт в индексе, но невидим по запросам, дело обычно в отсутствии посадочных страниц под запросы, слабых коммерческих факторах, неверном регионе или ограничении со стороны поиска.
- Диагностику проходят строго по порядку: доработка текстов на сайте, закрытом от индексации, — потерянные деньги и время.
Если по этому списку ничего найти не удалось, а сайта в поиске по-прежнему нет, приходите на SEO-консультацию — посмотрим панель вебмастера и ответы сервера вместе и найдём, на каком именно шаге теряется ваш сайт.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
Комментарии
Мефодий Сотников
Три месяца ругались с разработчиком, что сайт не индексируется. Оказалось, у него в настройках движка стояла та самая галочка с запуска. Никто её не проверил, потому что все искали проблему посложнее.
Таисия Погорелова
У нас сайт в индексе, но по услугам его не видно вообще. Страниц всего шесть, а запросов в списке от подрядчика больше двухсот. Похоже, ответ в пункте про отсутствие посадочных страниц, о котором подрядчик не сказал ни слова.
Анатолий Кузнецов автор
Именно так, и это не редкость: список из двухсот запросов часто продаётся отдельно от понимания, куда их девать. Посчитайте сами — шесть страниц физически не могут отвечать на двести разных вопросов, потому что каждая страница борется за свою группу близких запросов. Порядок действий такой: сгруппируйте запросы по смыслу и намерению, получится, условно, двадцать пять групп. Дальше на каждую группу нужна отдельная страница с ценой, условиями и ответами на типовые вопросы. Начинайте не со всех сразу, а с трёх-пяти групп, где есть спрос и где вы реально сильны. Через два-три месяца станет видно, работает ли схема, и дальше её можно масштабировать.
Афанасий Кубышкин
Строка про блокировку робота защитой сайта — прямо наш случай. Хостер включил агрессивную фильтрацию ботов, робот получал отказы, а мы этого не видели, потому что сайт для людей работал нормально. Нашли только по статистике обхода.
Феодосия Ланина
А если в панели вебмастера страницы числятся как малополезные, но они реально нужны — например, карточки товаров с короткими описаниями. Их что, удалять?
Анатолий Кузнецов автор
Удалять точно не первое решение. Карточки с коротким описанием попадают в эту категорию, когда отличаются друг от друга только названием и картинкой, а всё остальное совпадает. Разберите на конкретном примере: возьмите две карточки и посмотрите, что в них уникального. Если только название — это и есть причина. Лечится добавлением того, что различает товары по существу: характеристики таблицей, применимость, комплектация, отличия от соседних моделей, вопросы покупателей. Второй рабочий вариант для очень мелкого ассортимента — объединить близкие позиции в одну карточку с выбором варианта. И третий: если товар единичный и его никто не ищет, закрыть его от индексации, оставив доступным для людей. Удаление имеет смысл только для позиций, которых уже нет и не будет.
Родион Вертоградов
Дубли по адресам с приставкой и без у нас копились годами. Настроили один основной адрес и перенаправления, число страниц в индексе сначала упало почти вдвое, я испугался. Через месяц выровнялось и стало расти, теперь понятно, что это была склейка.
Земфира Гаязова
Вопрос про регион. У нас услуги по всей стране, офис в одном городе. Какой регион ставить и не потеряем ли мы остальные, если укажем один?
Анатолий Кузнецов автор
Здесь важно понимать, как регион работает: он не ограничивает вашу видимость одним городом, а определяет, в чьей местной выдаче вы участвуете на равных. Ставьте регион по фактическому адресу офиса — это подтверждаемый факт, и попытки указать что-то другое обычно ни к чему не приводят. Если услуги действительно оказываются по всей стране, стройте вторым слоем региональные страницы: отдельная страница под каждый значимый город с местными условиями, сроками, контактами и примерами работ. Пустые страницы-клоны с подменой названия города не работают и попадают в малополезные. И третье: часть запросов не имеет региональной привязки вовсе — информационные и узкоспециальные. По ним вы конкурируете со всей страной независимо от указанного региона, и это хороший источник обращений для компаний вашего типа.
Онисим Плещеев
Спорный для меня совет не переезжать на новый домен. У нас домен с плохой историей, купили не проверив. Полтора года бились, ничего не помогло. В итоге переехали и за четыре месяца получили больше, чем за предыдущие полтора года.
Анатолий Кузнецов автор
Ваш случай как раз попадает в исключение, которое я оговариваю: домен с чужой плохой историей — единственная ситуация, где переезд оправдан. Предостережение относится к другому сценарию, гораздо более частому: сайт не растёт по обычным причинам — нет структуры, закрыт от индексации, слабые страницы, — и вместо диагностики принимается решение начать с чистого листа. Тогда на новом домене воспроизводятся ровно те же проблемы, плюс потерянная история. Правило, которое я использую: прежде чем обсуждать переезд, надо пройти диагностику до конца и проверить историю домена в архивах и по ссылочному профилю. Если история чистая, а проблемы внутренние — переезд их не решит. Если история грязная, как у вас, — решение верное, и чем раньше, тем лучше.
Прасковья Неверова
Хочу добавить про содержимое на скриптах. У нас каталог подгружался целиком через скрипт, в исходном коде не было ни одного товара. Робот видел пустые страницы. Пока не посмотрели страницу глазами робота, даже не подозревали.
Гавриил Лопухин
Порядок диагностики по шагам — самое ценное в статье. У нас подрядчик третий месяц пишет тексты на сайт, где половина страниц отдаёт ошибку сервера при обходе. Теперь понимаю, за что плачу.
Сусанна Верхотурова
Уточните про сроки после снятия ограничения. У нас было уведомление за накрутку, всё убрали ещё зимой, а видимость до сих пор не вернулась. Это уже безнадёжно или ждать дальше?
Анатолий Кузнецов автор
Безнадёжным я бы это не назвал, но и быстрым тоже. Снятие ограничения после устранения нарушения — процесс не мгновенный, он занимает месяцы, и возврат видимости обычно не бывает полным сразу. Проверьте три вещи. Первое: исчезло ли уведомление из панели вебмастера — если оно висит, значит система всё ещё фиксирует проблему. Второе: точно ли прекращена накрутка полностью, включая инструменты, о которых вы могли забыть, и подрядчиков, которые могли продолжать. Третье: не появились ли за это время другие поводы — покупные ссылки, переоптимизация. И параллельно занимайтесь обычным развитием: страницами, содержанием, коммерческими факторами. Сайт, который к моменту снятия ограничения стал объективно лучше, возвращается заметно быстрее, чем тот, что просто ждал.
Никанор Обручев
Проверил X-Robots-Tag после статьи и обнаружил запрет в заголовках на всём разделе блога. В коде страниц было чисто, поэтому никто и не находил причину полгода. Спасибо за упоминание этого пункта отдельно.
Домна Крашенинникова
Про сравнение с Google подтверждаю. У нас Google подхватил новые страницы за три дня, Яндекс — почти за месяц. Сначала думали, что что-то сломано, оказалось, просто разная скорость обхода.