Одна строчка в robots.txt — и весь сайт пропадает из Яндекса на полгода

Одна строчка в robots.txt способна убрать весь сайт из Яндекса на полгода, и самое скверное в этой аварии — она не подаёт признаков жизни. Страницы открываются, формы отправляются, заказы обрабатываются, дизайн на месте. Ломается только то, что видно роботам, а они молча уходят. К моменту, когда владелец понимает, что произошло, позиции уже потеряны, а конкуренты заняли места. Ниже — как именно возникает эта поломка, почему её замечают поздно, отчего возврат идёт медленнее выпадения, как проверить свой файл за пять минут и какую систему контроля выстроить, чтобы это не повторилось.

Что делает этот файл и откуда берётся риск

robots.txt лежит в корне сайта и содержит инструкции для поисковых роботов: какие разделы обходить можно, какие не нужно. Задумка полезная — закрыть от обхода корзину, оформление заказа, личный кабинет, страницы внутреннего поиска, служебные адреса, чтобы робот не тратил ресурсы на бесполезное.

Опасность в том, что синтаксис не прощает неточности, а последствия неточности несоразмерны её размеру. Правило запрета с одним символом после слеша закрывает конкретный раздел. То же правило без уточнения закрывает весь сайт целиком. Между этими двумя состояниями — один символ, и никакого предупреждения система не выдаёт: файл валиден, робот его понял и послушно ушёл.

Вторая часть риска — в том, что файл живёт отдельно от сайта. Его не видно в админке, он не участвует в отображении страниц, его никто не открывает без повода. Он просто лежит и молча управляет тем, попадёте вы в выдачу или нет.

Пять сценариев, по которым это происходит

Никто не закрывает сайт от индексации специально. Ошибка всегда случайна, и сценариев немного, но они повторяются из проекта в проект.

1. Переезд с тестового домена. На разработке сайт закрывают от обхода, чтобы черновик не попал в поиск. При переносе на боевой адрес запрет переносится вместе со всем остальным, и его забывают снять. Самый частый сценарий из всех.
2. Обновление системы или темы. Часть систем управления перезаписывает файл при обновлении, возвращая настройки по умолчанию. Вы ничего не делали — а запрет появился.
3. Ручная правка с опечаткой. Специалист хотел закрыть один раздел, ошибся в пути или поставил лишний символ подстановки, и запрет расползся на весь сайт.
4. Работа плагинов. Модули для поисковой оптимизации умеют генерировать файл автоматически. Один переключатель в настройках, поставленный не глядя, закрывает всё.
5. Настройка на стороне хостинга или прокси. Иногда файл отдаётся не из корня сайта, а подменяется на уровне веб-сервера. Вы правите файл на диске, а робот получает другой.

Общая черта всех сценариев: человек, вносивший изменение, был уверен, что делает всё правильно. Именно поэтому ошибка живёт месяцами — её никто не подозревает и никто не проверяет.

Почему обнаруживают поздно

Выпадение из индекса не выглядит как авария. Оно выглядит как медленное ухудшение, которое легко списать на что угодно другое.

Срок после закрытия	Что видит владелец	Как обычно объясняет
Первая неделя	Почти ничего: трафик держится, позиции на месте	Всё нормально
2–4 недели	Трафик просел на 10–20%, новые страницы не появляются в выдаче	Сезон, колебания, шторм выдачи
1–2 месяца	Заметная просадка, часть запросов исчезла совсем	Апдейт алгоритма, конкуренты
2–3 месяца	Трафик из поиска близок к нулю, заявки закончились	Наконец начинают искать причину

Скорость выпадения зависит от размера сайта и частоты обхода: большие и часто обновляемые ресурсы теряют страницы быстрее, потому что робот заходит к ним чаще и чаще получает запрет. Маленький сайт может держаться в индексе месяц, создавая иллюзию, что всё в порядке.

Тему разбирал отдельно: «Ошибки robots.txt и sitemap.xml: как из-за одной строчки закрыть сайт от Яндекса».

Отдельная беда — реклама. Пока идёт платный трафик, общая посещаемость проседает не так драматично, и просадку органики просто не замечают в общей цифре. Смотрите трафик по источникам отдельно, иначе поломка спрячется за суммой.

Почему восстановление занимает месяцы

Логичный вопрос: если запрет убрали, почему сайт не возвращается сразу? Дело в том, что выпадение и возврат — процессы разной природы и разной скорости.

• Робот заходит не мгновенно. После того как сайт долго отвечал запретом, частота обхода снижена. Роботу нужно время, чтобы снова начать заходить регулярно.
• Страницы возвращаются в индекс по одной. Каждую надо обойти, оценить, сопоставить с запросами. На большом сайте это недели.
• Накопленный вес частично обнулился. Доверие к источнику строится на стабильном присутствии и потоке трафика. Когда сайт пропал, часть этого доверия сгорает, и её приходится наращивать заново.
• Места заняты. Пока вас не было, конкуренты закрепились в топе, и теперь их нужно вытеснять, а не просто вернуться на своё.
• Поведенческие сигналы обнулились. У вернувшихся страниц нет свежей статистики переходов, и им нужно заново её накопить.

Помогу с продвижением: поисковое продвижение сайта — вывожу сайты в топ Яндекса белыми методами.

Парадоксальный вывод: старый сайт с историей теряет от такой ошибки больше, чем молодой. Ему есть что терять, и восстановить накопленное сложнее, чем построить с нуля. Небольшой сайт возвращается за один-два месяца, крупный — за полгода и дольше.

Как проверить свой файл прямо сейчас

Проверка занимает пять минут и стоит того, чтобы сделать её сразу, а не когда-нибудь потом.

1. Откройте в браузере адрес своего сайта и допишите к нему /robots.txt. Файл откроется как обычный текст.
2. Найдите все строки запрета. Убедитесь, что нигде не закрыт сайт целиком, а закрыты только конкретные служебные пути.
3. Отдельно проверьте блок правил, адресованный всем роботам, и блоки для конкретных поисковых систем — запрет может быть только в одном из них.
4. Откройте инструмент проверки в панели вебмастера и прогоните через него несколько важных адресов: главную, основные разделы, две-три карточки товара или услуги. Все они должны быть разрешены.
5. Сверьте число страниц в индексе с ожидаемым. Расхождение в разы — сигнал.
6. Проверьте, что файл отдаётся с кодом 200 и не перенаправляется куда-то ещё.
7. Убедитесь, что в файле указан адрес карты сайта.

Если проверяете чужой сайт или сайт, к которому у вас нет доступа в панель, порядок тот же, кроме четвёртого пункта: инструмент проверки доступен только владельцу. Заменить его можно грубой прикидкой — посмотрите, сколько страниц сайта показывает поиск по специальному оператору отбора по домену, и сравните с числом адресов в карте сайта. Расхождение в разы говорит о проблеме с обходом, даже если причина ещё неизвестна.

Дополнительная проверка, о которой забывают: откройте файл с мобильной версии домена и с адреса с www и без него, если у вас настроены оба. Иногда запрет живёт только в одном из вариантов.

Что закрывать, а что оставлять открытым

Раздел	Закрывать?	Комментарий
Корзина, оформление заказа, личный кабинет	Да	Пользы для поиска нет, обход тратится впустую
Страницы внутреннего поиска по сайту	Да	Порождают бесконечное число адресов
Служебные и технические адреса	Да	Административные разделы, скрипты, временные файлы
Фильтры и сортировки каталога	Выборочно	Популярные сочетания фильтров часто стоит оставить открытыми: под них есть спрос
Страницы пагинации	Нет	Через них робот добирается до товаров вглубь каталога
Стили, скрипты, изображения	Нет	Без них поиск не может корректно оценить страницу
Карточки товаров без остатка	Нет	Лучше показать статус наличия, чем терять накопленные позиции
Раздел блога или новостей	Нет	Частая ошибка «чтобы не мешало»: закрывается работающий трафик

Отдельно про фильтры каталога, потому что здесь ошибаются в обе стороны. Открыть все возможные сочетания нельзя: их число растёт как произведение параметров, и робот уходит бродить по бесконечности вместо того, чтобы дойти до новых товаров. Закрыть все тоже неправильно: сочетания вида «категория плюс бренд» или «категория плюс назначение» имеют реальный спрос, и по ним конкуренты собирают трафик, пока вы прячете такие страницы. Рабочий подход — собрать спрос в Вордстате, отобрать несколько десятков сочетаний, у которых есть частота, сделать из них полноценные страницы с собственными заголовками и текстом, а всё остальное закрыть.

Смежный материал по теме — «Сайт недоступен ночью: вы узнали утром, а робот Яндекса — сразу».

Общее правило: закрывайте то, что не имеет собственного спроса и не должно попадать в выдачу. Всё, что теоретически может быть чьим-то ответом на запрос, должно оставаться открытым.

Два разных инструмента, которые постоянно путают

Важная тонкость, из-за которой ошибок не меньше, чем из-за опечаток. Файл в корне управляет обходом, а не индексацией напрямую. Это разные вещи.

Закрытая в нём страница может всё равно оказаться в выдаче — без описания, одной строкой, если на неё ведёт достаточно внешних ссылок. Робот не заходил, содержимое не видел, но адрес знает и показывает. Владелец при этом уверен, что страница спрятана.

Обратная ситуация опаснее: чтобы гарантированно убрать страницу из поиска, на ней ставят соответствующий мета-тег. Но робот должен эту страницу открыть, чтобы тег увидеть. Если вы одновременно закрыли её от обхода, тег никогда не будет прочитан, и страница останется в выдаче навсегда.

Правило, которое снимает обе проблемы: хотите убрать страницу из поиска — ставьте мета-тег и оставляйте её открытой для обхода. Хотите сэкономить обход на бесполезных адресах — закрывайте в файле. Не применяйте оба инструмента к одному адресу одновременно.

Что делать, если запрет обнаружен

Порядок аварийного восстановления. Каждый день промедления удлиняет возврат, поэтому действовать надо в тот же день.

Если нужны детали, смотрите «Сайт на WordPress взломали: как убрать спам-страницы из индекса Яндекса за вечер».

1. Уберите запрет и проверьте результат. Откройте файл в браузере с обновлением кэша и убедитесь, что видите новую версию. Если сайт кэшируется, сбросьте кэш.
2. Проверьте, откуда файл берётся. Если после правки на диске в браузере видна старая версия, файл подменяется плагином или веб-сервером. Пока не найдёте источник, правки бесполезны.
3. Прогоните ключевые адреса через инструмент проверки в панели вебмастера — теперь они должны быть разрешены.
4. Проверьте мета-теги на страницах. Часто вместе с запретом в файле стоит и запрет на самих страницах, поставленный тем же человеком в тот же день.
5. Обновите и отправьте карту сайта. Она поможет роботу быстрее найти все страницы.
6. Отправьте важные страницы на переобход вручную. Начинайте с главной и с коммерческих разделов, которые приносили деньги.
7. Зафиксируйте дату. От неё вы будете отсчитывать восстановление и по ней поймёте, идёт процесс или нет.
8. Ничего больше не меняйте. В период возврата не переделывайте структуру, не меняйте адреса, не переписывайте тексты — иначе вы не поймёте, что работает, а что мешает.

Профилактика: система, а не разовая проверка

Полностью исключить ошибку нельзя, но можно ловить её в первые часы вместо полугода.

• Проверка после каждого изменения. Обновили систему, поставили модуль, заказали доработку, переехали на другой хостинг — сразу открыли файл и посмотрели. Тридцать секунд.
• Пункт в приёмке работ. Если вы заказываете изменения на сайте, включайте проверку файла и мета-тегов в список того, что принимаете. Это снимает большинство случаев.
• Контроль числа страниц в индексе. Раз в неделю посмотрите цифру в панели вебмастера. Резкое падение — сигнал тревоги раньше, чем упадёт трафик.
• Раздельный контроль трафика по источникам. Общая посещаемость маскирует просадку органики, если параллельно идёт платный трафик.
• Уведомления панели вебмастера. Панели присылают предупреждения о проблемах с обходом. Настройте почту, на которую вы реально смотрите.
• Копия рабочего файла. Храните эталонную версию отдельно. После любого обновления сравнили — и сразу видно, изменилось ли что-нибудь.

Частые вопросы

Как быстро сайт выпадает после закрытия? Первые потери заметны через две-четыре недели, существенное выпадение — через один-два месяца. Скорость зависит от размера сайта и частоты обхода: чем чаще робот заходил, тем быстрее он узнает о запрете.

Восстановится ли всё в прежнем виде? Позиции обычно возвращаются, но не мгновенно и не всегда на те же места: за время отсутствия конкуренты закрепились, а часть накопленного доверия сгорела. Реалистично рассчитывать на возврат основной массы трафика за два-шесть месяцев в зависимости от размера сайта.

Можно ли ускорить возврат? Частично. Помогают отправка карты сайта, ручной переобход важных страниц, обновление содержимого на ключевых разделах и отсутствие других изменений в этот период. Полностью отменить период восстановления невозможно.

Нужен ли этот файл вообще, если закрывать нечего? Да, хотя бы с указанием карты сайта. Отсутствие файла не критично, но его наличие с корректными правилами помогает роботу тратить обход осмысленно.

Что делать, если файл генерируется системой и его нельзя править? Найдите настройку в модуле, который его создаёт. Если такой возможности нет, файл можно отдать статически, положив его в корень и убедившись, что веб-сервер отдаёт именно его, а не сгенерированный.

Влияет ли закрытие стилей и скриптов? Да, и негативно. Без них поиск не может корректно отрисовать страницу и оценить её удобство, особенно на мобильных. Это старое правило из времён, когда роботы не выполняли скрипты, и сегодня оно вредит.

Как понять, что причина падения именно в этом файле, а не в чём-то другом? По двум признакам: страницы перестали появляться в индексе после публикации, и проверка адресов в панели вебмастера показывает запрет. Если с обходом всё в порядке, а трафик падает, причина в другом — ищите в технических изменениях, скорости или конкуренции.

Коротко

• Файл в корне управляет обходом всего сайта, и разница между «закрыт один раздел» и «закрыто всё» составляет один символ.
• Пять типовых сценариев: переезд с тестового домена, обновление системы, опечатка при правке, настройки плагина, подмена файла на стороне сервера.
• Поломку замечают через два-три месяца, потому что сайт продолжает нормально работать для людей, а просадку списывают на сезон и алгоритмы.
• Возврат идёт медленнее выпадения: снижена частота обхода, сгорела часть доверия, места заняты конкурентами; крупный сайт восстанавливается до полугода.
• Запрет на обход и мета-тег на странице — разные инструменты; применённые к одному адресу одновременно, они дают противоположный задуманному результат.
• Профилактика — не разовая проверка, а система: контроль после каждого изменения, пункт в приёмке работ, недельный контроль числа страниц в индексе, эталонная копия файла.

Если трафик просел, а причину найти не получается, приходите на бесплатную SEO-консультацию: проверю обход и индексацию, найду, где именно перекрыт доступ роботу, и составлю порядок аварийного восстановления с реалистичными сроками.