Влияние robots.txt на SEO продвижение

Влияние robots.txt на SEO продвижение проще всего оценить по тому, как выглядит сайт через месяц после неудачной правки этого файла: страницы уходят из поиска пачками, показы падают ступенькой, а в отчётах вебмастера ровным строем появляется формулировка про запрет в robots. Строчка из тридцати символов способна отменить годовую работу над сайтом, и это единственный файл, где цена опечатки измеряется трафиком за квартал.

Ниже речь не про синтаксис директив — он описан отдельно и разбирается за полчаса. Речь про последствия: что именно происходит с сайтом при типовых ошибках, по каким признакам поймать беду раньше, чем провалится трафик, в каком порядке восстанавливаться и сколько это занимает. И про обратную сторону — что теряет сайт, у которого в файле не закрыто ничего.

Почему один файл способен обрушить продвижение

Причина в положении файла в цепочке. Робот, приходя на сайт, читает robots.txt первым — до того, как обратиться к любой странице. Всё, что запрещено в файле, дальше просто не запрашивается. Ни содержание страницы, ни её заголовки, ни ссылки на ней роботу не достаются: он туда не идёт.

Отсюда два практических следствия, которые и делают файл опасным. Первое: ошибка действует на весь сайт сразу, а не на отдельную страницу. Второе: она действует молча. Сайт открывается, формы работают, посетители из закладок и рекламы приходят как обычно. Ничего внешне не сломано — просто поиск постепенно перестаёт видеть часть сайта, и первые две недели это никак не проявляется в выручке.

Третий фактор — кто правит файл. В большинстве проектов доступ к нему есть у разработчика, у хостинг-поддержки и у плагинов CMS, а следят за ним только тогда, когда что-то уже случилось. Классический сюжет: сайт разрабатывали на тестовом домене, где стоял полный запрет обхода, выкатили в продакшн вместе с этим запретом и заметили через три недели.

Что происходит с сайтом, если закрыть нужный раздел

Развитие событий предсказуемо и растянуто во времени. Понимание этого графика важнее любых теорий: оно объясняет, почему «мы ничего не меняли» — почти всегда неправда, и почему возврат идёт медленнее падения.

Срок после правки	Что происходит	Где это видно
Первые часы	Робот перечитывает файл и перестаёт запрашивать закрытые адреса	Логи сервера: запросы к разделу прекращаются
1–3 дня	В отчётах обхода появляются страницы со статусом запрета	Панели вебмастера, отчёты по обходу
3–14 дней	Страницы начинают выпадать из поиска, сначала самые редко посещаемые	Число страниц в поиске, показы по группе адресов
2–4 недели	Падение показов и кликов становится очевидным на графике	Вебмастер, Метрика по поисковому трафику
1–2 месяца	Выпадает основная часть раздела, включая страницы, приносившие заявки	Падение обращений, звонков
После снятия запрета	Возврат идёт частями, от нескольких дней до нескольких недель	Постепенный рост числа страниц в поиске

Обратите внимание на разрыв между первой и четвёртой строкой. Технически ошибка срабатывает в первые часы, а замечают её через три-четыре недели, когда падение уже видно невооружённым глазом. Всё это время сайт теряет позиции, а причину ищут в чём угодно — в конкурентах, в обновлениях поиска, в сезоне.

Ещё одна особенность, которая сбивает с толку. Закрытые страницы могут какое-то время оставаться в выдаче: поиск помнит о их существовании, но не может обновить содержимое. Сниппет становится обрывочным или пропадает совсем, позиции ползут вниз, а формально страница «в индексе есть». Владелец смотрит на неё в выдаче и делает вывод, что с robots всё в порядке.

Сценарии ошибок и их последствия

Ошибки в robots.txt повторяются от проекта к проекту с редким постоянством. Ниже те, что реально встречаются, с последствиями, которые они дают.

Что сделали	К чему приводит	Как быстро заметно
Перенесли на боевой сайт запрет с тестового домена	Сайт целиком уходит из поиска	2–4 недели, падение почти до нуля
Закрыли каталог из-за одного мусорного подраздела	Уходит весь коммерческий трафик	3–6 недель
Запретили путь без учёта того, что он входит в другие адреса	Закрывается больше, чем задумано	Часто не замечают месяцами
Заблокировали папку со стилями и скриптами	Страницы разбираются поиском в неполном виде	Медленно, через ухудшение оценки страниц
Закрыли раздел вместо снятия с индексации	Страницы висят в выдаче без описания и не обновляются	Сразу видно по сниппетам
Не закрыли служебные разделы и результаты поиска по сайту	Обход тратится на бесконечные адреса	Месяцами, через плохую индексацию нового
Оставили ссылку на карту сайта со старого домена	Робот получает список чужих адресов	Ошибки в отчётах вебмастера
Файл отдаёт 500 вместо 200	Обход может остановиться целиком	Дни, резкое падение активности робота

Третья строка заслуживает пояснения, потому что это самая коварная ошибка. Запрет пути действует на все адреса, которые с этого пути начинаются. Закрывая, например, путь с названием раздела, вы закрываете и сам раздел, и всё, что лежит внутри, и все адреса, где эта последовательность символов оказалась в начале пути по совпадению. Ошибка не выглядит ошибкой: строка короткая, выглядит логично, а закрывает втрое больше, чем планировалось.

Если нужны детали, смотрите «Чистый html код — влияние на SEO продвижение».

Последняя строка — про доступность самого файла. Если сервер на запрос robots.txt отвечает ошибкой пятисотого ряда, роботы трактуют это как временную недоступность сайта и снижают активность обхода вплоть до полной остановки. Ситуация редкая, но встречается при переездах и падениях хостинга, и лечится тем, что файл должен либо отдавать 200 с содержимым, либо 404 — второе роботы понимают как «ограничений нет».

Открыто лишнее: куда утекает обход

Обратная ошибка тише и дороже. Сайт, где не закрыто ничего, не падает в один день — он просто медленно индексируется, и новые страницы месяцами не появляются в поиске. Причина в том, что ресурс на обход конечен, и робот тратит его на то, что нашёл.

Помогу с продвижением: заказать продвижение сайта — вывожу сайты в топ Яндекса белыми методами.

Типичные пожиратели обхода на коммерческом сайте:

• Внутренний поиск по сайту. Адреса вида «поиск по фразе» порождаются бесконечно: каждая ссылка на результат поиска создаёт новый адрес, а на нём ещё ссылки. Робот может ходить по ним неделями.
• Сортировки и способы отображения. Один и тот же список товаров, отданный шестью способами, — шесть адресов с одинаковым содержимым.
• Комбинации фильтров. Три фильтра по десять значений дают тысячу адресов, из которых осмысленны единицы.
• Метки рекламных кампаний. Каждый рекламный адрес, попавший в чужую ссылку или в карту сайта, становится отдельной страницей.
• Служебные разделы и корзина. Пользы в поиске ноль, обход тратится.
• Версии для печати и старые копии разделов. Полные дубли содержимого, разложенные по другим адресам.

Практический признак проблемы: в панели вебмастера число загруженных роботом страниц в разы больше числа страниц в поиске, и разрыв растёт. Вторая примета — новые страницы попадают в поиск неделями, хотя сайт технически исправен. Третья — в логах сервера видно, что львиная доля запросов робота приходится на адреса с параметрами.

О методах, которые работают вдолгую и не вредят сайту:

5:21

Оговорка, без которой раздел будет прочитан неверно. Robots.txt управляет обходом, а не тем, что попадёт в выдачу. Для мусорных адресов запрет обхода уместен: их не должно быть в природе. Но если страница уже в поиске и её нужно оттуда убрать, запрет обхода — неправильный инструмент: закрыв адрес, вы лишаете поиск возможности узнать, что страницу пора выкинуть. Сначала убирают из индекса, потом закрывают обход.

Заблокированные стили и скрипты

Отдельная категория ошибок, которая не даёт мгновенного обвала и потому живёт на сайтах годами. В шаблонных файлах robots.txt старого образца часто закрыты целиком системные папки — вместе со всем, что там лежит, включая стили, шрифты и скрипты.

Поисковые системы разбирают страницу примерно так же, как браузер: загружают разметку, применяют стили, выполняют скрипты и смотрят на результат. Если стили и скрипты недоступны, картина получается искажённой.

Подробнее об этом — в статье «Влияние javascript на продвижение сайта».

Что заблокировано	Как это видит поиск
Файлы стилей	Страница без вёрстки; невозможно оценить удобство и мобильность
Скрипты, подгружающие содержимое	Пустые блоки: цен, характеристик или отзывов на странице как будто нет
Скрипты меню и навигации	Часть внутренних ссылок не обнаруживается
Изображения товаров	Карточки не попадают в поиск по картинкам
Шрифты	Мелочь, но добавляется к общей картине неисправной страницы

Проверяется это не чтением файла, а инструментами проверки страницы в панелях вебмастера: они показывают, какие ресурсы робот не смог получить и как страница выглядит с его стороны. Если в отчёте о ресурсах есть строки с запретом, лечение простое — открыть в файле нужные расширения внутри закрытых папок, не открывая сами папки целиком.

Как поймать ошибку раньше, чем провалится трафик

Между правкой и падением трафика есть три-четыре недели. За это время ошибку можно обнаружить как минимум четырьмя способами, и все они дешевле, чем разбираться постфактум.

1. Отчёт об обходе в панели вебмастера. Самый ранний сигнал: страницы со статусом запрета появляются там в первые дни. Смотреть раз в неделю — достаточно.
2. Число страниц в поиске. График в вебмастере. Ступенька вниз на десятки процентов — это не колебание, это событие, и дату события видно точно.
3. Логи сервера. Резкое падение числа запросов от поисковых роботов к конкретному разделу — прямое следствие запрета. В логах это видно в тот же день.
4. Проверка после каждой правки. Не мониторинг, а обязательный шаг: изменили файл — сразу прогнали десяток важных адресов через инструмент проверки robots.txt в панелях обеих систем.

Полезно поставить и внешнее наблюдение: сервис, который раз в сутки скачивает ваш robots.txt и присылает уведомление при изменении содержимого. Стоит копейки, а ловит именно тот класс случаев, когда файл поменял не тот, кто следит за трафиком, — обновился плагин, поработала поддержка хостинга, разработчик выкатил ветку.

Если сайт большой, добавьте к этому ежемесячное сканирование краулером с включённым учётом robots.txt. Такой обход показывает список адресов, которые пропущены из-за запрета, — и если в этом списке оказываются товары или услуги, вы узнаёте об этом до того, как их потеряет поиск.

Порядок восстановления после неверной правки

Когда ошибка найдена, важна последовательность: правильные действия в неправильном порядке дают тот же результат, что и бездействие, только с потерей времени.

Шаг	Что делать	Как убедиться
1	Снять ошибочный запрет, сохранив копию прежнего файла	Открыть /robots.txt в браузере, увидеть новое содержимое
2	Проверить ключевые адреса инструментом проверки в обеих панелях	Статус «разрешено» для каждого проверенного адреса
3	Убедиться, что на страницах нет второго запрета — мета-тега или заголовка	Просмотр исходного кода и заголовков ответа
4	Проверить, что страницы отдают 200 и содержат нужное содержимое	Краулер по списку пострадавших адресов
5	Обновить карту сайта и дату изменения у затронутых страниц	Свежий sitemap.xml с корректными датами
6	Отправить адреса на переобход в панелях вебмастера, начиная с самых ценных	Очередь переобхода принята
7	Наблюдать число страниц в поиске раз в несколько дней	Рост графика начинается в течение одной-двух недель

Если нужна помощь по теме — создание сайтов.

Третий шаг пропускают чаще всего, и из-за этого восстановление буксует. Пока раздел был закрыт от обхода, кто-нибудь мог дополнительно поставить запрет индексации в шаблоне — «чтобы уж точно». Робот, получив доступ к странице, видит этот запрет и уходит. Внешне выглядит так, будто снятие запрета не помогло.

Про сроки. Возврат идёт неравномерно: сначала возвращаются страницы, на которые есть внутренние и внешние ссылки и которые до этого хорошо себя чувствовали в поиске, затем остальные. Для сайта в несколько сотен страниц основная часть обычно возвращается за две-четыре недели, для крупного каталога — за один-три месяца. Ускорить процесс сверх переобхода нельзя, а вот замедлить легко: продолжая в это время менять шаблоны и адреса, вы даёте поиску повод переоценивать страницы заново.

Тему разбирал отдельно: «Мобильное SEO — влияние на продвижение сайта».

И честное предупреждение о позициях. Возврат в индекс не равен возврату на прежние места. Пока раздел отсутствовал, его место занимали конкуренты, и часть позиций придётся отыгрывать обычной работой. Чем дольше длился запрет, тем заметнее разница между «страницы вернулись» и «трафик вернулся».

Как выкатывать правки robots.txt, чтобы не повторилось

Файл маленький, поэтому к нему относятся легкомысленно — правят прямо на боевом сайте, без записи и без проверки. Дисциплина здесь стоит дёшево и окупается однократно.

• Версия и дата. Комментарием в начале файла — кто и когда менял. Сравнить с прошлой версией и понять, что изменилось, тогда занимает секунды.
• Копия перед правкой. Старый файл сохраняется рядом с датой в имени. Откат должен занимать минуту, а не восстановление по памяти.
• Проверка до выката. Новый вариант прогоняется через инструменты проверки на списке из двадцати адресов: главная, категории, товары, услуги, статьи, страницы с фильтрами.
• Одна правка за раз. Добавили одно правило — подождали неделю, посмотрели отчёты. Пять правил разом дадут пять одновременных эффектов.
• Отдельный файл для тестового сайта. Полный запрет на тестовом домене нужен, но выкат должен исключать перенос этого файла на боевой. Лучше — закрывать тестовый домен паролем на уровне сервера, тогда переносить нечего.
• Список того, что закрыто и зачем. Короткая заметка на пару абзацев рядом с проектом. Через год никто не вспомнит, почему закрыт странный путь, и снимать запрет побоятся.

Отдельно про плагины и модули, которые формируют файл сами. Если у вас такой, файл в корне может физически отсутствовать, а отдаваться системой. Тогда правки через файловый менеджер бесполезны: вы правите то, чего никто не читает. Убедитесь заранее, откуда берётся содержимое, — открыв адрес /robots.txt в браузере и сравнив с тем, что лежит на диске.

Частые вопросы

Может ли ошибка в robots.txt обрушить сайт полностью? Да, и это самый частый тяжёлый случай: полный запрет обхода, перенесённый с тестового домена. Через месяц сайт практически исчезает из поиска. Восстановление занимает от нескольких недель до нескольких месяцев в зависимости от размера сайта.

Как быстро действует правка файла? Запрет начинает действовать в течение суток — робот перечитывает файл часто. А вот последствия проявляются медленно: выпадение из поиска растянуто на недели, возврат — тоже.

Нужен ли robots.txt небольшому сайту? Формально нет: отсутствие файла означает, что ограничений нет, и сайт будет обходиться целиком. Практически файл полезен даже на визитке — хотя бы для указания адреса карты сайта и закрытия служебных страниц движка.

Можно ли скопировать файл у конкурента? Категорически нет, и это источник половины разобранных выше проблем. Запреты пишутся под конкретную структуру адресов: то, что у конкурента закрывает мусор, у вас закроет каталог. Копировать можно идею, но не строки.

Почему закрытая страница всё равно показывается в выдаче? Потому что запрет обхода и отсутствие в поиске — разные вещи. Поиск может знать об адресе по внешним ссылкам и показывать его без описания, не имея возможности зайти внутрь. Убирают такие страницы иначе: сначала открывают обход и ставят запрет индексации, ждут переобхода, и только потом при необходимости закрывают путь.

Стоит ли закрывать страницы фильтров? Зависит от того, есть ли на них спрос. Комбинации, которые никто не ищет, закрывают — они только тратят обход. Фильтры, по которым люди ищут регулярно, наоборот, превращают в полноценные страницы с текстом и заголовком. Решение принимается по данным о спросе, а не по общему правилу.

Что делать, если файл поменяли, а кто именно — неизвестно? Восстановить рабочую версию, поставить внешнее наблюдение за содержимым файла и проверить список тех, у кого есть доступ: хостинг-панель, FTP, админка CMS, модули. Чаще всего виновником оказывается обновление плагина или скрипт развёртывания, а не человек.

Коротко

• Robots.txt читается роботом до всего остального, поэтому ошибка в нём действует на весь сайт сразу и при этом молча.
• Между неверной правкой и заметным падением трафика проходит три-четыре недели — за это время ошибку можно поймать по отчётам обхода и логам.
• Самые дорогие сценарии: перенос запрета с тестового домена, закрытие раздела целиком ради одного подраздела и запрет пути, входящего в другие адреса.
• Обратная крайность не менее вредна: открытый внутренний поиск, сортировки и комбинации фильтров съедают обход, и новые страницы месяцами не попадают в поиск.
• Восстановление идёт по порядку: снять запрет, проверить адреса, убедиться в отсутствии второго запрета на страницах, обновить карту, отправить на переобход.
• Возврат в индекс не равен возврату трафика: чем дольше держался запрет, тем больше позиций придётся отыгрывать обычной работой.

Если сайт просел и есть подозрение, что дело в запретах обхода, приходите на SEO-консультацию: разберём файл построчно на вашей структуре адресов, сверим с отчётами вебмастера и определим, что именно закрыто лишнего, а что открыто зря.