Как настроить robots.txt

Как настроить robots.txt — вопрос из тех, где цена ошибки не соответствует размеру файла. Десять строк текста в корне сайта, и одна из них способна убрать из поиска всё, что вы делали годами. Забытую с разработки строку находят обычно через полгода, когда трафика уже нет, а восстановление занимает недели.

При этом файл несложный: директив в нём меньше десятка, половина устарела, и запомнить рабочий минимум можно за вечер. Ниже — что этот файл на самом деле делает и чего не делает, правила синтаксиса, на которых спотыкаются, готовая конфигурация для WordPress с пояснениями по каждой строке и список того, что закрывать нельзя ни при каких условиях.

Что robots.txt делает и чего он не делает

Половина ошибок с этим файлом происходит из-за неверного понимания его роли. Он управляет обходом, а не индексацией. Это разные вещи.

Обход — робот скачивает страницу и смотрит, что внутри. Индексация — страница попадает в поисковую базу и может показаться в выдаче. Строка Disallow запрещает первое, но не гарантирует отсутствие второго.

Механика такая: если на закрытую в robots.txt страницу ведут ссылки с других сайтов, поисковая система знает о её существовании и может показать адрес в выдаче — только без описания, потому что зайти и прочитать содержимое ей запрещено. Получается худший вариант: страница и в поиске, и выглядит пустой.

Отсюда практическое правило, которое стоит запомнить раньше синтаксиса:

• Нужно убрать страницу из поиска гарантированно — метатег noindex в коде страницы, а обход оставить открытым. Робот должен зайти и увидеть запрет.
• Нужно не тратить обход на служебные адреса — запрет в robots.txt. Годится для разделов, которые никому не интересны и на которые никто не ссылается.
• Нужно склеить дубли с параметрами — директива Clean-param для Яндекса и указание основного адреса в canonical для остальных систем.

Классическая ловушка — закрыть страницу одновременно и в robots.txt, и метатегом. Робот не может зайти на страницу, значит не видит метатег, значит запрет не срабатывает, и адрес остаётся в выдаче. Причём владелец сайта уверен, что перестраховался вдвойне.

Правила синтаксиса, на которых спотыкаются

Формат простой, но нестрогий к ошибкам: неправильная строка не вызывает ошибку, она просто молча не работает.

• Файл лежит строго в корне и доступен по адресу вида site.ru/robots.txt. В подпапке он не работает.
• Отдаётся с кодом 200 и без перенаправлений. Если файл отвечает 301 или 404, поведение робота становится непредсказуемым, а в случае ошибки 5xx часть систем считает сайт закрытым целиком.
• Кодировка UTF-8 без метки порядка байтов. Невидимая метка в начале файла ломает первую строку, и секция перестаёт читаться.
• Секции разделяются пустой строкой. Внутри секции пустых строк быть не должно — иначе всё, что ниже, теряет привязку к User-agent.
• Регистр в путях учитывается: /Catalog/ и /catalog/ — разные адреса. Названия директив регистр не учитывают.
• Комментарии начинаются с решётки и пишутся с начала строки.
• Робот выбирает одну секцию — самую подходящую по имени. Если есть секция для Yandex, робот Яндекса читает только её и не смотрит в общую секцию со звёздочкой. Значит, все нужные правила надо продублировать.
• Внутри секции побеждает более длинное правило, а не порядок строк. При одинаковой длине приоритет у Allow.

Последние два пункта дают больше всего ошибок. Человек пишет общую секцию с полным набором правил, затем добавляет секцию для Яндекса из двух строк с Clean-param — и все запреты для Яндекса перестают действовать, потому что он читает только свою секцию.

Директивы: что живо, а что уже нет

Набор директив небольшой, и половина того, что до сих пор копируют из старых статей, уже ни на что не влияет.

Директива	Что делает	Статус
User-agent	Указывает, к какому роботу относится секция	Обязательна, с неё начинается любая секция
Disallow	Запрещает обход адресов по маске	Основная рабочая директива
Allow	Разрешает обход внутри запрещённого раздела	Работает, приоритет по длине правила
Sitemap	Указывает адрес карты сайта	Работает, пишется полным адресом с протоколом
Clean-param	Отбрасывает указанные параметры адреса	Работает, но понимает только Яндекс
Host	Указывала главное зеркало сайта	Не учитывается, зеркало задаётся редиректом
Crawl-delay	Задавала паузу между запросами робота	Не учитывается, скорость обхода настраивается в Вебмастере
Request-rate, Visit-time	Ограничения частоты и времени обхода	Никогда всерьёз не поддерживались

Про маски. Звёздочка заменяет любую последовательность символов, знак доллара обозначает конец адреса. Строка Disallow: /catalog закроет и /catalog/, и /catalogue-arhiv/, потому что совпадение идёт по началу строки. Если нужен только конкретный адрес, ставится доллар: Disallow: /catalog$. Разница между этими двумя вариантами регулярно стоит людям половины каталога.

Готовая конфигурация для WordPress

Рабочий вариант, от которого можно отталкиваться. Домен и адрес карты сайта подставляются свои.

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /search/
Disallow: /xmlrpc.php
Disallow: */comment-page-
Disallow: /*?replytocom
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.css
Allow: /*.js

User-agent: Yandex
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /?s=
Disallow: /search/
Disallow: /xmlrpc.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Allow: /*.css
Allow: /*.js
Clean-param: utm_source&utm_medium&utm_campaign&utm_term&utm_content
Clean-param: yclid&ysclid&gclid&fbclid&openstat&from
Clean-param: replytocom&cpage

Sitemap: https://site.ru/wp-sitemap.xml

Что здесь стоит отметить. Папка с загрузками открыта — картинки должны индексироваться, из поиска по изображениям идёт заметная доля трафика. Стили и скрипты разрешены явно, чтобы страница отрисовывалась так же, как её видит посетитель. Секция для Яндекса продублирована полностью, а не сокращена до Clean-param. Служебные страницы магазина закрыты от обхода, но если они уже попали в индекс, одного запрета мало — нужен ещё метатег noindex, а запрет снимается на время переобхода.

Почему метки закрывают Clean-param, а не Disallow

Это отдельная тема, потому что ошибка распространённая и последствия у неё дорогие. Разница между двумя способами принципиальная.

	Disallow: /*utm	Clean-param: utm_source
Что делает робот	Не заходит на адрес с меткой	Заходит, отбрасывает параметр, считает адрес чистым
Судьба страницы	Выпадает из индекса вместе с содержимым	Остаётся в индексе по чистому адресу
Что с накопленными сигналами	Теряются вместе со страницей	Переходят на основной адрес
Дубли	Формально исчезают, вместе со страницей	Исчезают, страница остаётся
Поддержка	Все системы	Только Яндекс, для остальных нужен canonical

Для сайта с рекламным трафиком разница ощутимая. Ссылка с меткой уходит в рассылку, в мессенджер, в соцсеть, там её пересылают дальше — и адрес с меткой начинает жить своей жизнью, собирая переходы и упоминания. Закрыв его запретом, вы выбрасываете из поиска рабочую страницу и всё, что она накопила. Директива Clean-param решает задачу иначе: параметр отбрасывается, адрес склеивается с чистым, дубля нет, страница остаётся на месте.

Важная оговорка: директиву понимает только Яндекс. Для остальных систем те же адреса закрываются указанием основного адреса в canonical. Делать нужно и то, и другое — это не альтернативы, а два разных механизма для двух разных систем.

Что закрывать нельзя ни в коем случае

Список короткий, и каждая строка в нём — реальная находка с чужих сайтов.

Папку с картинками. Закрыв её, вы теряете трафик из поиска по изображениям и мешаете системе оценить страницу целиком. Для магазинов и сайтов с портфолио это заметная потеря.

Стили и скрипты. Поисковые системы отрисовывают страницу так же, как браузер. Без стилей она выглядит сломанной, и оценка мобильного удобства получается отрицательной. Раньше эти файлы закрывали ради экономии обхода — сейчас это прямой вред.

Страницы с метатегом noindex. Разобрано выше: робот не заходит, не видит запрет, страница остаётся в выдаче.

Страницы, которые нужно убрать из индекса срочно. Здесь та же логика. Чтобы страница выпала, робот должен зайти и увидеть метатег или получить код 404. Запрет в robots только замораживает ситуацию.

Пагинацию, если она настроена правильно и имеет canonical на саму себя. Закрыв её, вы отрезаете роботу путь к товарам и записям со второй страницы и дальше.

Весь раздел целиком из-за нескольких плохих адресов. Частая ошибка при чистке дублей: вместо точечного правила пишут запрет на весь каталог. Проверяйте маску до публикации.

Файл карты сайта. Звучит абсурдно, но такое встречается — карта попадает под общую маску вроде Disallow: /*.xml.

Что закрывать стоит

Обратная сторона: адреса, которые в поиске не нужны и только съедают квоту обхода. Набор зависит от типа сайта.

Тип адресов	Пример	Почему закрывают	Чем закрывать
Административная часть	/wp-admin/, /administrator/	Служебные страницы, доступ по паролю	Disallow
Внутренний поиск	/?s=zapros	Число адресов не ограничено и растёт само	Disallow
Корзина и оформление заказа	/cart/, /checkout/	Персональные страницы, в поиске бессмысленны	Disallow плюс noindex, если уже в индексе
Личный кабинет	/my-account/	То же, плюс риск утечки данных в выдачу	Disallow плюс закрытие доступом
Рекламные метки	/uslugi/?utm_source=direct	Дубли основной страницы	Clean-param и canonical, не Disallow
Сортировки каталога	/katalog/?orderby=price	Тот же набор товаров по другому адресу	Canonical, параметр в Clean-param
Версии для печати	/statya/print/	Полная копия страницы	Noindex или canonical на оригинал
Тестовые копии сайта	test.site.ru, /new/	Полный дубль всего сайта	Закрытие паролем на сервере, а не robots

Про тестовые копии стоит сказать отдельно. Закрывать их через robots.txt ненадёжно: файл может не скопироваться при переносе, а если на тестовый адрес где-то стоит ссылка, он попадёт в выдачу и создаст дубль всего сайта. Правильный способ — закрыть доступ на уровне сервера паролем. Тогда никакая ссылка и никакая забытая строка ситуацию не испортят.

Как проверить файл за десять минут

Проверка обязательна после каждой правки, потому что ошибка тут не проявляется сразу — она проявляется через месяц падением трафика.

1. Откройте site.ru/robots.txt в браузере. Файл должен открыться текстом, а не перенаправить и не выдать ошибку. Заодно посмотрите на первую строку: если она отображается странно, в файле метка порядка байтов.
2. Инструмент анализа в Яндекс.Вебмастере. Вставьте туда десяток важных адресов: главную, страницу услуги, карточку товара, статью, картинку из папки загрузок, файл стилей, файл скриптов. Все должны быть разрешены.
3. Отдельно проверьте то, что должно быть закрыто. Адрес внутреннего поиска, корзину, административную часть. Если они разрешены — правило не сработало, чаще всего из-за неверной маски.
4. Проверьте секцию для Яндекса отдельно. Инструмент показывает, какую секцию робот применил. Если оказалось, что он читает общую секцию вместо вашей, ищите опечатку в имени.
5. Посмотрите, как страницу видит робот. В Вебмастере есть проверка отображения: если страница показана без оформления, значит закрыты стили.
6. Через неделю откройте раздел исключённых страниц. Рост числа адресов с пометкой о запрете в robots — сигнал, что правило захватило лишнее.

Отдельная привычка, которая экономит месяцы: сохраняйте предыдущую версию файла перед каждой правкой. Тогда откат занимает минуту, а не восстановление по памяти.

Самая дорогая ошибка

User-agent: *
Disallow: /

Две строки, закрывающие сайт целиком. Их ставят на время разработки, чтобы недоделанная версия не попала в поиск, и забывают убрать при запуске. Обнаруживается это обычно через месяц-полтора: страниц в поиске становится всё меньше, трафик уходит, а причину ищут в текстах и ссылках.

Восстановление после такой находки — не мгновенное. Роботу нужно заново обойти сайт, а на это уходит от двух недель до пары месяцев в зависимости от размера. Ускорить можно отправкой основных адресов на переобход и обновлением карты сайта, но полностью вернуть позиции за день не получится.

Правило, которое снимает риск целиком: после любого события, затрагивающего сервер, первым делом открывайте robots.txt и смотрите, что там написано. Список событий такой:

• запуск сайта или новой версии;
• перенос на другой хостинг или домен;
• обновление системы управления или темы;
• любые работы стороннего разработчика;
• восстановление из резервной копии — она может быть старше правок;
• установка плагина, который генерирует файл динамически.

Последний пункт стоит пояснить. Многие системы отдают robots.txt не файлом, а генерируют его на лету. В этом случае физического файла в корне нет, и правки в нём ничего не меняют — настройка живёт в админке или в коде плагина. Проверить просто: измените что-нибудь в файле на сервере и обновите страницу robots.txt в браузере. Если изменение не появилось, файл виртуальный.

Частые вопросы

Обязателен ли robots.txt вообще?
Формально нет: при отсутствии файла робот считает, что разрешено всё. Для маленького сайта на десять страниц без служебных разделов это рабочий вариант — лучше отсутствие файла, чем файл с ошибкой. Но как только появляется внутренний поиск, корзина или каталог с фильтрами, файл становится нужен.

Нужна ли отдельная секция для Google?
Обычно нет, общей секции со звёздочкой достаточно. Отдельная секция понадобится, если правила для Google должны отличаться. Помните главное: робот читает только одну секцию, и если вы создали именную, все правила в неё надо продублировать.

Как закрыть сайт от всех, кроме поисковых систем?
Через robots.txt никак — файл носит рекомендательный характер и агрессивные сборщики его игнорируют. Ограничение доступа делается на уровне сервера: по адресам, по частоте запросов, паролем. Robots.txt — это договорённость с добросовестными роботами, а не защита.

Через сколько робот увидит изменения в файле?
Обычно в течение нескольких дней, иногда быстрее. Ускорить переобход самого файла нельзя, но можно отправить на переобход страницы, доступ к которым вы открыли. Обратная ситуация опаснее: если вы закрыли что-то по ошибке, страницы начнут выпадать из индекса постепенно, и заметить это можно не сразу.

Что делать, если файл отдаётся с ошибкой 500?
Чинить срочно. Часть систем при недоступности файла считает, что сайт закрыт целиком, и приостанавливает обход. Ошибка 404 менее опасна — она читается как «ограничений нет», но и её лучше не оставлять.

Можно ли одним файлом обслуживать несколько поддоменов?
Нет. Каждый поддомен — отдельный сайт со своим корнем и своим файлом. Если у вас двадцать региональных поддоменов, файлов должно быть двадцать, и адрес карты сайта в каждом свой. Общая ошибка при настройке — оставить в файле поддомена адрес карты основного домена.

Стоит ли копировать robots.txt у конкурента?
Как образец структуры — можно, как готовое решение — нет. У него другой набор разделов, другой движок и, возможно, свои ошибки, которые вы перенесёте к себе. Разумнее взять типовую конфигурацию под свою систему управления и дополнить её адресами, которые есть именно у вас.

Технические проверки сайта, включая настройки индексации, показываю на живом примере:

2:29

Коротко

• Robots.txt управляет обходом, а не индексацией: закрытая в нём страница может остаться в выдаче, только без описания.
• Убрать страницу из поиска гарантированно можно метатегом noindex при открытом обходе — закрывать её одновременно и в robots нельзя.
• Робот читает только одну секцию: если есть именная для Яндекса, все правила из общей секции надо в неё продублировать.
• Рекламные метки закрывают через Clean-param и canonical, а не через Disallow — иначе страница выпадает из индекса целиком.
• Картинки, стили и скрипты закрывать нельзя: без них система видит сломанную страницу и занижает оценку удобства.
• После запуска, переезда, обновления и любых работ на сервере первым делом проверяйте, не появился ли Disallow со слэшем.

Если файл уже настроен, а страницы всё равно не попадают в поиск, дело обычно не в нём одном — нужно смотреть коды ответов, дубли и карту сайта вместе. Это SEO-консультация: разбираю настройки индексации конкретного сайта и говорю, что именно мешает. Быструю проверку можно запустить и самостоятельно — бесплатный аудит сайта покажет, что закрыто от обхода.