Нужно ли прописывать директиву host в файле Robots.txt

Директива Host в robots.txt отменена Яндексом ещё в марте 2018 года, но её до сих пор находят в файлах половины сайтов, которые я проверяю перед началом работ. Вреда от строчки нет, пользы тоже — она просто игнорируется. Гораздо хуже другое: владелец считает, что зеркала склеены этой строкой, и не делает того, что действительно нужно. Разберу, что заменило Host и как правильно указать поисковику главный адрес сайта сегодня.

Вопрос не теоретический. Каждый переезд — на защищённый протокол, на новый домен, с адреса с www на адрес без www — упирается ровно в это: как объяснить поиску, какая версия сайта основная. Ошибка здесь стоит трафика, и восстановление занимает месяцы.

Что такое зеркала и почему их нужно склеивать

Зеркала — это разные адреса, по которым доступен один и тот же сайт. Классический набор, который есть почти у каждого проекта:

• адрес с www и без www;
• адрес по защищённому и незащищённому протоколу;
• адрес с завершающим слешем и без него;
• технический адрес хостинга и купленный домен;
• старый домен и новый после переезда.

Если поисковая система считает эти адреса разными сайтами, начинается разброд: часть страниц индексируется по одному адресу, часть по другому, накопленные показатели делятся между ними, а в выдаче появляются дубли. Задача склейки — сообщить поиску, что все версии одно и то же и главная из них вот эта.

Как работала директива Host

Строка была изобретением Яндекса и понималась только его роботами. Выглядела так:

User-agent: Yandex
Disallow: /admin
Host: site.ru

Она сообщала: главное зеркало — site.ru, остальные адреса подклеить к нему. Особенно активно её использовали в период массового перехода сайтов на защищённое соединение: с добавлением буквы «s» в протокол сайт формально становился новым адресом, и без склейки получалась пара конкурирующих копий.

Почему её отменили

В марте 2018 года Яндекс объявил об отказе от директивы. Причина — в её ненадёжности. Строку нужно было одинаково прописать во всех зеркалах: если на www-версии стояло одно значение, а на версии без www другое, склейка проходила некорректно или не проходила вовсе. Ошибку было легко допустить и трудно заметить.

На смену пришёл механизм, который к тому моменту уже использовался всеми поисковыми системами, — обычный постраничный редирект с кодом 301. Он однозначен: сервер прямо отвечает, что документ переехал по конкретному адресу.

Признак	Директива Host	Редирект 301
Кто понимает	Только Яндекс	Все поисковые системы
Где настраивается	Текстовый файл	Конфигурация сервера
Риск ошибки	Высокий: значения должны совпасть во всех зеркалах	Низкий, проверяется одним запросом
Что происходит с посетителем	Ничего, он остаётся на старом адресе	Переносится на актуальный адрес
Статус сегодня	Игнорируется	Основной способ склейки

Что делать вместо Host: три обязательных шага

Шаг первый: постраничный редирект 301

Ключевое слово — постраничный. Каждая страница старого адреса должна вести на такую же страницу нового, а не на главную. Редирект «всё на главную» поисковые системы трактуют как потерю содержимого: страница исчезла, замены нет.

Проверяется просто: откройте внутреннюю страницу старого адреса и посмотрите, куда она ведёт. Если на одноимённую страницу нового — всё верно. Если на главную — редирект настроен неправильно, и трафик по внутренним страницам вы потеряете.

Шаг второй: канонический адрес на каждой странице

В коде каждой страницы должен стоять тег, указывающий её собственный основной адрес:

<link rel="canonical" href="https://site.ru/stranica/">

Он решает вторую половину задачи: подсказывает, какой из похожих адресов считать основным, когда редирект невозможен — например, при добавлении рекламных меток к ссылке.

Если нужны детали, смотрите «Keywords на сайте: нужно ли их прописывать и как это делать правильно».

Шаг третий: переезд в панели вебмастера

Для Яндекса это отдельный инструмент в настройках: сайт указывает, что его главным зеркалом становится другой адрес. Без этого шага система видит редиректы, но трактует их как возможную проблему, а не как санкционированный переезд.

Признак, что шаг пропущен: в разделе диагностики появляется предупреждение о том, что главная страница перенаправляет на другой сайт, а страницы нового адреса не попадают в поиск при том, что робот их исправно скачивает.

Порядок переезда: чеклист

1. Новый адрес доступен, отдаёт код 200, полностью повторяет структуру старого.
2. Настроен постраничный 301 со старого адреса на новый — проверено минимум на десяти внутренних страницах.
3. Канонические теги на новом адресе указывают на него самого, а не на старый.
4. Файл robots.txt нового адреса не запрещает обход и содержит ссылку на карту сайта.
5. Карта сайта пересобрана с новыми адресами.
6. Новый адрес подтверждён в панелях вебмастеров обеих поисковых систем.
7. Оформлен переезд: указано главное зеркало.
8. Внутренние ссылки в текстах переписаны на новый адрес, чтобы не гонять посетителей через цепочку редиректов.
9. Счётчики аналитики перенесены и проверены на новом адресе.
10. Внешние площадки, где стоит ссылка на сайт, по возможности обновлены.

Помогу с продвижением: SEO-продвижение под ключ — вывожу сайты в топ Яндекса белыми методами.

Старый адрес при этом не отключают. Домен продлевают минимум на год после переезда: пока редиректы работают, вес и посетители переходят на новый адрес. Если домен отпустить, все внешние ссылки на него превратятся в ничто.

Сколько занимает склейка

Этап	Ориентировочный срок	Что видно
Робот замечает редиректы	Дни	В статистике обхода растёт доля ответов 3xx
Новый адрес массово скачивается	1–2 недели	Сотни страниц с кодом 200 в отчёте обхода
Страницы появляются в поиске	2–4 недели	Счётчик страниц в поиске у нового адреса растёт
Показатели переносятся полностью	1–3 месяца	Позиции и трафик возвращаются к прежним значениям

Просадка трафика в первые недели после переезда — нормальное явление. Ненормально, когда через полтора-два месяца новый адрес всё ещё не набирает страницы в поиске: это признак того, что какой-то из шагов пропущен, чаще всего третий.

Нужно ли удалять Host из robots.txt

Строка игнорируется, ошибкой не считается, на обход не влияет. Удалять её обязательно не нужно, но при плановой правке файла лучше убрать — чтобы через год никто не решил, будто зеркала склеены именно ею.

Заодно проверьте сам файл на другие устаревшие вещи: директиву Crawl-delay, которую Яндекс тоже перестал учитывать, и запреты, унаследованные от прежнего движка. Файл robots.txt — место, где годами копится наследство прошлых подрядчиков.

Типичные ошибки при склейке зеркал

Ошибка	Последствие	Как проверить
Редирект всех страниц на главную	Потеря трафика по внутренним страницам	Открыть любую внутреннюю страницу старого адреса
Цепочка из нескольких редиректов	Замедление обхода, потеря части веса	Проверить цепочку ответов сервера
Временный редирект 302 вместо 301	Склейка не происходит, старый адрес остаётся в поиске	Посмотреть код ответа
Канонический тег указывает на старый адрес	Новые страницы не индексируются	Найти тег canonical в коде страницы
robots.txt нового адреса закрыт от обхода	Сайт не индексируется вовсе	Открыть файл в браузере
Переезд не оформлен в панели	Страницы качаются, но в поиск не идут	Раздел диагностики: предупреждение о редиректе главной

Как проверить склейку зеркал по шагам

Склейка — состояние, которое проверяется, а не ощущается. Процедура занимает двадцать минут и не требует ничего, кроме браузера, командной строки или любого сервиса проверки ответов сервера. Проходите её целиком: больше половины проблем с переездами обнаруживается на первых двух шагах, но остальные без последних двух не видны вовсе.

Шаг первый: снять ответы со всех базовых точек входа

У любого сайта минимум четыре адреса, по которым к нему можно постучаться, и каждый должен приводить к одной и той же итоговой странице:

http://site.ru/
http://www.site.ru/
https://www.site.ru/
https://site.ru/

Отправьте запрос по каждому и запишите три вещи: код ответа, значение заголовка Location, то есть адрес, на который вас отправляют, и число переходов до конечной точки. В командной строке это одна строка:

curl -sIL http://www.site.ru/ | grep -E "HTTP/|[Ll]ocation"

Правильная картина выглядит так: три варианта из четырёх отвечают кодом 301 и ведут на четвёртый одним прыжком, а четвёртый отдаёт 200. Всё остальное — повод разбираться. Два прыжка вместо одного означают, что правила редиректа написаны отдельно для протокола и отдельно для www и срабатывают по очереди. Код 302 означает, что склейки не будет вообще. Код 200 на двух вариантах сразу означает, что у вас два самостоятельных сайта с одинаковым содержимым.

Подробнее об этом — в статье «Как настроить robots.txt».

Шаг второй: проверить внутренние страницы, а не только главную

Главную настраивают правильно почти всегда — её проверяют первой и все. Ошибки прячутся глубже. Возьмите четыре внутренних адреса разных типов: страницу услуги, статью блога, карточку товара или элемент каталога, адрес с параметрами после вопросительного знака. Каждый обязан вести на свой аналог по новому адресу, а не на главную и не на страницу ошибки.

Отдельно проверьте адрес, которого заведомо не существует, — допишите к домену случайный набор букв. Он должен отдавать код 404. Если сайт отвечает кодом 200 на любую строку, он плодит бесконечное количество дублей, и никакая склейка этого не исправит.

Шаг третий: сверить канонические теги на обеих версиях

Откройте исходный код страницы нового адреса и найдите строку с rel=»canonical». Она должна указывать на этот же адрес, в том же написании: тот же протокол, то же наличие или отсутствие www, тот же завершающий слеш. Расхождение хотя бы в одном символе превращает подсказку в противоречие: сервер редиректом говорит одно, тег в коде — другое.

Частый случай после переезда: движок продолжает подставлять в канонический тег старый домен, потому что он остался прописанным в настройках. Внешне сайт работает, редиректы стоят, а новые страницы месяцами не попадают в поиск.

Шаг четвёртый: посмотреть, что об этом думает поисковая система

В панели вебмастера смотрят четыре места. Инструмент проверки ответа сервера — он показывает ту же картину, что и командная строка, но глазами робота. Статистика обхода — там видно, сколько страниц робот скачал по новому адресу и с какими кодами. Раздел страниц в поиске — там растёт или не растёт счётчик проиндексированных документов. И диагностика — там появляются предупреждения о редиректе главной страницы и о недоступности сайта.

• Два адреса отдают код 200. Склейки нет, это два самостоятельных сайта — настройте 301 с неглавного на главный.
• Цепочка из двух-трёх переходов. Правила срабатывают по очереди — сведите их в одно, ведущее сразу на конечный адрес.
• Код 302 вместо 301. Поиск считает перенос временным — замените код на постоянный.
• Обход идёт, а страниц в поиске нет. Переезд не оформлен — укажите главное зеркало в настройках панели.
• Canonical указывает на старый домен. Не обновлён базовый адрес в настройках движка.
• Несуществующий адрес отдаёт 200. Сайт генерирует бесконечные дубли — почините обработку ошибки 404.
• В выдаче видны оба адреса. Переиндексация ещё не прошла: если предыдущие пункты в порядке, это вопрос времени.

Переезд с незащищённого протокола на защищённый

Это самый массовый вид переезда, и именно ради него когда-то массово прописывали Host. Формально добавление буквы «s» в протокол создаёт новый адрес сайта, поэтому процедура ничем не отличается от смены домена — с той разницей, что содержимое и структура остаются прежними.

Порядок действий:

1. Установить сертификат и убедиться, что он выпущен на все нужные имена: и на домен с www, и без него. Сертификат, выданный только на один вариант, даёт браузеру ошибку на втором, и робот получает то же самое.
2. Проверить автоматическое продление. Просроченный сертификат — это недоступность сайта целиком, а не косметическая проблема.
3. Найти смешанное содержимое: картинки, стили, скрипты и шрифты, которые подгружаются по старому протоколу. Браузер такие ресурсы блокирует, страница ломается. Ищутся поиском по коду страницы и по базе данных.
4. Переписать внутренние ссылки в текстах и меню на новый протокол, а лучше на относительные адреса.
5. Включить постраничный редирект на уровне сервера. Не плагином, не метатегом обновления страницы, не скриптом — только сервер отдаёт настоящий код 301.
6. Обновить канонические теги, карту сайта, ссылку на карту в robots.txt.
7. Подтвердить защищённую версию в панелях вебмастеров отдельно и оформить переезд.
8. Проверить счётчики аналитики и любые внешние сервисы, которые обращаются к сайту по адресу: формы, оплату, виджеты.

Если нужна помощь по теме — курсы SEO-оптимизации.

Принудительное защищённое соединение — механизм, при котором браузер запоминает, что к сайту можно обращаться только по защищённому протоколу, — включают в последнюю очередь, когда переезд отработал без нареканий хотя бы месяц. Срок, на который браузер запомнит правило, обратно не отзывается.

Версия с www и версия без www

Поисковым системам всё равно, какой вариант вы выберете. Значение имеет единственное: чтобы вариант был один и чтобы весь сайт на него ссылался. Выбирать стоит по фактам, а не по вкусу.

Тему разбирал отдельно: «Одна строчка в robots.txt — и весь сайт пропадает из Яндекса на полгода».

• Посмотрите, какая версия сейчас в поиске: по ней уже накоплены показатели, и её разумнее оставить главной.
• Посмотрите, на какую версию ведёт больше внешних ссылок: выгрузка внешних ссылок есть в панели вебмастера, дополнительно можно свериться с Мегаиндексом.
• Посмотрите, что напечатано на визитках, в справочниках и в рекламных кабинетах: менять это дороже, чем настроить редирект.

Правило редиректа пишут одно, сразу на конечный адрес, а не двумя отдельными: сначала протокол, потом www. Проверяется это тем же запросом из первого шага: между стартовым и конечным адресом должен быть ровно один переход.

Две ошибки, которые встречаются регулярно. Первая: редирект настроен с www на адрес без www, а канонический тег в коде указывает на адрес с www — сайт спорит сам с собой. Вторая: панель вебмастера подтверждена только на одну версию, а переезд оформляют для другой; права нужно подтвердить на оба адреса, иначе инструмент откажется работать.

Что ещё стоит вычистить из robots.txt

В файле годами лежат правила от движков, которых уже нет, и от подрядчиков, которых давно сменили. Раз уж вы открыли его ради Host, просмотрите целиком.

Строка в файле	Статус	Что с ней делать
Host	Отменена в 2018 году, игнорируется	Удалить при плановой правке
Crawl-delay	Не учитывается, скорость обхода задаётся в панели	Удалить, при необходимости настроить в вебмастере
Clean-param	Работает, полезна для меток и параметров сортировки	Оставить и проверить актуальность списка
Disallow с папкой загрузок	Закрывает картинки от индексации	Открыть, если нужен трафик по изображениям
Disallow со звёздочкой и вопросительным знаком	Может закрывать фильтры, поиск и пагинацию разом	Проверить, какие адреса реально под него попали
Правила от прежнего движка	Указывают на несуществующие папки	Удалить, чтобы файл читался
Отсутствие строки Sitemap	Робот не знает про карту сайта	Добавить полный адрес карты
Запрет всего сайта	Наследство тестового сервера	Проверять первым делом при любой просадке

И общее правило: robots.txt управляет обходом, а не индексацией и не зеркалами. Закрытая в нём страница может остаться в поиске, если на неё ведут ссылки. Убрать документ из выдачи — задача для метатега robots со значением noindex или для удаления через панель, но не для этого файла.

Что проверить после переезда: график контроля

Когда	Что проверить	Признак, что всё в порядке
В день переезда	Коды ответа по четырём точкам входа и по внутренним страницам	Один прыжок, код 301, конечный адрес отдаёт 200
В день переезда	robots.txt и карта сайта нового адреса	Обход разрешён, карта открывается и содержит новые адреса
В день переезда	Счётчики аналитики, формы, оплата	Визиты фиксируются, заявка доходит
Через 3–5 дней	Статистика обхода в панели	Растёт число загруженных страниц нового адреса
Через неделю	Диагностика в панели вебмастера	Нет предупреждения о редиректе главной страницы
Через 2 недели	Счётчик страниц в поиске	Новый адрес набирает страницы, старый теряет
Через месяц	Позиции по контрольному списку запросов	Возврат к значениям до переезда
Через 2–3 месяца	Трафик из поиска в сравнении с прошлым годом	Сезонная динамика без провала

Контрольный список запросов снимают до переезда, а не после. Без этой точки отсчёта спор о том, вернулись показатели или нет, разрешить нечем. Достаточно тридцати-пятидесяти запросов, по которым сайт был виден, — снять их можно любым сервисом съёма позиций вроде Topvisor или Rush Analytics, а спрос по ним предварительно свериться в Вордстате.

Частые вопросы

Что писать в robots.txt вместо Host? Ничего. Файл управляет обходом, а не зеркалами. Главный адрес указывается редиректом, каноническим тегом и настройкой переезда в панели.

Нужна ли Host для Google? Никогда не была нужна: директива понималась только Яндексом.

Слетит ли склейка, если убрать редирект после переезда? Да, со временем. Пока редирект работает, старый адрес остаётся подклеенным. Уберёте — старые страницы снова начнут обходиться как самостоятельные, и появятся дубли.

Что делать, если оба адреса уже в поиске? Настроить постраничный 301 и оформить переезд. Дубли уйдут в течение нескольких недель после переиндексации.

Как выбрать главное зеркало при переезде на новый домен? Обычно им становится новый адрес — тот, на котором сайт будет жить дальше. Исключение — временный технический переезд, но такие случаи редки.

Разбираю продвижение по шагам — в своём курсе:

8:14

Коротко

• Директива Host отменена в марте 2018 года и сегодня просто игнорируется — склеить ею зеркала невозможно.
• Заменили её три механизма: постраничный редирект 301, канонический тег на каждой странице и оформление переезда в панели вебмастера.
• Редирект обязан быть постраничным: перенаправление всех адресов на главную читается как потеря содержимого.
• Пропущенный шаг с переездом в панели даёт характерную картину: робот скачивает новый адрес сотнями страниц, а в поиске их нет.
• Старый домен держат оплаченным минимум год после переезда, иначе внешние ссылки на него обесцениваются.
• Полный перенос показателей занимает от месяца до трёх; просадка в первые недели — норма, отсутствие роста через два месяца — повод искать ошибку.

Если сайт переезжает и цена ошибки высока, разберу конфигурацию до запуска — это и есть предмет SEO-консультации.