Постраничный robots решает задачу, с которой файл robots.txt не справляется в принципе: убрать конкретную страницу из поисковой выдачи. Путаница между этими двумя инструментами стоит владельцам сайтов либо мусора в индексе, либо выпавших из поиска важных разделов — и оба исхода обнаруживаются не сразу, а через недели, когда трафик уже просел. Разница между ними не косметическая: один инструмент управляет обходом, другой — индексацией, и подменять их друг другом нельзя.
В SEO с 2005 года, и ошибка «закрыли страницу в robots.txt, а она всё равно в поиске» встречается на консультациях едва ли не чаще любой другой технической. Ниже — как устроено постраничное управление, какие директивы существуют, чем мета-тег отличается от HTTP-заголовка, что закрывать, а что трогать нельзя, и как проверить, что указание действительно сработало.
Чем постраничное управление отличается от robots.txt
Файл в корне сайта задаёт правила обхода: какие адреса роботу разрешено запрашивать, а какие нет. Он ничего не говорит об индексации. Робот, которому запрещён обход страницы, просто не заходит на неё — но если на эту страницу ведут ссылки, поисковая система может знать о её существовании и показать её в выдаче без описания, с пометкой о недоступности содержимого.
Постраничные указания работают наоборот: робот заходит на страницу, читает указание внутри неё и выполняет команду. Именно поэтому надёжное исключение из поиска обеспечивает только этот способ.
| Параметр | robots.txt | Мета-тег robots и X-Robots-Tag |
|---|---|---|
| Уровень действия | Весь сайт, каталоги, маски адресов | Отдельная страница или файл |
| Что регулирует | Обход (сканирование) | Индексацию и переход по ссылкам |
| Гарантия исключения из выдачи | Нет | Да, при директиве noindex |
| Экономия ресурсов робота | Да, страница не запрашивается | Нет, робот всё равно её загружает |
| Где размещается | Один файл в корне | В секции head страницы или в HTTP-ответе сервера |
| Работает для файлов не-HTML | Да | Только через X-Robots-Tag |
| Скорость применения | После перечитывания файла | После следующего обхода страницы |
Вывод простой: robots.txt экономит краулинговый бюджет и закрывает целые ветки от обхода, а постраничные указания точечно определяют, что окажется в поиске. Работают они вместе, но в разных ролях — и никогда не заменяют друг друга.
Почему noindex в robots.txt не работает
Строка вида Noindex: /path/ в файле директив когда-то поддерживалась Яндексом как нестандартное расширение, и её до сих пор можно встретить в файлах, доставшихся по наследству. Сегодня на неё полагаться нельзя: официально она не поддерживается, а Google её никогда и не понимал. Файл директив работает только с обходом.
Из этого же следует главная ловушка всей темы, ради которой чаще всего и приходят с вопросом. Разберём её по шагам.
- Вы ставите на странице мета-указание не индексировать.
- Одновременно закрываете её же в файле директив, «чтобы наверняка».
- Робот видит запрет обхода и на страницу не заходит.
- Раз он не заходит, он не читает мета-указание и не выполняет его.
- Страница остаётся известной системе по ссылкам и может показываться в выдаче — без описания и без возможности это исправить.
Запомнить правило легко: чтобы робот выполнил команду, он должен эту команду прочитать. Страница с указанием noindex обязана оставаться открытой для обхода. Закрывать её в файле директив можно только после того, как она пропала из индекса — и то в этом обычно нет смысла.
Симметричная ошибка встречается реже, но обходится дороже: запрет обхода ставят на раздел, где лежат стили и скрипты. Робот загружает страницу, но не может её отрисовать и оценивает как голый текст, из-за чего страдает оценка мобильного удобства и понимание содержимого.
Директивы мета-тега robots
Указание размещается в секции head и выглядит так: <meta name="robots" content="noindex, nofollow">. Значения комбинируются через запятую.
Подробнее об этом — в статье «Влияет ли возраст домена на продвижение сайта».
| Директива | Что делает | Когда применяется |
|---|---|---|
| index / noindex | Разрешает или запрещает добавление страницы в индекс | Основной инструмент исключения из выдачи |
| follow / nofollow | Разрешает или запрещает роботу учитывать ссылки со страницы | Редко нужен; по умолчанию follow |
| none | Сокращение для noindex, nofollow | Когда страница не должна ни индексироваться, ни передавать вес |
| all | Сокращение для index, follow | Значение по умолчанию, писать не обязательно |
| noarchive | Запрещает показывать сохранённую копию страницы | Часто меняющиеся данные, цены, персональные разделы |
| nosnippet | Запрещает формировать описание в выдаче | Применять осторожно: снижает кликабельность |
| noyaca | Запрещает Яндексу брать описание из своего каталога | Когда описание из каталога устарело |
| noimageindex | Запрещает индексировать изображения со страницы | Закрытые галереи, авторские материалы |
| max-snippet, max-image-preview | Ограничивают длину описания и размер превью | Тонкая настройка вида в выдаче |
| unavailable_after | Исключает страницу из индекса после указанной даты | Акции, мероприятия с известной датой окончания |
Указание можно адресовать конкретному роботу, заменив robots на его имя: <meta name="yandex" content="noindex"> или <meta name="googlebot" content="noindex">. Общее указание действует на всех, персональное перекрывает общее для того робота, кому адресовано. Смешивать их без необходимости не стоит: чем больше правил, тем выше шанс, что через год никто не вспомнит, зачем они стоят.
Важный нюанс про сочетание noindex и follow. Долго считалось, что такая комбинация позволяет странице передавать вес дальше, не попадая в выдачу. На практике страница, надолго исключённая из индекса, со временем обходится реже, и ссылки с неё учитываются всё слабее. Строить на этом схему перелинковки не стоит.
Из чего складывается продвижение сайта и как оно работает:
X-Robots-Tag: когда мета-тега недостаточно
Мета-тег можно поставить только в HTML-документ. Для всего остального есть HTTP-заголовок, который отдаёт сервер вместе с файлом: X-Robots-Tag: noindex. Он понимает те же директивы и имеет ту же силу.
- PDF, документы, таблицы, архивы. Прайсы и коммерческие предложения в виде файлов индексируются наравне со страницами и нередко попадают в выдачу вместо нужного раздела.
- Изображения. Закрыть отдельный файл картинки мета-тегом невозможно в принципе.
- Массовые правила. Одной строкой в конфигурации сервера закрывается целый тип файлов или каталог — быстрее, чем править шаблоны.
- Страницы, куда нет доступа к шаблону. Служебные разделы платформы, генерируемые адреса, ответы API.
- Тестовые и промежуточные площадки. Заголовок ставится на весь стенд разом и не забывается в шаблоне при выкладке на боевой сайт.
- Дропшиппинг: полное руководство для бизнеса
Настраивается он в конфигурации веб-сервера или на уровне приложения. Если мета-тег и заголовок противоречат друг другу, срабатывает более строгое указание — то есть noindex победит index. Полагаться на это не стоит: лучше держать правила в одном месте.
Отдельно про тестовые площадки: закрывать их запретом обхода в файле директив — плохая практика. Копия сайта всё равно становится известной по ссылкам, а без обхода вы не сможете её оттуда убрать. Правильный способ — авторизация по паролю на уровне сервера плюс заголовок с noindex.
Как правильно закрывать страницу от индексации
Порядок действий зависит от того, чего именно вы хотите добиться. Разные задачи требуют разных инструментов, и подмена одного другим и порождает большинство проблем.
| Задача | Правильный инструмент | Чего делать нельзя |
|---|---|---|
| Убрать страницу из выдачи, оставив доступной людям | Мета-тег noindex, обход открыт | Закрывать её же в файле директив |
| Не тратить ресурс робота на бесконечные адреса с параметрами | Запрет обхода в файле директив | Ждать, что они исчезнут из индекса сами |
| Свести дубли к одной странице | Указание канонической страницы или редирект | Ставить noindex на дубль, который должен передавать вес |
| Убрать страницу навсегда | Код ответа четыреста десять или четыреста четыре | Оставлять страницу с кодом двести и пустым содержимым |
| Скрыть служебный раздел от посторонних | Авторизация на уровне сервера | Надеяться на запрет обхода как на защиту |
| Убрать из поиска файл документа | Заголовок X-Robots-Tag | Пытаться поставить мета-тег |
| Срочно убрать страницу из выдачи | Инструмент удаления в панели вебмастера плюс noindex | Ограничиться одним инструментом удаления: он временный |
Обратите внимание на строку про канонические страницы. Указание канонической страницы и noindex решают разные задачи: первое склеивает дубли и передаёт их вес основной странице, второе просто выбрасывает страницу из индекса вместе с накопленным. Ставить их одновременно на одну страницу — противоречивая инструкция, и результат становится непредсказуемым.
Тему разбирал отдельно: «Влияет ли скорость сайта на продвижение».
Что закрывать, а что оставить открытым
Список типовых кандидатов на исключение довольно устойчив и мало зависит от платформы.
- Результаты внутреннего поиска по сайту — бесконечное количество адресов с нулевой ценностью.
- Страницы корзины, оформления заказа, личного кабинета, сравнения товаров.
- Служебные и технические страницы: авторизация, восстановление пароля, страницы благодарности после отправки формы.
- Комбинации фильтров, не имеющие спроса. Ключевое слово — не имеющие спроса: фильтры, под которые люди ищут, наоборот, должны индексироваться и иметь свои заголовки.
- Версии страниц для печати, если они существуют отдельным адресом.
- Архивы тегов и дат в блогах, если они дублируют рубрики.
- Страницы пагинации — с оговоркой ниже.
- Дропшиппинг: полное руководство для бизнеса
Про пагинацию стоит сказать отдельно, потому что рекомендации по ней менялись несколько раз. Сегодня рабочий подход такой: страницы со второй и далее оставлять открытыми для обхода и индексации, снабжать их уникальными заголовками с номером страницы и не указывать в качестве канонической первую страницу. Закрывать их через noindex опасно: товары, которые есть только на пятой странице, вместе с ней выпадают из обхода.
Что закрывать нельзя ни в коем случае: разделы со стилями и скриптами, страницы с товарами и услугами под спрос, карточки, доступные только через фильтр, и страницы, на которые ведут внешние ссылки. Последний пункт особенно обиден: закрывая такую страницу, вы выбрасываете накопленный вес вместо того, чтобы перенаправить его редиректом.
Типичные ошибки
Собрал те, что встречаются чаще всего и дороже всего обходятся.
| Ошибка | Как проявляется | Исправление |
|---|---|---|
| Страница закрыта и в файле директив, и через noindex | Держится в выдаче без описания, убрать не получается | Открыть обход, дождаться переобхода, затем при желании снова закрыть |
| noindex остался после переноса с тестовой площадки | Весь сайт или раздел исчезает из выдачи через пару недель | Проверить шаблоны, убрать указание, запросить переобход |
| Плагин выставил noindex на рубрики или архивы | Часть точек входа пропала, трафик просел без явной причины | Проверить настройки модуля оптимизации, включить нужные типы |
| Одновременно каноническая страница и noindex | Противоречивые указания, поведение непредсказуемо | Оставить один инструмент под конкретную задачу |
| Запрет обхода служебных файлов оформления | Страница отрисовывается как голый текст, страдает оценка удобства | Открыть каталоги со стилями, скриптами и шрифтами |
| Закрытые пагинации в каталоге | Часть товаров не индексируется вовсе | Открыть страницы, уникализировать их заголовки |
| noindex на странице с внешними ссылками | Накопленный вес пропадает | Заменить на постоянный редирект на близкую по смыслу страницу |
| Указание в теле страницы, а не в head | Не учитывается, страница остаётся в индексе | Перенести тег в секцию head до загрузки содержимого |
Последняя строка касается и другого случая: если мета-тег подставляется скриптом уже после загрузки страницы, он может быть не учтён. Указание должно присутствовать в исходном коде, который отдаёт сервер, — это легко проверить просмотром исходного текста страницы, а не панелью разработчика.
Как проверить, что директива работает
Если нужна помощь по теме — настройка Яндекс Директа.
Проверка обязательна: между «мы поставили noindex» и «страница ушла из выдачи» лежит несколько шагов, на каждом из которых что-то может не сработать.
- Откройте исходный код страницы и найдите указание в секции head. Именно исходный код, а не отрисованное дерево в инструментах браузера.
- Проверьте HTTP-заголовки ответа сервера: там может быть противоречащий заголовок, о котором вы не знали.
- Убедитесь, что страница не закрыта от обхода в файле директив. Это шаг, который пропускают чаще всего.
- Прогоните адрес через инструмент проверки ответа сервера в панели вебмастера — он покажет страницу глазами робота, со всеми учтёнными указаниями.
- Отправьте страницу на переобход, чтобы не ждать естественного цикла.
- Через две-три недели проверьте статус страницы в отчёте по индексированию. Исключение из индекса не мгновенное.
- Для срочных случаев используйте инструмент удаления страницы из выдачи, помня, что он даёт временный эффект и без noindex страница вернётся.
Отдельно рекомендую регулярный контроль: раз в квартал прогоняйте сайт краулером и выгружайте список всех страниц с указанием noindex. Занимает это полчаса, а находит вещи, которые иначе обнаруживаются по упавшему трафику через месяц — особенно на сайтах, где несколько человек имеют доступ к настройкам.
Смежный материал по теме — «Влияет ли домен на продвижение сайта».
Что это даёт продвижению
Аккуратное постраничное управление влияет на результат не напрямую, а через три механизма.
- Чистота индекса. Когда в поиске только страницы, которые могут быть чьим-то ответом, средняя ценность документа по сайту выше. Мусорные адреса с нулевой посещаемостью не улучшают общую картину.
- Отсутствие внутренней конкуренции. Дубли, служебные копии и результаты внутреннего поиска отбирают показы у нужных страниц и размывают вес.
- Расход ресурсов робота. Здесь работает уже файл директив: на большом сайте бесконечные комбинации фильтров съедают обход, и до новых товаров робот доходит с задержкой в недели.
- Дропшиппинг: полное руководство для бизнеса
Заметьте разделение: за чистоту индекса отвечают постраничные указания, за экономию обхода — файл в корне. На небольшом сайте разница почти не заметна. На каталоге в десятки тысяч адресов она определяет, попадут ли новые позиции в поиск в этом месяце или в следующем.
Частые вопросы
Работает ли директива Noindex в файле robots.txt? Нет. Официальной поддержки у неё нет ни у одной из систем, а Google её не понимал никогда. Файл управляет только обходом. Для исключения из индекса нужен мета-тег или HTTP-заголовок.
Почему закрытая в robots.txt страница всё равно в поиске? Потому что запрет обхода не запрещает индексацию. Система знает о странице по ссылкам и показывает её без описания. Чтобы убрать её по-настоящему, откройте обход и поставьте на страницу noindex.
Через сколько страница исчезнет из выдачи после noindex? После следующего обхода, то есть от нескольких дней до нескольких недель — зависит от того, как часто робот заходит на этот раздел. Ускорить можно запросом на переобход и, при срочности, инструментом удаления в панели вебмастера.
Что выбрать для дублей: noindex или каноническую страницу? Каноническую, если дубль должен передать вес основной странице и имеет входящие ссылки. Noindex — если страница не нужна вовсе и её вес не имеет значения. Одновременно ставить оба указания не следует.
Нужно ли закрывать страницы пагинации? Как правило нет. Их оставляют открытыми, дают уникальные заголовки с номером и не указывают первую страницу канонической для остальных. Закрытая пагинация уводит из обхода товары, которые есть только на дальних страницах.
Как закрыть от поиска PDF-файл? Только заголовком X-Robots-Tag на уровне сервера — мета-тег в файл не поставить. Одним правилом в конфигурации закрывается сразу весь тип файлов или каталог.
Защищает ли noindex конфиденциальные данные? Нет. Указание влияет только на поисковую выдачу; страница остаётся доступной каждому, кто знает адрес. Для защиты нужна авторизация на уровне сервера или приложения.
Что делать, если весь сайт внезапно выпал из поиска? Первым делом проверить исходный код на наличие noindex во всех шаблонах — чаще всего указание переезжает с тестовой площадки при выкладке. Затем проверить файл директив на запрет обхода всего сайта и посмотреть сообщения в панели вебмастера.
Коротко
- robots.txt управляет обходом, мета-тег robots и X-Robots-Tag — индексацией; они решают разные задачи и не заменяют друг друга.
- Директива Noindex внутри robots.txt не работает: надёжно убрать страницу из выдачи можно только постраничным указанием.
- Главная ловушка — закрыть страницу с noindex ещё и в файле директив: робот не зайдёт, не прочитает указание и не выполнит его.
- Для файлов, изображений и массовых правил используется заголовок X-Robots-Tag; мета-тег ставится только в HTML и только в секцию head.
- Каноническая страница и noindex — разные инструменты: первая склеивает дубли и сохраняет вес, второй выбрасывает страницу вместе с накопленным.
- После установки указание нужно проверить в исходном коде, в заголовках ответа и через инструмент проверки в панели вебмастера, а раз в квартал выгружать список всех страниц с noindex.
- Дропшиппинг: полное руководство для бизнеса
Если сайт частично выпал из индекса или в поиске висят страницы, которых там быть не должно, приходите на SEO-консультацию — разберём настройки обхода и индексации по каждому разделу и составим правильную схему.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →
Старт 
Стандарт 
Премиум 
Комментарии
Владислав Терентьев
Ловушка с двойным закрытием — про нас. Полгода не могли убрать из выдачи страницы личного кабинета, они висели без описания. Открыли обход, через три недели ушли сами. До этого перепробовали всё, кроме очевидного.
Екатерина Полозова
У нас каталог с большим количеством фильтров, комбинаций получаются тысячи. Часть из них люди действительно ищут, часть — бессмысленный набор. Как разделить, что открывать, а что закрывать, если вручную это не перебрать?
Анатолий Кузнецов автор
Вручную и не надо, разделение делается по правилу, а не по списку. Работающая схема такая. Открываете только комбинации из одного, максимум двух параметров, и только по тем параметрам, которые встречаются в запросах: обычно это категория плюс бренд, категория плюс материал, категория плюс размер. Для таких страниц обязательны свои заголовки и описания, иначе они превратятся в дубли. Всё, что содержит три и более параметра, а также сортировки, диапазоны цен и постраничную навигацию внутри фильтра — закрываете от обхода в файле директив по маске адреса, чтобы не тратить ресурс робота. Проверить, какие связки нужны, можно по статистике запросов: выгружаете спрос по категории, смотрите, какие уточнения встречаются, и открываете именно их. Список получается на удивление коротким — обычно несколько десятков связок на весь каталог.
Александр Мишин
Добавлю про тестовые площадки. У нас копия сайта попала в индекс и год конкурировала с основным сайтом по части запросов. Пароль на уровне сервера решил вопрос за неделю, а до этого пытались обойтись файлом директив.
Надежда Куликова
Вопрос про прайсы в PDF. У нас их несколько десятков, и в выдаче по некоторым запросам показывается файл, а не страница раздела. Закрывать их полностью или можно как-то направить человека на страницу?
Анатолий Кузнецов автор
Закрывать полностью я бы не спешил: раз файл показывается, значит он отвечает на запрос лучше вашей страницы, и это в первую очередь сигнал о слабости страницы. Порядок такой. Сначала посмотрите, по каким запросам показывается файл, и добавьте эти данные на обычную страницу раздела — таблицей, а не ссылкой на скачивание. Дальше решайте по каждому файлу отдельно: прайсы с ценами, которые устаревают, лучше закрыть заголовком X-Robots-Tag, потому что в выдаче они живут дольше, чем актуальны, и клиенты приходят со старыми цифрами. Технические документы и инструкции, наоборот, часто стоит оставить открытыми — по ним идёт полезный целевой трафик. И в любом случае внутри самих файлов ставьте ссылку на соответствующую страницу сайта: человек, скачавший документ из поиска, должен понимать, куда идти дальше.
Тимофей Раков
Про закрытые стили и скрипты подтверждаю. Разработчик закрыл системный каталог целиком, оценка мобильного удобства была низкой, а причину искали в вёрстке. Открыли — всё встало на место без единой правки в шаблоне.
Регина Юсупова
Не поняла до конца про пагинацию. У нас в каталоге по тридцать страниц в некоторых категориях, и все они выглядят почти одинаково. Разве они не создают дубли, если оставить их открытыми?
Анатолий Кузнецов автор
Дубли создаёт не сама пагинация, а её неправильное оформление. Страницы с разными товарами по определению разные, проблема возникает, когда на всех тридцати стоит один и тот же заголовок, одно описание и один и тот же вводный текст категории. Делайте так: к заголовку и описанию со второй страницы добавляйте номер, вводный текст категории и блок с описанием показывайте только на первой странице, а на остальных убирайте. Первую страницу не указывайте канонической для остальных — иначе товары с дальних страниц окажутся вне индекса. И проверьте, что до последней страницы можно дойти по ссылкам разумным числом переходов: если навигация устроена как «предыдущая — следующая» без номеров, робот до тридцатой страницы будет добираться долго. Само по себе сходство оформления системой давно понимается правильно.
Семён Лобанов
Совет про квартальную выгрузку списка страниц с noindex забрал в регламент. У нас три человека имеют доступ к настройкам модуля оптимизации, и однажды кто-то закрыл целую рубрику, а заметили это по трафику через полтора месяца.
Анжела Ткаченко
Нужно срочно убрать несколько страниц из выдачи, там оказались персональные данные. Инструмент удаления в панели сработал, но написано, что временно. Что делать дальше, чтобы они не вернулись?
Анатолий Кузнецов автор
Инструмент удаления действительно даёт временный эффект — он убирает страницу из показа, но не решает причину. Порядок действий при утечке персональных данных такой. Немедленно закройте сами страницы доступом: авторизация на уровне сервера или удаление содержимого — это важнее всего, потому что по прямому адресу они пока открыты каждому. Одновременно используйте инструмент удаления в обеих панелях вебмастера, чтобы убрать из показа прямо сейчас. Затем настройте постоянное решение: для страниц, которые должны остаться для своих, — авторизация и заголовок с noindex; для тех, что не нужны вовсе, — код четыреста десять, он означает удалено навсегда и обрабатывается быстрее, чем четыреста четыре. Отдельно проверьте сохранённые копии и запросите их обновление, а также поищите, не попали ли эти же данные в кэш сторонних сервисов. И обязательно найдите, как страницы вообще стали доступны роботу, — обычно это ссылка из карты сайта или из открытого раздела.
Константин Прошин
Про указание, подставляемое скриптом, — редкий, но реальный случай. У нас на одностраничном приложении мета-тег появлялся уже после отрисовки, и в исходном коде его не было. Пришлось выносить на уровень сервера.
Виолетта Самойлова
Уточните про noindex вместе с follow. Хотели закрыть от индекса раздел с архивом, но сохранить передачу веса на статьи. Судя по статье, так делать не стоит. А как тогда правильно?
Анатолий Кузнецов автор
Схема с noindex плюс follow формально допустима, но она ненадёжна как долгосрочное решение: исключённая из индекса страница со временем обходится реже, и ссылки с неё учитываются всё слабее. Строить на ней распределение веса не стоит. Правильнее решить задачу иначе. Если архив нужен людям для навигации — оставьте его открытым, но сделайте содержательным: добавьте описание периода, группировку, отличающиеся заголовки. Тогда он перестанет быть дублем и его не придётся закрывать. Если архив никому не нужен, вес на статьи должен приходить не из него, а из нормальной перелинковки: блоки похожих материалов, ссылки из основных разделов, рубрики с описаниями, ссылки из свежих статей на старые. Такая схема устойчива и не зависит от того, как ведёт себя закрытая страница. Архив в этом случае можно закрывать спокойно.
Фёдор Крутов
Таблица с задачами и инструментами стоит того, чтобы распечатать. Мы полгода ставили noindex на дубли карточек вместо канонической страницы и удивлялись, почему товары теряют позиции после наведения порядка.
Милана Асхабова
Про директиву с датой окончания не знала совсем. У нас регулярно бывают акции с фиксированным сроком, и потом эти страницы висят в поиске месяцами. Попробуем, выглядит как ровно наш случай.