Мета тег noindex

Самая дорогая ошибка, которую я разбирал за последние годы, стоила клиенту примерно четыре месяца трафика и выглядела как одна строчка в шаблоне. Разработчик выкатил обновление с тестового сервера, а вместе с ним — мета-тег noindex на всех страницах сайта. Заметили через три недели, восстанавливались до осени. Noindex — инструмент простой в написании и коварный в применении: он делает ровно одну вещь, но люди регулярно ждут от него совсем другого. Разберём, как он устроен на самом деле, чем отличается от robots.txt, что им закрывать можно, а что нельзя ни при каких обстоятельствах.

Что делает noindex и чего он не делает

Мета-тег robots размещается в секции head страницы и выглядит так: <meta name=»robots» content=»noindex»>. Он говорит поисковой системе: эту страницу в результаты поиска не включай. Всё. Больше он не делает ничего.

Чего он не делает. Не запрещает роботу заходить на страницу — наоборот, робот обязан её скачать. Не экономит краулинговый бюджет — трата на обход остаётся. Не убирает страницу мгновенно — выпадение занимает от нескольких дней до нескольких недель. Не скрывает содержимое от людей и не защищает данные — страница по-прежнему открыта всем, у кого есть адрес.

Можно адресовать директиву конкретному роботу: вместо name=»robots» указать name=»yandex» или name=»googlebot». Это нужно редко, но иногда полезно, когда правила для двух систем должны отличаться.

Отдельно про путаницу с тегом Яндекса. Много лет назад существовал нестандартный парный тег <noindex>, которым закрывали от Яндекса кусок текста внутри страницы. Он давно потерял смысл, и в 2026 году рассчитывать на него не стоит — если вы встретили его в чужом шаблоне, это признак того, что сайт не трогали с середины десятых годов.

Noindex против robots.txt: главное недоразумение

Это ключевой момент, из-за которого ломается больше всего сайтов. Директива Disallow в robots.txt запрещает роботу скачивать страницу. Мета-тег noindex запрещает показывать её в поиске. Чтобы увидеть noindex, робот должен скачать страницу — то есть Disallow должен отсутствовать.

Отсюда главная ловушка: если закрыть раздел и в robots.txt, и мета-тегом, noindex не сработает никогда. Робот не зайдёт, тега не увидит, а страница при этом может остаться в выдаче — по внешним ссылкам, с пустым или сгенерированным описанием. Люди в такой ситуации усиливают запрет в robots.txt, и становится только хуже.

Признак	Disallow в robots.txt	Мета-тег noindex
Что запрещает	Скачивание страницы	Показ страницы в результатах поиска
Робот заходит на страницу	Нет	Да, обязательно
Гарантия исключения из выдачи	Нет, страница может попасть по ссылкам	Да, после обхода
Экономия краулингового бюджета	Да	Нет
Передача веса по ссылкам со страницы	Нет, страница не читается	Ссылки читаются, если не указан nofollow
Скорость применения	С ближайшего обхода robots.txt	После переобхода страницы, дни-недели
Работает для не-HTML файлов	Да	Нет, нужен X-Robots-Tag

Правильная последовательность, если раздел уже в индексе и его надо убрать: сначала убираем запрет из robots.txt, ставим noindex, ждём переобхода и выпадения страниц, и только потом, если нужно, возвращаем Disallow, чтобы не тратить бюджет обхода. Порядок нарушать нельзя.

X-Robots-Tag: когда мета-тега недостаточно

Мета-тег живёт в HTML. Если закрыть надо PDF, изображение, XML или любой другой файл без head, писать в нём нечего. Для этого существует HTTP-заголовок X-Robots-Tag со значением noindex — он отдаётся сервером вместе с ответом и работает для любого типа контента.

Заголовок настраивается в конфигурации сервера или через код на стороне приложения. Практических сценариев три: закрыть прайсы и коммерческие предложения в PDF, закрыть служебные файлы выгрузок, массово закрыть большую группу адресов по маске, когда править шаблоны неудобно.

У заголовка есть тихая опасность: он не виден при просмотре кода страницы. Я не раз находил сайты, где раздел годами не индексировался, а причину искали в контенте, потому что в HTML всё было чисто. Проверять надо ответ сервера, а не только исходный код.

Если мета-тег и заголовок противоречат друг другу, поисковики применяют более строгое ограничение. То есть один noindex где угодно перевесит все indexfollow в других местах.

Есть ещё третий способ управлять индексацией, о котором забывают: HTML-атрибут data-nosnippet и разметка отдельных фрагментов. Он не убирает страницу из выдачи, а лишь исключает кусок текста из сниппета. Путать его с noindex не стоит, но он полезен, когда в сниппет упорно попадает служебная строка вроде «Товара нет в наличии» и портит кликабельность.

Комбинации директив: noindex, nofollow, none

Значение content	Что означает	Когда применяют
index, follow	Индексировать и переходить по ссылкам	Поведение по умолчанию, писать не обязательно
noindex	Не индексировать, по ссылкам переходить	Основной рабочий вариант для служебных страниц
noindex, nofollow	Не индексировать и не переходить по ссылкам	Личный кабинет, оформление заказа, полностью изолированные разделы
none	То же, что noindex, nofollow	Сокращённая запись, поддерживается не везде одинаково
noarchive	Не показывать сохранённую копию	Часто меняющийся контент, цены
nosnippet	Не показывать описание в сниппете	Редко, обычно вредит CTR

Практическое правило: по умолчанию ставьте просто noindex, без nofollow. Добавляя nofollow, вы обрываете передачу веса по всем ссылкам со страницы — а на служебных страницах вроде фильтров каталога есть ссылки на нужные разделы. Nofollow оправдан только там, где страница действительно ни на что полезное не ведёт.

Noindex, canonical или 404: что выбрать

Половина обращений «поставьте нам noindex» на деле решается другим инструментом. Выбор зависит от того, что за страница и что должно случиться с её ссылочным весом.

Ситуация	Правильное решение	Почему не noindex
Дубль страницы с параметрами сортировки	rel=canonical на основную	Canonical склеивает вес, noindex его теряет
Пагинация каталога	Оставить в индексе, самоканоникал	Закрытие пагинации мешает обходу товаров
Страница удалённого товара навсегда	410 или 404, либо 301 на аналог	Noindex оставляет мёртвый адрес в обходе
Временно отключённый раздел	503 с датой возврата	Noindex воспримется как постоянное решение
Страница результатов поиска по сайту	noindex	Здесь noindex как раз уместен
Технический дубль на поддомене	301 на основной домен	Редирект переносит вес, noindex — нет
Страница с чувствительными данными	Авторизация или пароль на уровне сервера	Noindex не защищает, страница остаётся открытой

Разница между canonical и noindex в одном предложении: canonical говорит «считай главной вон ту страницу и передай ей вес», noindex говорит «просто убери эту из поиска». Если у страницы есть внешние ссылки или она сама по себе полезна пользователю, почти всегда правильнее canonical или редирект.

Что закрывать имеет смысл

Страницы результатов внутреннего поиска. Их количество бесконечно, ценности для поиска ноль, и они генерируют мусорные адреса.

Служебные страницы: корзина, оформление заказа, личный кабинет, страницы благодарности после отправки формы. Отдельно про «спасибо»: если такая страница попадёт в индекс, вы получите фантомные конверсии в аналитике от людей, зашедших туда из поиска.

Технические дубли, которые нельзя закрыть канониклом: версии для печати, черновики, тестовые копии шаблонов.

Комбинации фильтров каталога, под которые нет спроса. Здесь нужна аккуратность: страницы вида «красные диваны в Москве» часто имеют спрос и должны быть открыты, а вот «красные диваны от 12 000 до 13 500 рублей с доставкой во вторник» — нет.

Пустые страницы категорий без товаров, теги и метки блога, созданные автоматически, архивы по дням и авторам в типовых движках.

PDF-дубли страниц сайта — прайсы, инструкции, если их содержимое повторяет то, что уже есть в HTML. Здесь работает X-Robots-Tag.

Что закрывать нельзя

Пагинацию каталога. Одна из самых распространённых и вредных рекомендаций, кочующая по старым статьям. Через страницы пагинации робот добирается до товаров. Закрыв их, вы отрезаете значительную часть каталога от обхода.

Страницы фильтров, под которые есть спрос. Это часто основной источник низкочастотного трафика в интернет-магазинах, и закрывать их скопом — значит вручную отдать конкурентам целый пласт запросов.

Страницы с уникальным контентом, которые «не про продажи». Раздел с сертификатами, страница о компании, вакансии — они формируют доверие и участвуют в оценке качества сайта.

Ничего из того, что участвует в перелинковке как узел. Если через страницу проходит путь робота к другим важным разделам, noindex сам по себе не смертелен, но связка noindex, nofollow разрывает граф.

Страницы, которые приносят трафик. Звучит очевидно, но перед закрытием любого раздела обязательно проверьте, есть ли у него визиты из поиска за последний год. Я видел, как «мусорный» раздел, приговорённый по формальному признаку, давал восьмую часть заявок.

Отзывы и пользовательский контент. Периодически встречаю рекомендацию закрывать отзывы, «потому что там неуникальный текст и ошибки». На деле это один из немногих блоков, который выделяет сайт среди одинаковых карточек товара, и по низкочастотным формулировкам из отзывов приходит живой трафик.

Карточки товаров, которых временно нет в наличии. Правильное решение — оставить страницу открытой, честно указать статус и предложить аналоги. Если закрыть её на месяц, а потом открыть, позиции придётся набирать заново, и на популярных позициях это месяцы работы впустую.

Массовое закрытие: как роняют сайты

Практически все крупные аварии с noindex — это не одна страница, а шаблон. Список типовых сценариев, которые я встречал.

Тестовый сервер выкатили в продакшн вместе с закрывающим тегом. Классика. Защита простая: на боевом сервере отдельная проверка, а перед каждым релизом — контроль наличия noindex на главной.

Плагин или галочка в админке «закрыть от индексации» — во многих движках есть переключатель, который ставит noindex на весь сайт. Его случайно включают при переносе.

Автоматическое правило по маске адреса, написанное слишком широко. Хотели закрыть /search/, закрыли всё, что содержит слово search, включая раздел с услугой.

Закрытие «дублей» по формальному признаку без проверки трафика. Массовая выгрузка похожих заголовков и оптовое закрытие — самый быстрый способ потерять низкочастотку.

Одновременная постановка noindex и Disallow. Уже разбирали: страницы зависают в подвешенном состоянии, из индекса не уходят, управление ими теряется.

Правило, которого я придерживаюсь: любое массовое изменение индексации выкатывается на выборке в 5–10% страниц, результат проверяется через две-три недели по Вебмастеру, и только потом применяется ко всему сайту. Стоимость этой осторожности — три недели. Стоимость ошибки — квартал трафика.

Как проверить и сколько это стоит

Проверка одной страницы: смотрите исходный код и ищите meta name robots, отдельно смотрите ответ сервера на наличие X-Robots-Tag. В Яндекс Вебмастере есть проверка ответа сервера, где видно и заголовки, и содержимое head. В Google Search Console проверка URL показывает, что именно робот увидел при последнем обходе.

Проверка всего сайта: краулер вроде Screaming Frog, Netpeak Spider или отечественных аналогов обходит сайт и выводит список страниц с директивами индексации. Лицензии стоят примерно от 8 000 до 25 000 ₽ в год. Дальше сверяете этот список с отчётом «Страницы в поиске» в Вебмастере и с данными Метрики по трафику — так вы увидите закрытые страницы, которые приносят визиты.

Регулярный контроль: раз в месяц выгружайте список страниц с noindex и сравнивайте с прошлым месяцем. Появление новых записей без вашего ведома — сигнал, что кто-то что-то выкатил.

По деньгам: аудит индексации у подрядчика — 15 000–50 000 ₽ в зависимости от размера сайта; настройка правил индексации силами разработчика — обычно 5–15 часов работы, то есть 15 000–60 000 ₽. Разовая проверка своими руками бесплатна и занимает час.

Чеклист перед тем, как поставить noindex. Проверьте трафик страницы за год. Убедитесь, что нет более подходящего инструмента — canonical, редиректа или 410. Уберите Disallow, если он есть. Не добавляйте nofollow без нужды. Выкатите на выборке. Через две недели проверьте, что нужные страницы ушли, а ненужные остались на месте. И убедитесь, что главная и ключевые разделы по-прежнему открыты.

Ошибки закрытия страниц от индексации лечит техническая доработка. Найти их можно через бесплатный аудит.

Коротко

Noindex убирает страницу из выдачи, но не запрещает обход и не экономит краулинговый бюджет. Чтобы тег сработал, робот обязан скачать страницу — значит, одновременный Disallow в robots.txt его отменяет; это главная и самая частая ошибка. Для файлов без HTML используйте заголовок X-Robots-Tag, но помните, что он не виден в коде страницы. По умолчанию ставьте просто noindex, без nofollow, иначе обрываете передачу веса. Половина задач решается не noindex, а канониклом, редиректом или кодом 410 — выбирайте по тому, что должно случиться с весом страницы. Закрывать стоит внутренний поиск, корзину, страницы благодарности, бесспросные фильтры и технические дубли. Нельзя закрывать пагинацию, спросовые фильтры и всё, что приносит трафик. Любое массовое изменение выкатывайте на выборке 5–10% и проверяйте результат через две-три недели.

Если нужно заказать SEO-продвижение — помогу вывести сайт в топ Яндекса и удержать позиции.