Мета тег noindex

Мета тег noindex убирает страницу из поиска быстрее любого другого способа — и ровно так же быстро обнуляет трафик всего сайта, если строка уехала в продакшн вместе с шаблоном тестового сервера. Замечают это обычно через месяц-полтора, когда позиции уже просели, а страницы вылетели из индекса. Восстановление занимает недели, потому что вернуть страницу в индекс всегда дольше, чем её оттуда убрать.

Ниже — как тег устроен, чем он принципиально отличается от запрета в robots.txt, в каких случаях его применяют, где он вредит, как его поставить тремя разными способами и как убедиться, что он действительно работает так, как вы задумали.

Что делает тег и где он живёт

Указание располагается в разделе head страницы и адресовано поисковым роботам:

<meta name="robots" content="noindex">

Ключевое, что нужно понять сразу: робот при этом страницу загружает и читает. Иначе он просто не увидел бы указание. Тег не запрещает обход — он запрещает включение в индекс. Разница выглядит теоретической ровно до момента, когда вы попытаетесь сэкономить краулинговый бюджет с помощью noindex и обнаружите, что робот ходит по этим страницам так же прилежно, как раньше.

Обращаться можно ко всем роботам сразу через name="robots" или к конкретному — например, name="yandex" или name="googlebot". Адресное обращение нужно редко: обычно логика запрета одинакова для всех систем, а расхождение создаёт лишний источник ошибок.

Значения и их сочетания

В атрибуте content перечисляются директивы через запятую. Практический смысл имеют не все.

Значение	Что означает	Когда применяют
noindex	Не включать страницу в индекс	Основной запрет: служебные разделы, страницы благодарности, результаты внутреннего поиска
nofollow	Не переходить по ссылкам со страницы	Почти не нужен: обрывает распределение веса и мешает роботу находить материалы
noindex, follow	Не индексировать, но по ссылкам ходить	Рабочий вариант для служебных страниц, с которых ведут ссылки на нужные разделы
noindex, nofollow	Полная изоляция страницы	Тестовые контуры, закрытые разделы, куда роботу заходить незачем вообще
index, follow	Значение по умолчанию	Писать не нужно: отсутствие тега означает ровно это
noarchive	Не показывать сохранённую копию	Страницы с часто меняющимися ценами и условиями
nosnippet	Не показывать текстовый фрагмент в выдаче	Крайне редко: обычно ухудшает кликабельность сильнее, чем защищает контент

Отдельно про index, follow: этот набор встречается в шаблонах чаще всего и не делает ничего. Его пишут для успокоения, а не для эффекта. Робот и без указания считает страницу разрешённой к индексации.

Тему разбирал отдельно: «Как написать мета-теги для SEO».

Чем noindex отличается от запрета в robots.txt

Это главная путаница в теме, из-за которой запреты годами не работают, а владелец сайта уверен, что всё закрыто.

Признак	Мета-тег noindex	Disallow в robots.txt
Что запрещает	Попадание страницы в индекс	Обход страницы роботом
Робот загружает страницу	Да	Нет
Надёжность исключения из поиска	Высокая	Низкая: адрес может попасть в выдачу по внешним ссылкам
Краулинговый бюджет	Тратится	Экономится
Передача веса по ссылкам	Возможна при follow	Не передаётся
Область применения	Отдельные страницы	Целые разделы и типы адресов по маске
Скорость реакции поиска	После следующего обхода страницы	После обновления файла роботом

Помогу с продвижением: продвижение сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Из таблицы следует правило, которое нарушают чаще всего: нельзя одновременно закрывать страницу в robots.txt и ставить на неё noindex. Запрет обхода делает мета-тег невидимым — робот не заходит на страницу и не может прочитать указание. В результате адрес продолжает висеть в выдаче, иногда с пометкой о том, что описание недоступно из-за ограничений в файле.

Если страница уже в индексе и её нужно оттуда убрать, порядок такой: сначала снимаете запрет в robots.txt, ставите noindex, дожидаетесь, пока страницы выпадут, и только потом при желании возвращаете запрет обхода для экономии бюджета.

Когда тег действительно нужен

Список ситуаций, где noindex — правильный инструмент, а не костыль:

• Служебные страницы личного кабинета: корзина, оформление заказа, история заказов, страницы авторизации. Пользы в поиске от них нет, а дубли они плодят исправно.
• Страницы благодарности после отправки формы. Их попадание в индекс не только бессмысленно, но и портит статистику: часть людей заходит на них напрямую из поиска, и система целей начинает считать несуществующие заявки.
• Результаты внутреннего поиска. Каждый ввод пользователя порождает адрес, поиск начинает индексировать их пачками, и в выдаче появляются страницы с текстом «ничего не найдено».
• Комбинации фильтров без собственного спроса. Фильтр «красные кроссовки 43 размера со скидкой» никто не ищет отдельным запросом. Такие сочетания закрывают, а те, у которых спрос есть, наоборот, превращают в полноценные посадочные страницы.
• Технические страницы: версии для печати, страницы сравнения товаров, служебные разделы административной части.
• Тестовые контуры и черновые копии. Здесь тег обязателен — и здесь же его чаще всего забывают снять при переносе на боевой домен.
• Устаревшие материалы, которые жалко удалять из-за внешних ссылок, но которым не место в поиске: новости десятилетней давности, объявления о прошедших мероприятиях, снятые с производства позиции без замены.
• Страницы с тонким содержанием, которые в принципе не могут ответить ни на один запрос: карточки без описаний, автоматически созданные разделы с одной строкой текста.

Когда тег вредит

Ситуации, где noindex ставят по инерции и теряют трафик:

• Страницы пагинации. Их лучше оставить открытыми: через них робот находит карточки, лежащие в глубине каталога. Закрыв вторую и последующие страницы списка, вы отрезаете роботу дорогу к части ассортимента.
• Дубли, у которых уже есть канонический адрес. Достаточно одного указания. Совмещение канонического адреса с noindex даёт роботу противоречивый сигнал, и иногда из индекса выпадает как раз основная страница.
• Разделы тегов и меток в блоге, если они собраны по смыслу и имеют описания. Такие страницы нередко приносят трафик по среднечастотным запросам лучше отдельных статей.
• Категории каталога с фильтрами, под которые есть спрос. Каждая закрытая страница такого типа — потерянная точка входа.
• Карточки временно отсутствующих товаров. Убирать их из индекса ради «чистоты» — значит терять накопленные позиции, которые потом придётся набирать заново.

Общее правило: перед тем как закрыть страницу, проверьте по данным поиска, приносит ли она переходы сейчас. Тег ставят на страницы без спроса, а не на страницы, которые кажутся некрасивыми.

Смежный материал по теме — «Мета-тег Robots и файл robots.txt».

Три способа поставить запрет

Способ выбирается по типу содержимого и по тому, есть ли доступ к шаблонам.

1. Мета-тег в HTML. Основной вариант для обычных страниц. Ставится в head, читается всеми системами. Важно, чтобы он попал именно в head: тег, оказавшийся в теле страницы из-за ошибки вёрстки, игнорируется.
2. Заголовок ответа сервера X-Robots-Tag. Единственный способ закрыть то, что не является HTML: файлы PDF, документы, изображения, архивы. Настраивается на уровне сервера и позволяет закрывать целые типы файлов по маске.
3. Средства системы управления. В популярных движках запрет включается галочкой в настройках страницы или SEO-модуля. Удобно, но опасно: настройка может стоять на уровне всего сайта, и её случайное включение закрывает всё сразу.

Для сайтов на популярных движках есть отдельная общая настройка «просить поисковые системы не индексировать сайт». Она включается одной галочкой при разработке и остаётся включённой после запуска примерно в каждом десятом проекте, который я открываю впервые.

Механика запретов и индексации коротко и по делу:

14:31

Как проверить, что всё работает

Поставить тег недостаточно — нужно убедиться, что робот видит именно то, что вы задумали. Порядок проверки:

1. Исходный код глазами. Откройте страницу, посмотрите исходный код и найдите строку с name="robots". Смотреть надо именно исходный код, а не отображаемую страницу: часть тегов подставляется скриптами, и в готовом коде их может не быть.
2. Ответ сервера. В Вебмастере есть инструмент проверки ответа сервера — он показывает и код ответа, и заголовки, включая X-Robots-Tag. Так проверяются файлы и нестандартные случаи.
3. Проверка обхода. Инструменты для вебмастеров показывают страницу глазами робота. Если тег подставляется скриптом, а робот получает страницу без него, вы увидите это именно здесь.
4. Статус в индексе. Через несколько недель проверьте, исчезла ли страница из поиска. Мгновенного выпадения не бывает: роботу нужно зайти на страницу, прочитать указание и обновить данные.
5. Массовая проверка краулером. Любой настольный краулер выгружает весь сайт со значениями мета-тега. Один прогон показывает все страницы, закрытые случайно, — и это лучшее применение инструмента для нового проекта.

Аварии, которые повторяются чаще всего

Из десяти проектов, которые я открываю впервые, примерно у одного находится непреднамеренный запрет индексации. Сценарии повторяются почти дословно.

• Перенос с тестового сервера целиком. Разработчик закрыл тестовую версию от индексации, а при переносе на боевой домен скопировал шаблон вместе с тегом. Сайт открыт, красив и полностью невидим.
• Галочка в настройках движка. Включена при разработке, забыта при запуске. Внешне не проявляется ничем: ни в интерфейсе, ни в поведении сайта.
• Запрет на уровне типа записей. В SEO-модуле закрыт целый тип контента — например, все карточки товаров или все статьи блога. Владелец видит, что главная в индексе, и не подозревает о проблеме.
• Комбинация с robots.txt. Раздел закрыт от обхода, а на страницах стоит noindex. Робот не читает тег, адреса продолжают висеть в выдаче, и владелец год воюет с невидимым противником.
• Тег вне head. Из-за ошибки в шаблоне указание оказалось в теле страницы. Формально оно есть, фактически не работает, а на скриншоте для отчёта выглядит убедительно.

Профилактика простая: раз в квартал прогоняйте сайт краулером и смотрите столбец с директивами. Это занимает двадцать минут и ловит проблему до того, как она обойдётся в месяцы восстановления.

Если нужны детали, смотрите «Изменения в отображении мета-заголовка — обновление алгоритма Google».

Что делать, если страницы выпали по ошибке

Обнаружили лишний запрет — дальше важна последовательность, потому что возврат в индекс идёт медленнее выпадения и торопливые действия его не ускоряют.

1. Снимите запрет и убедитесь, что он действительно снят. Проверьте исходный код нескольких страниц разных типов: главной, категории, карточки, статьи. Часто тег убирают в одном шаблоне из трёх, и половина сайта остаётся закрытой.
2. Проверьте сопутствующие ограничения. Вместе с тегом на тестовых версиях обычно живут закрытие сайта паролем, запрет в robots.txt и заголовки ответа сервера. Снимать нужно всё сразу, иначе робот упрётся в следующий барьер.
3. Отправьте на переобход приоритетные страницы. В панели для вебмастеров есть лимит адресов в сутки — тратьте его на то, что приносит деньги: главная, ключевые категории, посадочные страницы услуг. Глубокие карточки робот подберёт сам.
4. Обновите карту сайта и дату изменения. Робот ориентируется на дату последнего изменения; если она не менялась, обход в приоритет не встанет.
5. Наблюдайте по отчёту страниц в поиске, а не по позициям. Сначала растёт число проиндексированных адресов, потом появляются показы, и только затем позиции. Если вы смотрите только позиции, вам будет казаться, что ничего не происходит.
6. Заложите срок. Небольшой сайт возвращается за две-четыре недели, крупный каталог — за два-три месяца. Дополнительные правки в этот период только мешают: вы не сможете отделить эффект восстановления от эффекта своих новых действий.

Отдельно про ожидания. Страница, пробывшая вне индекса полгода, возвращается не на прежнее место: за это время её позиции заняли конкуренты, а накопленные поведенческие сигналы обнулились. Планируйте не восстановление, а повторный набор.

Частые вопросы

Как быстро страница выпадает из поиска после установки тега?
Сроки зависят от того, как часто робот заходит на конкретную страницу. Популярные разделы обходятся ежедневно, глубокие карточки — раз в несколько недель. В среднем выпадение занимает от нескольких дней до месяца. Ускорить можно, отправив страницу на переобход в панели для вебмастеров — робот придёт быстрее и увидит указание раньше.

Что выбрать: noindex или удаление страницы с кодом 404?
Зависит от того, нужна ли страница людям. Если содержимое актуально для посетителей, но не должно быть в поиске, — noindex. Если страница не нужна никому, лучше удалить: 404 честнее и не тратит краулинговый бюджет. Если у страницы есть внешние ссылки и близкий по смыслу заменитель, правильнее всего перенаправление на этот заменитель.

Передаёт ли закрытая страница ссылочный вес?
При значении noindex, follow робот проходит по ссылкам и вес распределяется дальше. Именно поэтому этот набор предпочтителен для служебных страниц, которые связаны с полезными разделами. При noindex, nofollow страница становится тупиком, и весь пришедший на неё вес теряется.

Можно ли закрыть от индексации часть текста на странице?
Раньше для этого существовал парный тег, поддерживавшийся одной из систем; сегодня опираться на него не стоит. Если фрагмент не должен попадать в поиск, его либо выносят на отдельную закрытую страницу, либо подгружают скриптом, либо, что чаще всего правильнее, вообще убирают — текст, который не должен видеть поиск, обычно и людям не нужен.

Влияет ли большое количество закрытых страниц на оценку сайта?
Прямого понижения за это нет, но косвенный эффект есть: робот тратит бюджет на обход страниц, которые никогда не появятся в выдаче. На небольшом сайте это незаметно, на крупном каталоге с сотнями тысяч адресов — существенно. В таких случаях запрет обхода в robots.txt для целых типов адресов работает лучше, чем поштучный noindex.

Коротко

• Тег запрещает включение страницы в индекс, но не запрещает обход — робот страницу всё равно загружает и читает.
• Совмещать noindex с запретом в robots.txt нельзя: закрытую от обхода страницу робот не прочитает и указание не увидит.
• Для служебных страниц лучший вариант — noindex, follow: страница из поиска уходит, а вес по ссылкам продолжает распределяться.
• Не закрывайте пагинацию, дубли с каноническим адресом и разделы, под которые есть спрос: это прямая потеря точек входа.
• Файлы вне HTML закрываются только заголовком ответа сервера X-Robots-Tag.
• Самая частая авария — перенос тестового шаблона на боевой домен вместе с запретом; ловится квартальным прогоном краулера за двадцать минут.

Если сомневаетесь, не закрыто ли у вас лишнее, и хотите понять, где сайт теряет страницы, приходите на SEO-консультацию — проверим индексацию, разберём директивы и наметим порядок исправлений.