Теги nofollow и noindex

Теги nofollow и noindex до сих пор путают между собой чаще, чем любую другую пару в техническом SEO. Их ставят вместе «на всякий случай», закрывают ими то, что закрывать не нужно, и оставляют открытым то, что действительно мешает. При этом за прошедшие годы механика обоих заметно изменилась: один из них перестал существовать в том виде, в каком его описывают старые инструкции, второй превратился в набор из трёх разных атрибутов с разным смыслом.

Ниже — что каждый из них делает сегодня, чем отличается запрет обхода от запрета индексации, где эти инструменты действительно нужны и какие типовые ошибки в их применении встречаются на сайтах чаще всего.

Две разные задачи, которые постоянно смешивают

Начинать нужно с разделения, без которого дальнейшее не имеет смысла. У поисковой системы есть два независимых действия по отношению к странице: обойти её (скачать содержимое) и включить в индекс (сделать доступной для показа в выдаче). Это не одно и то же, и управляются они разными инструментами.

• Обход регулируется файлом robots.txt. Запрет там означает: «не скачивай эту страницу». Робот не увидит её содержимого, включая любые указания внутри неё.
• Индексация регулируется метатегом robots в коде страницы или заголовком ответа сервера. Запрет означает: «скачай, прочитай, но в выдачу не включай».
• Передача веса по ссылке регулируется атрибутом rel у самой ссылки. Это указание не про страницу, а про конкретный переход с неё на другую.

Отсюда следует правило, которое ломает большинство привычных схем: страницу, которую нужно убрать из выдачи гарантированно, нельзя закрывать в robots.txt. Робот не зайдёт внутрь, не увидит там запрет на индексацию и вполне может показать адрес в выдаче — например, если на него ссылаются другие сайты. Правильный порядок обратный: страница остаётся открытой для обхода, а внутри неё стоит запрет индексации.

Что стало с тегом noindex

Здесь важно развести два разных инструмента, которые называются одинаково.

Парный тег <noindex> внутри текста — нестандартная конструкция, которую в своё время поддерживал только Яндекс. Он позволял закрыть от индексации кусок текста на странице: счётчик, чужую цитату, служебный блок. Этот инструмент поддерживать перестали, он не входит ни в один стандарт вёрстки и на современных сайтах не работает. Если вы встретили его в шаблоне доставшегося вам сайта — это след старых работ, и удалить его можно без последствий.

Метатег robots со значением noindex — работающий и основной инструмент. Он ставится в шапку страницы и выглядит так:

<meta name="robots" content="noindex, follow">

Значение noindex запрещает включать страницу в индекс. Значение follow при этом разрешает роботу пройти по ссылкам с неё дальше — то есть страница не показывается в выдаче, но остаётся частью маршрута обхода. Сочетание noindex, follow — рабочий вариант для служебных страниц, которые нужны для навигации, но не нужны в поиске.

То же самое можно отдать заголовком ответа сервера: X-Robots-Tag: noindex. Это единственный способ закрыть от индексации файл, у которого нет HTML-кода, — PDF, документ, изображение. Настраивается на стороне сервера и работает так же, как метатег.

Подробнее об этом — в статье «Мета теги для продвижения сайта».

Отдельно стоит помнить: чтобы запрет сработал, робот должен его прочитать. Значит, страница обязана быть открыта в robots.txt, отдавать код 200 и не быть закрытой авторизацией. Комбинация «запрет в robots.txt плюс noindex внутри» бессмысленна: первый запрет не даёт увидеть второй.

Атрибут rel: nofollow и то, что появилось после него

Атрибут rel="nofollow" ставится у конкретной ссылки и говорит поисковой системе не учитывать её как рекомендацию. Изначально он вводился для борьбы со спамом в комментариях: чтобы ссылка, оставленная кем угодно, не передавала авторитет сайта.

Помогу с продвижением: SEO-продвижение от Анатолия Кузнецова — вывожу сайты в топ Яндекса белыми методами.

Со временем одного значения стало мало, и появилось разделение:

• rel="nofollow" — общее указание не учитывать ссылку. Осталось как универсальный вариант.
• rel="ugc" — ссылка из пользовательского контента: комментарии, отзывы, форум. Говорит, что содержимое создано посетителями, а не редакцией.
• rel="sponsored" — рекламная или оплаченная ссылка. Нужна для честной маркировки платных размещений.

Значения можно комбинировать: rel="nofollow sponsored" — корректная запись для оплаченной ссылки, если нужна и общая пометка, и уточнение.

Принципиальное изменение в трактовке: раньше атрибут воспринимался как жёсткая директива, сегодня поисковые системы рассматривают его как подсказку. Робот может пройти по такой ссылке и учесть её при построении картины связей, если сочтёт нужным. Практический вывод простой: nofollow больше не гарантия того, что адрес не будет обойдён. Для управления обходом есть robots.txt, для управления индексацией — метатег.

Три инструмента и разница между ними

Сводная картина, к которой стоит возвращаться при любых спорах о том, чем закрывать:

Инструмент	Что делает	Страница обходится	Страница в выдаче	Вес по ссылкам
Disallow в robots.txt	Запрещает скачивать страницу	Нет	Может попасть по внешним ссылкам	Не передаётся, теряется
meta robots noindex, follow	Убирает из выдачи, оставляет маршрут	Да	Нет	Проходит дальше по ссылкам
meta robots noindex, nofollow	Убирает из выдачи и обрывает маршрут	Да	Нет	Не идёт дальше
X-Robots-Tag: noindex	То же для файлов без HTML	Да	Нет	Неприменимо
rel=»nofollow» у ссылки	Просит не учитывать конкретную ссылку	Целевая страница может обходиться	Зависит от её собственных настроек	Не передаётся
rel=»canonical»	Указывает основную версию среди дублей	Да	Показывается основная версия	Собирается на основной версии

Из таблицы видна самая частая практическая ошибка. Чтобы страница гарантированно исчезла из выдачи, нужен метатег, а не строка в robots.txt. И наоборот: чтобы робот не тратил квоту обхода на тысячи адресов с параметрами, нужен robots.txt, потому что метатег он прочитает только после того, как страницу скачает, — квота уже израсходована.

Где nofollow действительно нужен

Список сузился, но не исчез:

Тему разбирал отдельно: «Мета теги для SEO».

• Оплаченные размещения. Любая ссылка, за которую заплатили вам или заплатили вы, должна быть помечена как sponsored. Это не перестраховка, а требование к честной маркировке; непомеченные платные ссылки — типовой повод для санкций.
• Пользовательский контент. Комментарии, отзывы, профили, форум. Здесь работает ugc: вы не отвечаете за то, куда ведут ссылки, оставленные посетителями.
• Ссылки на страницы, которых не должно быть в поиске. Личный кабинет, корзина, страница входа, сравнение товаров. Хотя надёжнее закрывать их метатегом на самой странице.
• Внешние ссылки на источники сомнительного качества. Если вы цитируете спорный ресурс, чтобы разобрать его утверждения, помечать ссылку разумно.

Во всех остальных случаях обычная ссылка без атрибутов — правильный вариант. Ссылки на нормальные внешние источники не «утекают» и не вредят: наоборот, они показывают, что материал опирается на что-то, кроме собственного мнения автора.

Отдельный случай — обмен ссылками и размещения у партнёров. Если размещение бесплатное и содержательное, ссылку помечать не нужно. Если за него заплачено деньгами, товаром или встречной услугой, метка sponsored обязательна независимо от формы оплаты. Практическое различие простое: спросите себя, появилась бы эта ссылка, если бы обмена не было. Отрицательный ответ означает, что размещение оплаченное.

Ещё одна ситуация, которую регулярно решают неправильно, — ссылки в скачиваемых материалах и виджетах сторонних сервисов. Виджет чата, карта, форма записи, лента отзывов часто вставляют в страницу свои ссылки, о которых владелец сайта не знает. Проверить это можно обходом краулера с включённым выполнением скриптов: в отчёте по исходящим ссылкам сразу видно адреса, которых вы не ставили. Помечать их атрибутом обычно нельзя — код чужой, — зато можно решить, нужен ли этот виджет вообще.

Где его ставят зря

Блок находок, которые встречаются на сайтах регулярно:

• Скульптурирование веса внутри сайта. Идея закрыть часть внутренних ссылок, чтобы «сэкономленный» вес достался важным страницам, не работает уже давно: закрытая доля не перераспределяется, а просто теряется. Если адрес не должен получать вес — не ставьте на него ссылку из шаблона.
• Закрытие всех внешних ссылок подряд. Сайт без единой открытой исходящей ссылки выглядит неестественно, а пользы от такой экономии нет.
• Атрибут на ссылках в меню и подвале. Иногда встречается в шаблонах: часть навигации закрыта, часть нет, логика утеряна вместе с разработчиком.
• Использование как замены запрета индексации. Закрытая ссылка не мешает целевой странице попасть в выдачу — она попадёт с другого адреса или по внешней ссылке.
• Одновременно nofollow, noindex в метатеге и Disallow в robots.txt. Тройная защита, из которой работает только последняя, и она же мешает роботу увидеть первые две.

Отдельно про блог: закрывать атрибутом внутренние ссылки на теги и архивы бесполезно. Если эти страницы не нужны в поиске, ставьте на них noindex, follow, а по возможности вообще уберите из шаблона блок, который их генерирует. Сотня ссылок на архивы по месяцам не приносит переходов и растаскивает обход.

Как правильно убрать страницу из поиска

Порядок действий, если раздел или страница не должны показываться в выдаче:

1. Проверить, что адрес открыт в robots.txt. Если он там закрыт — снять запрет, иначе робот не увидит дальнейших указаний.
2. Поставить в код страницы <meta name="robots" content="noindex, follow">. Значение follow оставляем, чтобы обход по ссылкам с этой страницы не прерывался.
3. Убрать адрес из карты сайта. Присутствие закрытой страницы в карте — противоречивый сигнал.
4. Проверить внутренние ссылки. Если на страницу ведут ссылки из меню и текстов, а она закрыта — вес уходит в тупик. Ссылки лучше снять.
5. Дождаться переобхода. Страница выпадет из выдачи после того, как робот заново её скачает и прочитает запрет. Это занимает от нескольких дней до нескольких недель.
6. Ускорить процесс, отправив адрес на переобход в Вебмастере и Search Console, а при срочности — воспользоваться инструментом удаления из выдачи. Он даёт временный эффект, постоянный обеспечивает именно метатег.
7. Только после выпадения можно закрыть раздел в robots.txt, если нужно ещё и сэкономить квоту обхода.

Последний пункт — тот, на котором ошибаются чаще всего. Порядок «сначала noindex, дождаться выпадения, потом Disallow» работает. Порядок «сразу закрыть в robots.txt» оставляет адреса в выдаче на неопределённый срок, потому что робот больше не может прочитать запрет.

Как проверить, что запреты работают

Проверка занимает несколько минут и делается по каждому изменённому разделу:

Смежный материал по теме — «Мета теги для SEO продвижения сайта».

• Исходный код страницы. Откройте её и найдите в шапке метатег robots. Проверять надо именно отрисованный код, если содержимое собирается скриптом.
• Заголовки ответа сервера. Если запрет ставится через X-Robots-Tag, он виден во вкладке сети в консоли браузера, а не в HTML.
• Инструмент проверки robots.txt в Вебмастере. Вводите конкретный адрес и смотрите, разрешён он к обходу или нет. Догадываться по маскам не нужно — инструмент отвечает точно.
• Проверка страницы в Search Console. Показывает, как Google видит адрес: проиндексирован, исключён по noindex, заблокирован в robots.
• Раздел исключённых страниц в Вебмастере. Через одну-две недели после правки закрытые адреса появляются там с указанием причины.
• Обход краулером. Даёт общую картину: сколько адресов на сайте закрыто метатегом, сколько — в robots.txt, нет ли среди них тех, что закрыты по ошибке.

Последний пункт стоит делать даже без повода. Типичная находка при первом полном обходе — забытый noindex на нужном разделе, оставшийся с этапа разработки. Пока страниц нет в поиске, клиенты, которые ищут в Яндексе, находят конкурентов, и никакая работа над текстами этого не компенсирует.

Частые вопросы

Работает ли ещё парный тег noindex в тексте?
Нет. Это была нестандартная конструкция, поддержку которой прекратили. В современном шаблоне её быть не должно. Если нужно скрыть кусок содержимого от индексации, стандартных способов для этого не существует — правильнее вынести такой блок на отдельный адрес и закрыть его целиком либо подгружать скриптом.

Передаёт ли ссылка с nofollow вес?
Нет, вес по ней не передаётся. Но и не сохраняется для остальных ссылок на странице — доля закрытой ссылки просто исчезает. Поэтому расставлять атрибут ради перераспределения веса внутри сайта смысла нет.

Нужно ли закрывать ссылки на соцсети и карты?
Не нужно. Это обычные внешние ссылки на нормальные ресурсы, вреда от них нет. Закрывать имеет смысл платные размещения и пользовательский контент, остальное оставляют открытым.

Что делать, если страница закрыта noindex, но всё равно в выдаче?
Проверьте три вещи по порядку. Первое: не закрыт ли адрес одновременно в robots.txt — тогда робот не видит метатега. Второе: отдаётся ли метатег в исходном коде до выполнения скриптов, а не подставляется потом. Третье: сколько прошло времени — выпадение происходит после переобхода, а не в момент правки. Если всё в порядке, отправьте адрес на переобход вручную.

Чем закрывать страницы фильтров в каталоге?
Для тех сочетаний, которые не должны быть в поиске, но и обходить их незачем, — запретом в robots.txt и директивой Clean-param для параметров сортировки. Для сочетаний, которые имеют спрос и должны ранжироваться, — ничем: наоборот, им нужны собственные заголовки и текст. Разделение делается по частотности: если сочетание ищут, оно становится посадочной страницей.

Влияет ли большое число закрытых страниц на оценку сайта?
Само по себе нет — служебные разделы есть у всех. Проблема возникает, когда закрытых адресов больше, чем открытых, и робот тратит на них обход. В такой ситуации разбираются не с атрибутами, а со структурой: обычно выясняется, что шаблон генерирует тысячи ненужных адресов.

Показываю на практике, как проверяются запреты индексации и где чаще всего находится забытый noindex:

8:14

Коротко

• Обход и индексация — разные вещи: первым управляет robots.txt, второй — метатег robots на самой странице.
• Парный тег внутри текста больше не работает; рабочий инструмент — метатег robots или заголовок X-Robots-Tag для файлов без HTML.
• Чтобы страница ушла из выдачи, её нельзя закрывать в robots.txt: робот не зайдёт внутрь и не прочитает запрет.
• Атрибут rel сегодня различает три случая: sponsored для платных ссылок, ugc для пользовательских, nofollow как общий вариант.
• Перераспределять вес внутри сайта закрытыми ссылками бесполезно — закрытая доля не переходит другим, а теряется.
• Правильный порядок при удалении раздела из поиска: снять запрет обхода, поставить noindex, дождаться выпадения, только потом закрывать в robots.txt.

Если нужно разобраться, что на конкретном сайте закрыто по делу, а что по ошибке, и почему часть страниц не попадает в поиск — это SEO-консультация: смотрю настройки индексации, показываю находки с указанием адресов и говорю, что править первым. Начать можно с бесплатного аудита сайта.