Теги nofollow и noindex

Nofollow и noindex — два инструмента, которые постоянно путают между собой и применяют не по назначению. Один управляет передачей веса по ссылке, другой запрещает индексацию страницы, и работают они в разных местах. Ошибка в их использовании стоит дорого: я не раз видел сайты, где половина разделов случайно закрыта от поиска и никто не понимает, почему нет трафика. Разберу, что каждый из них делает, где ставится и в каких случаях нужен.

Кратко о различиях

Инструмент	Где ставится	Что делает	На что НЕ влияет
rel=»nofollow»	В теге ссылки	Сообщает, что вы не ручаетесь за ссылку	Не запрещает индексировать страницу-цель
meta robots noindex	В head страницы	Запрещает показывать страницу в поиске	Не запрещает роботу заходить на неё
Disallow в robots.txt	В файле robots.txt	Запрещает роботу заходить на адрес	Не гарантирует отсутствие в выдаче
rel=»canonical»	В head страницы	Указывает главную версию при дублях	Не запрет, а рекомендация

Из этой таблицы следует главная ловушка, о которой ниже.

Ловушка номер один: noindex вместе с запретом в robots.txt

Логика кажется правильной: закрыть раздел в robots.txt и на всякий случай поставить noindex в коде. На деле получается обратное.

Робот, которому запрещено заходить на страницу, не увидит метатег внутри неё. Значит, он не узнает о запрете индексации. Страница может остаться в выдаче — с пометкой, что описание недоступно.

Правильно так: если нужно убрать страницу из поиска — оставьте её открытой в robots.txt и поставьте noindex. Робот зайдёт, увидит запрет и исключит документ.

Nofollow: что это на самом деле

Атрибут rel="nofollow" изначально придумали для борьбы со спамом в комментариях: он сообщал, что владелец сайта не ручается за ссылку и не передаёт ей доверие.

Со временем появились уточняющие значения:

• rel="sponsored" — рекламная или оплаченная ссылка;
• rel="ugc" — ссылка, оставленная пользователем: комментарий, форум;
• rel="nofollow" — общий случай, когда вы не ручаетесь за источник.

Важный момент: сегодня эти атрибуты воспринимаются скорее как подсказка, чем как жёсткий запрет. Поисковые системы сами решают, учитывать ссылку или нет.

Где nofollow нужен, а где вреден

Ситуация	Нужен ли	Почему
Рекламная ссылка, платное размещение	Да, sponsored	Иначе это выглядит как продажа ссылок
Комментарии и профили пользователей	Да, ugc	Вы не отвечаете за то, что оставили посетители
Ссылка на сомнительный источник	Да	Не хотите ручаться за площадку
Ссылка на авторитетный источник в статье	Нет	Нормальная часть текста, закрывать нечего
Внутренние ссылки на своём сайте	Нет	Управление весом через nofollow давно не работает
Ссылка на страницу с контактами или корзину	Нет	Нужен noindex у самой страницы, а не nofollow у ссылки

Отдельно про предпоследнюю строку. Практика закрывать внутренние ссылки атрибутом, чтобы «сохранить вес» на важных страницах, была популярна много лет назад и давно не работает. Сегодня это просто мешает роботу обходить сайт.

Noindex: когда закрывать страницы

Запрет индексации нужен для страниц, которые полезны людям, но не должны участвовать в поиске.

• Страницы результатов внутреннего поиска.
• Фильтры и сортировки, порождающие тысячи адресов.
• Личный кабинет, корзина, оформление заказа.
• Технические и служебные разделы.
• Архивы по датам и авторские ленты, если они дублируют категории.
• Версии для печати.

Обычно используют сочетание noindex, follow: страницу не показывать, но по ссылкам с неё робот пусть идёт — так вес не теряется.

Три самые дорогие ошибки

Забытый noindex после переноса с тестового домена. Классика: сайт разрабатывали на закрытом поддомене, перенесли на боевой, запрет остался. Трафика нет, причину ищут в текстах. Проверять это стоит первым делом при необъяснимом падении.

Канонический адрес на главную со всех страниц. Возникает после неудачной настройки плагинов. Результат — из индекса выпадает всё, кроме главной.

Закрытие в robots.txt вместо noindex. Страница остаётся в выдаче без описания. Правильно — открыть доступ и поставить метатег.

Как проверить, что закрыто на вашем сайте

• Откройте robots.txt и прочитайте его целиком — там бывают строки, о которых никто не помнит.
• Посмотрите исходный код нескольких важных страниц и найдите метатег robots.
• В Вебмастере посмотрите список исключённых страниц и причины исключения.
• В Search Console откройте отчёт по индексированию: там отдельно показаны страницы, исключённые по noindex и по каноническому адресу.
• Обойдите сайт краулером и выгрузите столбцы с метатегом robots и каноническим адресом — аномалии видны сразу.

Что делать с внешними ссылками на ваш сайт

Часть ссылок на вас будет с атрибутом nofollow — из комментариев, справочников, соцсетей. Это нормально и даже полезно: естественный профиль всегда смешанный. Профиль, состоящий только из открытых ссылок с коммерческими анкорами, выглядит покупным.

Прямого веса такие ссылки не передают, но приводят людей — а переходы поиск видит и учитывает.

Как убрать страницу из поиска: пошагово

Порядок действий, который работает и не создаёт новых проблем.

• Шаг 1. Убедитесь, что адрес открыт в robots.txt. Пока он закрыт, запрет внутри страницы робот не прочитает.
• Шаг 2. Поставьте в head метатег <meta name="robots" content="noindex, follow">. Значение follow сохраняет обход ссылок и не запирает вес внутри страницы.
• Шаг 3. Проверьте страницу инструментом просмотра ответа сервера: должен быть код 200 и видимый метатег в коде.
• Шаг 4. Отправьте адрес на переобход в Вебмастере и запросите индексирование в Search Console — так робот придёт быстрее.
• Шаг 5. Если страница должна исчезнуть срочно, используйте инструмент удаления адреса. Он скрывает страницу временно, поэтому метатег всё равно обязателен.
• Шаг 6. Через две-три недели откройте отчёты об исключённых страницах и убедитесь, что причина исключения указана верно.

Только после того как страница выпала из индекса, её можно закрывать в robots.txt — если это вообще нужно. Обратный порядок и есть та самая распространённая ошибка, из-за которой адреса годами висят в выдаче без описания.

X-Robots-Tag: когда метатега недостаточно

Метатег живёт в HTML, а закрывать иногда нужно то, где HTML нет: файлы PDF, документы, архивы, изображения, ответы программных интерфейсов. Для них существует HTTP-заголовок с тем же смыслом.

Отдаёт его сервер: X-Robots-Tag: noindex. Настраивается на уровне веб-сервера или скриптом и может применяться сразу к группе файлов по расширению. Заголовок понимает те же значения, что и метатег: noindex, nofollow, noarchive.

Типичные случаи, где он нужен: прайсы и коммерческие предложения в PDF, которые не должны попадать в выдачу отдельно от страниц; выгрузки и служебные файлы; изображения, которые не должны показываться в поиске по картинкам. Проверить заголовок можно любым инструментом просмотра ответа сервера — в исходном коде страницы его не видно, и поэтому о нём часто забывают при разборе проблем с индексацией.

Различия между Яндексом и Google

Инструмент	Яндекс	Google
Метатег robots noindex	Поддерживается	Поддерживается
X-Robots-Tag в заголовках	Поддерживается	Поддерживается
Директива Noindex в robots.txt	Не применяется	Не поддерживается
Тег <noindex> внутри текста	Скрывает фрагмент текста, наследие прошлых лет	Игнорируется
Clean-param в robots.txt	Поддерживается, убирает параметры из адресов	Не поддерживается, вместо неё канонический адрес
rel=»nofollow»	Учитывается как указание	Учитывается как подсказка

Отсюда практическое правило: одинаково во всех системах работают только метатег robots, заголовок X-Robots-Tag и канонический адрес. Остальное — инструменты одной системы, и строить на них закрытие важных разделов нельзя: в другой они просто не сработают.

Фильтры и параметры: решение по каждому случаю

Больше всего ошибок приходится на страницы фильтров интернет-магазина. Единого правила здесь нет, решение зависит от того, есть ли спрос на конкретную комбинацию.

• Есть спрос и своё содержимое. Например, сочетание категории и бренда, которое действительно ищут. Такую страницу открывают полностью: свой заголовок, своё описание, ссылка из навигации, адрес без параметров.
• Спроса нет, отличается только порядок товаров. Сортировки, число товаров на странице, вид отображения. Канонический адрес на основную категорию, дополнительно noindex, follow.
• Комбинации из нескольких фильтров. Порождают десятки тысяч адресов и съедают лимит обхода. Закрываются метатегом, а параметры по возможности убираются из адресов.
• Пустые выдачи фильтра. Страница без товаров не должна отдавать код 200 с пустым списком: либо запрет индексации, либо ответ 404.
• Постраничная навигация. Вторую и последующие страницы не закрывают: на них живут товары, которые робот иначе не найдёт. Достаточно уникальных заголовков и корректных ссылок.

Проверять результат надо не по коду шаблона, а по числу страниц в индексе. Если оно измеряется десятками тысяч при паре сотен товаров, значит фильтры продолжают плодить адреса, а запреты стоят не там, где нужно.

Частые вопросы

Закрывать ли исходящие ссылки на источники? Нет. Ссылка на авторитетный источник — часть нормального текста и признак добросовестности.

Помогает ли nofollow распределять вес внутри сайта? Нет, эта практика устарела. Вес распределяется структурой и перелинковкой.

Как быстро страница исчезнет из поиска после noindex? После переобхода — от нескольких дней до нескольких недель. Ускорить можно отправкой на переобход в Вебмастере.

Что использовать для страниц фильтров? Обычно noindex, follow плюс канонический адрес на основную категорию. Полное закрытие в robots.txt мешает роботу увидеть эти указания.

Влияет ли число исходящих ссылок на странице? Разумно ограничиваться осмысленным количеством. Сотня ссылок в подвале — признак ссылочной площадки, а не полезной страницы.

Чеклист

• Проверьте robots.txt на лишние запреты.
• Убедитесь, что на боевом сайте нет забытого noindex.
• Проверьте, что канонические адреса не ведут все на главную.
• Не закрывайте страницу одновременно в robots.txt и метатегом.
• Пометьте рекламные ссылки как sponsored, пользовательские — как ugc.
• Снимите nofollow с внутренних ссылок, если он там стоит.
• Раз в квартал сверяйте список исключённых страниц в Вебмастере.

Эти атрибуты — не инструменты продвижения, а средства управления тем, что поиск видит и чему доверяет. Пользы от их правильной настройки не будет заметно, зато ошибка обойдётся в месяцы потерянного трафика — поэтому проверять их стоит регулярно, особенно после любых работ на сайте.

Если нужно заказать SEO-продвижение — помогу вывести сайт в топ Яндекса и удержать позиции.