Стоит ли запрещать индексацию страниц категорий и архивов

Запрещать индексацию страниц категорий и архивов советуют почти в каждой инструкции по настройке блога — и этот совет ежедневно отнимает у сайтов заметную часть трафика. Категория нередко ранжируется лучше отдельных статей, потому что отвечает на общий запрос целиком, а не на частный случай. Закрыв её «для порядка», владелец своими руками убирает из поиска самую сильную страницу раздела.

Ниже — откуда взялся этот совет, что действительно стоит убирать из индекса, что убирать нельзя ни при каких обстоятельствах, каким инструментом закрывать в каждом случае и как проверить, не закрыли ли вы лишнего.

Откуда взялся совет закрывать категории

Он родом из времён, когда шаблоны выводили в категориях и архивах полные тексты статей. Получалась ситуация, при которой один и тот же текст присутствовал на сайте в четырёх местах: на собственном адресе статьи, в категории, в архиве за месяц и в архиве автора. Поисковая система видела набор почти одинаковых документов и выбирала из них один — не всегда тот, который нужен владельцу.

Тогда массовый запрет действительно решал проблему. Сегодня подавляющее большинство шаблонов выводит анонсы — заголовок, картинку и два-три предложения, — и дублирования как такового нет. Совет остался, а причина, по которой он был разумен, исчезла. Это типичная судьба технических рекомендаций: они переживают условия, в которых были верны, и продолжают тиражироваться в статьях и настройках плагинов по умолчанию.

Практический вывод: прежде чем что-то закрывать, откройте свою категорию и посмотрите, что в ней выводится. Если анонсы — оснований для запрета нет.

Что закрывать не надо

Категории и рубрики. Категория — это готовая посадочная страница под общий запрос темы. Человек, который ищет обзор направления, а не частный случай, попадёт именно на неё. По моему опыту, у контентных проектов категории регулярно дают больше трафика, чем любая отдельная статья внутри них, — просто потому, что общие запросы частотнее уточняющих.

Вместо запрета категорию нужно доработать: описание на тысячу-две знаков в верхней части, собственный заголовок и описание для выдачи, вывод анонсов, а не полных текстов, осмысленный порядок материалов. После этого она перестаёт быть служебным списком и становится полноценной страницей.

Первая страница пагинации. Это и есть основная страница категории. Закрывать её нельзя ни при каких обстоятельствах — вместе с ней вы убираете из индекса весь раздел.

Смежный материал по теме — «Last-Modified, которого нет: робот заново качает две тысячи неизменных страниц».

Метки, если они используются осмысленно. Когда метка объединяет три-четыре десятка материалов по реальной теме, она работает как категория и приносит трафик. Закрывать её — та же ошибка.

Страницы фильтров, под которые есть спрос. В магазинах фильтр по бренду или по типоразмеру часто совпадает с реальным запросом. Такие страницы нужно, наоборот, оптимизировать: свой заголовок, описание, ссылка из меню.

Что закрывать стоит

Тип страниц	Что делать	Почему
Архивы по датам	Закрыть	Пользы для человека нет, содержание дублирует категории
Архив автора при одном авторе	Закрыть	Полная копия общей ленты материалов
Метки при бессистемном использовании	Закрыть	Плодят тонкие страницы с двумя-тремя записями
Результаты внутреннего поиска	Закрыть	Бесконечное число адресов, генерируемых посетителями и ботами
Страницы вложений	Закрыть или перенаправить на запись	Страница с одной картинкой и без содержания
Служебные: корзина, оформление, кабинет	Закрыть	В поиске не нужны, часть из них содержит личные данные
Адреса с параметрами сортировки	Canonical или Clean-param	Дубли основной страницы раздела
Версии для печати	Закрыть	Полный дубль содержания без навигации

Помогу с продвижением: SEO-специалист Анатолий Кузнецов — вывожу сайты в топ Яндекса белыми методами.

Обратите внимание на разницу в предпоследней строке: адреса с параметрами не закрывают, а склеивают. Запрет здесь работает хуже, потому что страница нужна человеку — она просто не должна конкурировать с основной версией в выдаче.

Чем закрывать: четыре инструмента и их различия

Инструмент	Что делает	Когда применять
Метатег robots со значением noindex	Убирает страницу из индекса, робот при этом её видит	Основной способ для архивов, меток, служебных разделов
Запрет в robots.txt	Мешает обходу, но не гарантирует отсутствия в поиске	Для экономии обхода на тяжёлых служебных разделах
Атрибут canonical	Указывает, какая версия основная	Сортировки, вариации адреса одной и той же страницы
Директива Clean-param	Склеивает адреса с параметрами с основным	Метки перехода, идентификаторы сессий, сортировки

Самая частая ошибка — закрывать через robots.txt то, что нужно убрать из индекса. Логика кажется правильной: запретили обход, значит, страницы в поиске не будет. На деле робот не заходит на страницу, а значит, не видит метатег noindex, если вы его поставили. При этом страница может попасть в индекс по внешним ссылкам и показываться без описания. Порядок правильный такой: сначала разрешить обход, дать роботу увидеть noindex, дождаться выпадения страниц, и только потом при желании закрыть раздел в robots.txt для экономии обхода.

Второй нюанс — значение follow. Комбинация noindex, follow убирает страницу из поиска, но позволяет роботу пройти по ссылкам дальше. Для архивов и меток это важно: через них робот добирается до статей. Комбинация noindex, nofollow обрывает этот путь и замедляет обход глубоких материалов.

Как проверить, что закрыли не то

1. Откройте в Вебмастере раздел исключённых страниц и отсортируйте по причине. Ищите там свои категории, важные разделы и товарные фильтры.
2. Проверьте несколько ключевых адресов инструментом анализа страницы: он покажет, что именно видит робот и какие директивы применяются.
3. Сравните число страниц в индексе с числом адресов в карте сайта. Большой разрыв — повод разбираться.
4. Посмотрите в статистике, какие страницы раньше приносили трафик из поиска и перестали. Совпадение с датой правки настроек говорит само за себя.
5. Проверьте robots.txt на предмет правил, оставшихся с тестового контура. Строка с полным запретом переезжает на боевой сайт чаще, чем кажется.
6. Убедитесь, что закрытые страницы не участвуют в карте сайта: противоречие между картой и директивами робот трактует не в вашу пользу.

Проверку стоит делать не один раз, а после каждого обновления плагинов и шаблона: настройки индексации регулярно сбрасываются к значениям по умолчанию, а значения по умолчанию у многих расширений — как раз массовый запрет.

Категория как посадочная страница

Если категория закрыта, вы теряете не просто страницу, а самый удобный способ занять общий запрос. Что делает категорию сильной.

Если нужны детали, смотрите «Сжатие страниц gzip и brotli: минус 70 % веса, который вы теряете бесплатно».

• Текстовое описание в верхней части. Не набор ключевых слов, а осмысленное введение в тему: что здесь собрано, кому это нужно, как ориентироваться в материалах.
• Свой заголовок и описание. Автоматически подставляемое название рубрики почти всегда проигрывает написанному вручную.
• Логичный порядок материалов. Сверху — основные, а не самые свежие. Дата публикации редко совпадает с важностью.
• Ссылки на смежные разделы. Человек, не нашедший нужного, должен видеть, куда идти дальше.
• Разумная глубина пагинации. Двадцать страниц по десять записей хуже, чем пять по сорок: чем глубже материал, тем реже до него добирается робот.

Отдельно про магазины: там же самая логика применяется к разделам каталога. Раздел с описанием, подбором и ответами на вопросы конкурирует за общий запрос гораздо успешнее, чем карточка отдельного товара.

Ещё один довод в пользу открытых категорий — распределение веса внутри сайта. Категория собирает ссылки со всех статей, которые в неё входят, и с меню, а дальше передаёт этот вес обратно материалам. Закрытая категория этот механизм не выключает полностью, но ослабляет: страница, отсутствующая в выдаче, со временем перестаёт быть точкой накопления. На сайтах, где категории закрыты, вес обычно концентрируется на главной, а внутренние материалы остаются недокормленными и медленно набирают позиции.

Проверить это на своём проекте можно косвенно: посмотрите, какие страницы получают больше всего внутренних ссылок и совпадает ли этот список с теми, которые вам действительно нужны в топе. Если в верхних строчках оказываются служебные разделы, политика обработки данных и закрытые архивы — распределение перекошено, и открытие категорий будет одним из самых дешёвых способов его выправить.

Пагинация: отдельный разговор

Страницы со второй по последнюю — не дубли и не мусор, но и не полноценные посадочные. Работать с ними стоит так.

• Первая страница остаётся открытой всегда и является основной для раздела.
• Со второй и далее убирается текстовое описание категории, иначе оно повторяется на каждой странице и создаёт настоящий дубль.
• Заголовок и описание для выдачи на страницах пагинации дополняются номером страницы, чтобы они не совпадали дословно.
• Закрывать пагинацию от индексации целиком не стоит: через неё робот добирается до старых материалов. Если очень хочется, используйте noindex, follow, но не запрет в robots.txt.
• Атрибут canonical со второй страницы на первую ставить не нужно — это разные наборы содержания, и такая склейка мешает обходу.

Чем закрытие отличается от удаления

Третий по частоте промах после массового запрета и путаницы с robots.txt — считать, что закрытая страница перестала существовать. Она никуда не делась: адрес открывается, внутренние ссылки на него ведут, робот по нему ходит. Меняется только одно — страница не показывается в выдаче.

• Закрытие подходит, когда страница нужна людям или служит маршрутом для робота: корзина, личный кабинет, архивы, через которые идёт обход, служебные разделы.
• Удаление подходит, когда страница не нужна никому: метка с двумя записями, дубль раздела, пустая рубрика. Здесь запрет только консервирует мусор в структуре.
• Перенаправление подходит, когда у страницы есть смысловая замена и на неё ведут внешние ссылки или она приносила трафик. Тогда накопленное переходит на новый адрес, а не пропадает.

Практическое правило, которым я пользуюсь при разборе структуры: если после закрытия страницы на неё продолжают ссылаться внутренние ссылки, вы выбрали неправильный инструмент. Ссылки на закрытые от индексации разделы рассеивают вес и запутывают обход. Либо страница нужна и остаётся открытой, либо она удаляется вместе со ссылками на неё.

Подробнее об этом — в статье «Сколько стоит SEO-аудит сайта и что должно быть в отчёте».

Отдельно про код 410. Для страниц, которые вы точно удаляете навсегда, он лучше обычного 404: система понимает, что возвращения не будет, и убирает адрес из индекса быстрее. Разница заметна на массовых чистках — сотни удалённых меток уходят за недели вместо месяцев.

Порядок работ

1. Выгрузите список всех типов страниц сайта: записи, категории, метки, архивы, служебные разделы, адреса с параметрами.
2. По каждому типу ответьте на два вопроса: нужна ли эта страница человеку и есть ли под неё поисковый спрос. Закрывать стоит только то, где оба ответа отрицательные.
3. Для оставшихся выберите инструмент по таблице выше: метатег, canonical или Clean-param.
4. Внесите изменения и проверьте несколько адресов каждого типа инструментом анализа страницы.
5. Обновите карту сайта: в ней должны остаться только открытые для индексации адреса.
6. Через две-три недели проверьте раздел исключённых страниц и статистику по трафику: закрытые типы должны уходить из индекса, а открытые — оставаться на месте.
7. Доработайте категории, которые вы решили оставить: описание, заголовки, порядок материалов.

Частые вопросы

Нужно ли закрывать категории в блоге на сайте услуг? Нет, если в них есть содержание и они собраны осмысленно. Категория блога отвечает на общий информационный запрос и передаёт вес статьям внутри. Закрывать имеет смысл только рубрики, созданные «на всякий случай» и содержащие две записи.

Что делать, если категорий очень много и часть из них пустые? Пустые и почти пустые рубрики лучше не закрывать, а объединять. Три рубрики по две статьи превращаются в одну с шестью — и она уже способна ранжироваться. Закрытие оставляет мусор в структуре, объединение убирает его совсем.

Правда ли, что архивы по датам вредят сайту? Прямого вреда нет, но пользы тоже. Они создают адреса, которые никто не ищет, и тратят обход робота. Для сайта из сотни страниц это несущественно, для проекта на десятки тысяч — заметно.

Можно ли закрыть всё лишнее одной строкой в robots.txt? Технически можно, практически — это самый частый способ навредить. Массовое правило по шаблону адреса регулярно захватывает нужные разделы. Закрывайте по типам страниц метатегом, а robots.txt используйте точечно.

Как быть с метками, если их несколько сотен? Разделите по числу материалов: метки с десятком и более записей оставьте и доработайте, остальные закройте метатегом, а лучше — удалите. Удаление предпочтительнее: закрытая метка продолжает существовать в структуре и получать внутренние ссылки, которые никуда не ведут.

Что произойдёт, если снять запрет с давно закрытых категорий? Они начнут индексироваться заново, но не мгновенно: роботу нужно время на обход и переоценку. Ускорить можно отправкой на переобход и внутренними ссылками на эти разделы из статей. Позиции появляются постепенно, обычно в течение месяца-двух.

Коротко

• Совет закрывать категории родом из времён, когда в них выводились полные тексты. Сегодня шаблоны выводят анонсы, и повода для запрета нет.
• Категория часто сильнее отдельной статьи: она отвечает на общий запрос, который частотнее уточняющего.
• Закрывать стоит архивы по датам, архив единственного автора, бессистемные метки, результаты внутреннего поиска, вложения и служебные разделы.
• Метатег robots надёжнее запрета в robots.txt: закрытая в файле страница может попасть в поиск по внешним ссылкам, а метатег робот не увидит.
• Адреса с параметрами не закрывают, а склеивают через canonical или Clean-param.
• Проверять результат нужно в разделе исключённых страниц Вебмастера — и после каждого обновления плагинов, которые любят возвращать запреты по умолчанию.

Если не уверены, что именно на вашем сайте закрыто и почему трафик не растёт, приходите на SEO-консультацию: разберём настройки индексации по типам страниц, найдём разделы, закрытые по ошибке, и составим порядок исправлений с ожидаемыми сроками возврата.

8:14