Стоит ли запрещать индексацию страниц категорий и архивов

Вопрос «закрывать ли категории и архивы от индексации» задают почти на каждом аудите сайта, и почти всегда ждут короткого ответа. Короткого ответа нет. Есть разбор по типам страниц: категории товаров и рубрики блога в подавляющем большинстве случаев должны быть в индексе и приносить трафик, а архивы по датам, авторские ленты и бесконечные страницы тегов — чаще мешают, чем помогают. В SEO с 2005 года я разбирал этот вопрос на сотнях проектов, и ошибки здесь стоят дорого: закрыли лишнее — потеряли трафик, не закрыли ничего — размыли краулинговый бюджет и получили дубли.

Почему вопрос вообще возникает

Типовая CMS создаёт служебные списки автоматически. WordPress из коробки генерирует рубрики, метки, архивы по годам, месяцам, дням и по авторам. Плюс постраничная навигация внутри каждого списка. В результате сайт из 300 статей легко выдаёт 2000+ URL, на которых нет ни одного уникального предложения — только повторяющиеся анонсы тех же самых материалов.

Для поисковой системы это выглядит как множество очень похожих страниц. Последствия три: расход краулингового бюджета, конкуренция служебной страницы с основной, размывание внутреннего веса. На небольшом сайте терпимо, на сайте от нескольких тысяч страниц — критично.

Категории: почти всегда оставляем в индексе

Категория интернет-магазина — это не служебная страница, а основная посадочная. Именно она отвечает запросам вида «купить [товар] [характеристика]», по которым идёт основная коммерческая частотность. Карточка товара отвечает на узкий запрос по конкретной модели, а категория — на широкий и более частотный.

С рубриками блога чуть тоньше. Если рубрика — просто лента анонсов без единой строки собственного текста, она конкурирует за внимание с самими статьями и редко ранжируется. Но это аргумент не за закрытие, а за доработку: добавить вводный текст, описывающий тему, привести структуру, настроить осмысленный заголовок.

Ситуация с категорией	Решение	Почему
Категория с товарами и спросом по запросам	В индекс, оптимизировать	Основная посадочная под частотные запросы
Рубрика блога с 15+ материалами	В индекс, добавить описание	Собирает низкочастотный и информационный спрос
Рубрика с 1–2 материалами	Объединить с другой или временно скрыть	Пустая страница-список качества не добавляет
Категория без товаров (сезонная, распродана)	Оставить, показать альтернативы	Удаление даст 404 по проиндексированному URL
Дублирующие категории с одинаковым набором	Оставить одну, остальные канонизировать	Разный URL, одинаковый контент

Архивы по датам: закрываем практически всегда

Страница вида «все записи за март 2023» не отвечает ни на один пользовательский запрос. Никто не ищет содержимое блога по месяцу публикации. Такие архивы существуют только как техническое наследие блог-платформ.

Исключение одно: сайты, где дата — это и есть суть контента. Например, архив новостей отраслевого издания, где посетители действительно ходят по датам, или сайт мероприятий с расписанием по дням. Здесь архив несёт смысл, и закрывать его не нужно. Во всех остальных случаях — архивы по годам, месяцам и дням убираем из индекса и по возможности отключаем в CMS вовсе.

Авторские ленты: зависит от того, есть ли реальные авторы

Страница автора имеет ценность, когда за ней стоит человек: описание, квалификация, специализация, список материалов. Это работает на экспертность — и для читателя, и для поисковой системы, которая оценивает авторитетность источника.

Но если на сайте один автор и это «admin», то авторская лента — точный дубль главной страницы блога. Такое закрываем без сожаления. Промежуточный вариант — несколько авторов, но без биографий: тогда сначала заполняем профили, потом решаем.

Тип страницы	Индексация	Инструмент	Комментарий
Категория товаров	Открыта	—	Оптимизировать под запросы
Рубрика блога	Открыта	—	Нужен вводный текст
Метки/теги	Чаще закрыта	noindex, follow	Открывать только проработанные теги под спрос
Архив по дате	Закрыта	noindex или отключение в CMS	Исключение — новостные издания
Архив автора	Зависит	noindex при одном авторе	Открывать при реальных экспертах
Пагинация категории	Открыта	Самоканоникал	Не канонизировать на первую страницу
Результаты поиска по сайту	Закрыта	noindex + Disallow	Бесконечное число комбинаций
Фильтры и сортировки	Закрыта, кроме проработанных	canonical, noindex	Спросовые фильтры делать отдельными посадочными

Чем закрывать правильно: robots.txt против meta noindex

Здесь допускают самую распространённую и самую дорогую ошибку. Директива Disallow в robots.txt запрещает не индексацию, а обход. Это разные вещи.

Если страница уже в индексе, а вы закрываете её через Disallow, робот перестаёт её посещать — и не видит указания на удаление. Страница может остаться в выдаче без описания. Google в такой ситуации показывает результат с пометкой, что описание недоступно из-за robots.txt.

Ниже — что делает каждый инструмент на самом деле.

Инструмент	Что делает	Чего не делает
Disallow в robots.txt	Запрещает обход URL	Не убирает страницу из индекса
noindex, follow	Убирает из индекса, сохраняет обход ссылок	Не экономит краулинговый бюджет
noindex, nofollow	Убирает из индекса	Обрывает передачу веса дальше — применять не стоит
canonical	Указывает предпочтительную версию дубля	Не команда, может быть проигнорирован
Clean-param	Склеивает URL с параметрами в Яндексе	Не работает в Google
Удаление страницы	Убирает контент	Даёт 404 по проиндексированным адресам

Порядок действий такой: ставим <meta name="robots" content="noindex, follow"> и оставляем страницу доступной для обхода, пока она не выпадет из выдачи. Атрибут follow обязателен — он сохраняет связность сайта. Только после выпадения из индекса можно при желании добавить запрет обхода в robots.txt, хотя чаще проще оставить noindex навсегда.

Практический разбор: как я принимаю решение

Шаг 1. Собираю полный список типов URL. Не отдельные адреса, а именно шаблоны: /category/*, /tag/*, /2024/03/, /author/*, /?s=, /page/2/. Обычно набирается 8–15 типов.

Шаг 2. Проверяю трафик по каждому типу. Выгружаю из системы аналитики страницы входа за 6–12 месяцев и группирую по маске. Это ключевой этап: часто выясняется, что «бесполезные» теги приносят заметную долю визитов, потому что кто-то когда-то сделал их осмысленными.

Шаг 3. Смотрю позиции. В Вебмастере и Search Console проверяю, есть ли показы по этим URL. Показы без кликов — повод улучшить сниппет, а не закрывать страницу.

Шаг 4. Оцениваю уникальность. Если страница на 100% состоит из фрагментов других страниц и не имеет ни строки собственного текста — кандидат на закрытие. Если есть описание, подборка, собственная логика сортировки — кандидат на развитие.

Шаг 5. Считаю масштаб. Сколько всего URL даёт этот тип. 40 рубрик — не проблема. 12 000 комбинаций фильтров — проблема, даже если каждая по отдельности выглядит безобидно.

Шаг 6. Внедряю партиями и наблюдаю. Сначала самый явный мусор — поиск по сайту, архивы по датам. Через 3–4 недели смотрю на динамику обхода и индексации, потом принимаюсь за спорные типы.

Отдельно про пагинацию

Пагинацию продолжают закрывать по инерции, хотя это уже много лет неправильно. Страницы /page/2/ и далее нужны, чтобы робот дошёл до глубоко лежащих товаров и статей. Если их закрыть, часть контента может вообще не попасть в индекс.

Рабочая схема: каждая страница пагинации имеет канонический адрес на саму себя, уникальный title с указанием номера страницы, и не дублирует SEO-текст первой страницы. Атрибуты rel="prev" и rel="next" Google уже не использует.

Чего делать не стоит

• Закрывать категории «потому что это дубли». Категория — не дубль, это самостоятельная посадочная страница с другим интентом.
• Использовать Disallow для страниц, уже находящихся в индексе. Вы просто лишите себя возможности их оттуда убрать.
• Ставить canonical с рубрики на главную блога. Контент разный, поисковая система проигнорирует указание или воспримет как ошибку разметки.
• Закрывать пагинацию. Это прямой способ уронить индексацию каталога.
• Массово удалять теги без проверки трафика. Сначала данные, потом действие.
• Применять noindex, nofollow к внутренним страницам. Второй атрибут обрывает передачу веса и обход.
• Копировать robots.txt с чужого сайта. Структура URL у всех разная, чужие маски легко закроют ваши рабочие разделы.

Что делать с закрытыми страницами дальше

Закрытие — не финал. После него полезно пересобрать карту сайта, оставив в ней только индексируемые URL, и проверить внутренние ссылки: если на закрытую страницу ведёт заметное число ссылок из шаблона, вес утекает в никуда. Часто разумнее не закрывать, а превратить лишний список в полноценную посадочную страницу — особенно если по нему есть спрос. Такие решения хорошо разбирать в формате SEO-консультации, когда видна и структура сайта, и данные аналитики.

Частые вопросы

Влияет ли закрытие архивов на позиции статей? Напрямую нет, если использован noindex, follow и внутренние ссылки на статьи остались доступны из рубрик и карты сайта. Проблемы возникают только при закрытии через robots.txt, когда робот теряет пути обхода.

Нужно ли закрывать теги в блоге? По умолчанию да, если теги генерируются бессистемно и их сотни. Но если 10–15 тегов соответствуют реальным поисковым запросам и на них есть описание, эти конкретные страницы стоит открыть и развивать как посадочные.

Как быстро страница выпадет из индекса после noindex? От нескольких дней до 2–3 месяцев, в зависимости от того, как часто робот заходит на этот URL. Ускорить можно переобходом через панель вебмастера.

Что делать с фильтрами в интернет-магазине? Комбинации закрывать, а фильтры с реальным спросом выносить в отдельные ЧПУ-страницы с уникальным title и описанием. Это одна из самых прибыльных задач в семантике магазина.

Отличаются ли рекомендации для Яндекса и Google? Логика одинаковая. Разница в инструментах: у Яндекса есть Clean-param, у Google нет; Google охотнее игнорирует canonical, если считает страницы разными. Стратегию это не меняет.

Чеклист

• Составлен список всех типов URL по маскам
• По каждому типу выгружен трафик минимум за 6 месяцев
• Проверены показы в Вебмастере и Search Console
• Категории и рубрики оставлены в индексе и имеют собственный текст
• Архивы по датам закрыты или отключены в CMS
• Авторские ленты закрыты, если автор один
• Теги проверены выборочно, полезные оставлены и доработаны
• Результаты внутреннего поиска закрыты
• Пагинация открыта, с самоканоникалом и уникальными title
• Для закрытия используется meta noindex с follow, а не Disallow
• Служебные GET-параметры обработаны через Clean-param для Яндекса
• Карта сайта пересобрана без закрытых URL
• Внутренние ссылки на закрытые страницы убраны из шаблона
• Через месяц проверена статистика обхода и число страниц в индексе

Правильная работа с индексацией не даёт мгновенного всплеска трафика — она убирает потери. Робот начинает тратить визиты на страницы, которые действительно приносят деньги, а не на списки записей за апрель позапрошлого года. На больших проектах это один из самых недооценённых источников роста, и по стоимости внедрения он обычно дешевле, чем любая доработка сайта или закупка ссылок.

Если нужно SEO-продвижение сайтов — помогу вывести сайт в топ Яндекса и удержать позиции.