Закрыл 1400 мусорных страниц от индексации — позиции взлетели за месяц

Закрыл 1400 мусорных страниц от индексации — и через месяц позиции по основным запросам пошли вверх, хотя на сайте не появилось ни одной новой статьи и ни одной купленной ссылки. Звучит как фокус, но фокуса нет: есть арифметика среднего качества документов на домене, и она работает одинаково на любом сайте, где в индекс годами утекало то, что туда попадать не должно.

Ситуация типовая настолько, что я встречаю её на каждом втором проекте. В панели вебмастера числятся тысячи страниц, владелец считает это признаком солидности, а по факту три четверти этих адресов — служебный хлам, который никто никогда не искал и не найдёт. Ниже — механика: почему лишние страницы мешают, как посчитать их количество у себя, каким инструментом закрывать какой тип и в каком порядке это делать, чтобы не отрезать заодно живое.

Что считать мусорной страницей

Определение простое: мусорная страница — это адрес, у которого нет самостоятельного поискового спроса и который не должен появляться в выдаче ни по одному запросу. Не «плохая страница», не «страница с коротким текстом», а именно та, чьё присутствие в индексе бессмысленно по своей природе.

На практике набирается один и тот же перечень:

• Сортировки и постраничная навигация без настройки. Один и тот же список товаров, разложенный по цене, по названию, по новизне, плюс два десятка страниц перелистывания с одинаковыми заголовками.
• Комбинации фильтров. Каждое сочетание свойств порождает собственный адрес, а перестановка свойств местами — ещё один.
• Результаты внутреннего поиска. Плодятся бесконтрольно, часто индексируются вместе с чужими поисковыми запросами, включая спамные.
• Технические дубли. Адрес со слешем и без, с указанием индексного файла и без, с параметрами отслеживания рекламных кампаний, с идентификатором сессии.
• Служебные разделы. Корзина, оформление заказа, личный кабинет, версии для печати, страницы благодарности за заявку.
• Страницы вложений. На части движков каждое загруженное изображение получает собственный адрес с пустой обвязкой вокруг картинки. Десять иллюстраций в статье — десять пустых документов.
• Пустые архивы меток. Тег, поставленный один раз, создаёт раздел с одной записью и служебным заголовком.

Отдельно отмечу, что «мусорная» не равно «бесполезная для пользователя». Корзина нужна, внутренний поиск нужен, сортировка нужна. Речь только о том, что этим адресам нечего делать в выдаче.

Как раздутый индекс отбирает ресурс у полезных страниц

Механизмов три, и они складываются.

Первый — бюджет обхода. Робот приходит на сайт с ограничением по числу обращений за визит. Ограничение зависит от скорости ответа сервера и от того, насколько часто на сайте появляется новое. Если из тысячи обращений семьсот уходят на перебор комбинаций фильтра, на свежую статью и обновлённую карточку товара остаётся триста. Новое содержимое попадает в индекс медленнее, изменения на важных страницах замечаются позже.

Второй — среднее качество документов. Поисковая система оценивает домен не только постранично, но и в целом. Когда доля тонких, дублирующих и пустых документов переваливает за половину, ресурс выглядит как свалка, и это отражается на доверии ко всему домену, включая хорошие страницы.

Третий — внутренний вес. Ссылочный вес распределяется по внутренним ссылкам. Каждая ссылка на сортировку, на перелистывание, на архив метки уводит часть веса в тупик. На крупных каталогах в тупики уходит больше веса, чем на карточки товаров, ради которых сайт существует.

Смежный материал по теме — «Внутренний поиск по сайту плодит тысячи пустых страниц: закройте его от индексации».

Ни один из этих механизмов не даёт мгновенного обвала. Они работают как фоновая нагрузка: сайт вроде бы в порядке, а расти перестаёт. Именно поэтому чистка индекса даёт заметный эффект — снимается тормоз, который держал долго и незаметно.

Помогу с продвижением: раскрутка сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Полезно понимать пропорцию, а не абсолютное число. Полторы тысячи лишних адресов на сайте с двумя тысячами страниц в индексе — это семьдесят процентов балласта, и здесь чистка меняет картину радикально. Те же полторы тысячи на портале с сотней тысяч документов — статистическая погрешность, и заметного эффекта ждать не стоит. Прежде чем оценивать перспективу работ, посчитайте долю: сколько процентов индекса составляет мусор. Ниже пятнадцати процентов заниматься этим стоит из соображений гигиены, выше половины — это первоочередная задача, которая обгоняет по отдаче и тексты, и ссылки.

Как посчитать свой мусор за один вечер

Прежде чем что-то закрывать, нужно понять масштаб. Порядок действий:

1. В панели вебмастера откройте раздел со страницами в поиске и выгрузите список полностью. Там же посмотрите историю: рост числа страниц без роста содержимого — главный признак утечки.
2. Возьмите карту сайта и посчитайте, сколько адресов вы считаете полезными. Разница между выгрузкой и картой — объём проблемы в чистом виде.
3. Отсортируйте выгрузку по признакам: наличие знака вопроса в адресе, наличие названий параметров сортировки и фильтра, вхождение служебных слов вроде корзины, печати, поиска, вложения.
4. Сгруппируйте по типам и посчитайте, сколько адресов даёт каждый тип. Почти всегда обнаруживается, что два-три типа дают девяносто процентов объёма.
5. Проверьте по каждому типу, приходит ли на него трафик. Если за полгода ни одного перехода — вопрос о его судьбе закрыт.

Последний пункт защищает от главной ошибки новичков — закрыть заодно то, что приносило посетителей. Прежде чем запрещать тип адресов целиком, сверьтесь со статистикой переходов.

Откуда берутся тысячи лишних адресов

Источник почти всегда один — настройки по умолчанию. Ни одна распространённая система управления сайтом не поставляется в состоянии, пригодном для поисковой видимости без доработки. Разработчики решают задачу универсальности: система должна работать у всех, поэтому она генерирует всё, что может понадобиться кому-нибудь.

Дальше вступает время. Сайт живёт годами, к нему прикручивают модуль отзывов, потом сравнение товаров, потом подбор по параметрам, потом рекламные метки для рассылок. Каждое добавление приносит свой набор адресов, и никто ни разу не проверяет, что происходит с индексом. Через пять лет в выдаче обнаруживается сайт-призрак: адреса, которые не открываются из меню, не связаны с текущей структурой, но исправно обходятся роботом.

Если нужны детали, смотрите «Клиент сказал: «Эти запросы ищут по 8 раз в месяц, это несерьёзно». Через полгода он закрыл Директ».

Третий источник — переезды и редизайны. При смене структуры старые адреса часто не переклеиваются, а просто перестают быть доступными из меню. Робот продолжает их обходить, потому что помнит, и потому что на них остались ссылки в старых материалах.

Отдельно про внутренний поиск. Это самый недооценённый источник: адреса генерируются по любому введённому тексту, а значит, их количество ничем не ограничено. Хуже того, страницы результатов регулярно используют для размещения чужих ссылок и спамных запросов — достаточно, чтобы кто-то массово отправил на ваш поиск запросы с рекламными текстами, и в индекс уйдёт содержимое, к которому вы не имеете отношения. Запрет обхода здесь нужен не для порядка, а для безопасности домена.

Четвёртый источник — интеграции и выгрузки. Модули сравнения цен, генераторы прайсов, страницы для партнёров и рекламных площадок нередко создают собственные разделы, доступные по прямой ссылке. Их находят по ссылкам с внешних площадок и обходят наравне с основными. Проверить их наличие можно поиском по домену с добавлением служебных слов вроде выгрузки, экспорта, прайса и файлов с расширениями.

Каким инструментом закрывать какой тип

Самая частая ошибка — применять один инструмент ко всему подряд. Инструменты решают разные задачи, и подмена одного другим приводит к тому, что страницы остаются в выдаче или, наоборот, из неё исчезает нужное.

Тип адресов	Инструмент	Почему именно он
Сортировки списка товаров	Канонический адрес на основную страницу раздела	Содержимое то же самое, вес нужно склеить на одну версию, а не потерять
Постраничная навигация	Самоканоникал плюс уникальные заголовки с номером страницы	Полный запрет обрывает обход товаров с глубоких страниц
Комбинации фильтра без спроса	Метатег с запретом индексации, ссылки закрыты от передачи веса	Страница должна работать для человека, но не попадать в выдачу
Комбинации фильтра со спросом	Открыть, дать уникальный заголовок, описание и текст	Это готовые посадочные страницы под низкочастотный спрос
Результаты внутреннего поиска	Запрет обхода в файле правил для роботов	Число адресов бесконечно, обход надо останавливать до генерации
Корзина, кабинет, оформление	Запрет обхода плюс метатег на самой странице	Дублирующая защита, поскольку на них ведут ссылки со всего сайта
Страницы вложений	Постоянный редирект на материал или отключение в настройках движка	Адреса уже в индексе, вес надо вернуть в статью
Дубли со слешем и параметрами	Постоянный редирект на канонический вид адреса	Единая форма адреса устраняет источник, а не последствия

Ключевое различие, которое стоит запомнить: запрет обхода не выводит страницу из индекса, если она туда уже попала, — робот просто перестаёт её проверять, и она может висеть в выдаче месяцами. Для вывода из индекса нужен либо метатег с запретом, либо редирект, либо канонический адрес, и страница при этом должна оставаться доступной роботу, чтобы он увидел указание.

Порядок работ: от выгрузки до контроля

1. Снять исходные показатели: число страниц в поиске, число загруженных роботом страниц, средняя позиция и видимость по ядру, скорость ответа сервера.
2. Собрать и сгруппировать мусорные типы, проверить каждый на наличие трафика.
3. Выделить среди комбинаций фильтра те, под которые есть подтверждённый спрос, и оформить их как посадочные страницы до закрытия остальных.
4. Применить инструменты по таблице, начиная с самого объёмного типа. Меняйте по одному типу за раз, с интервалом в несколько дней — иначе не поймёте, что сработало, а что навредило.
5. Убрать внутренние ссылки, ведущие на закрытые адреса: закрытая страница со ссылками из меню продолжает тянуть на себя обход и вес.
6. Обновить карту сайта так, чтобы в ней остались только открытые к индексации адреса.
7. Отправить на переобход изменённые разделы и главные страницы, с которых робот пойдёт вглубь.
8. Раз в неделю снимать число страниц в поиске и сверять с ожиданием. Падение должно быть плавным и объяснимым.

Что менять в первую очередь, если ресурса мало. Порядок отдачи обычно такой: сначала типы, дающие наибольший объём адресов, потом те, что тянут на себя больше всего внутренних ссылок, и только потом единичные дубли. Одна правка в шаблоне, закрывающая целый класс адресов, стоит дешевле и приносит больше, чем сотня точечных исправлений вручную. Поэтому первым делом ищите не отдельные плохие страницы, а правило, которое их порождает.

Сроки и как не спутать эффект с сезонностью

Вывод страниц из индекса занимает от двух недель до нескольких месяцев — это зависит от того, как часто робот заходит на конкретные адреса. Крупные разделы уходят быстрее, глубокие и редко посещаемые — дольше. Первые изменения в позициях обычно видны на горизонте трёх-шести недель после того, как основная масса мусора выпала из выдачи.

Подробнее об этом — в статье «На вашем сайте 200 дублей страниц, и поисковик их ненавидит. Узнайте об этом до того, как просядут позиции».

Здесь легко обмануться. Если чистка совпала с началом сезона, рост припишут ей, а на самом деле вырос спрос. Защита простая: смотрите не абсолютный трафик, а видимость по фиксированному списку запросов и сравнивайте с прошлым годом за тот же период. Ещё лучше — держать контрольную группу: раздел, который вы не трогали, и сравнивать динамику с ним.

И честно про ожидания. Чистка индекса — это снятие тормоза, а не установка двигателя. Если у сайта нет содержимого под спрос, нет коммерческих факторов и нет внешних сигналов, чистка сама по себе в топ не выведет. Она даёт прирост там, где полезные страницы уже были, но им мешали.

Типичные ошибки при чистке

• Закрыть всё скопом файлом правил для роботов. Страницы остаются в выдаче, потому что робот больше не заходит и не видит запрета. Классическая ситуация: адреса висят в поиске с пометкой об отсутствии описания.
• Убрать постраничную навигацию целиком. Товары с глубоких страниц теряют единственный путь обхода и выпадают из индекса вслед за навигацией.
• Закрыть фильтры, не разобрав спрос. Вместе с мусором уходят страницы, которые приносили низкочастотный трафик и заявки.
• Поставить канонический адрес на страницу с другим содержимым. Указание игнорируется, а иногда трактуется как сигнал о недостоверности разметки на всём сайте.
• Делать всё за один день. При одновременном изменении десяти типов невозможно понять, какое действие дало эффект и какое из них откатывать, если что-то пошло не так.
• Не убрать внутренние ссылки. Закрытые адреса, на которые ссылается меню и сквозные блоки, продолжают собирать обход и вес.

Частые вопросы

Сколько страниц в индексе считается нормой?
Абсолютного числа нет. Норма — когда число страниц в поиске примерно соответствует числу адресов в вашей карте сайта. Расхождение в разы означает утечку, независимо от масштаба проекта.

Не упадёт ли трафик после чистки?
Кратковременное снижение возможно, если мусорные адреса собирали случайные переходы по длинным запросам. Такие переходы почти не конвертируются. Если падение затянулось дольше полутора месяцев — вы закрыли что-то нужное, проверяйте по типам.

Можно ли ускорить вывод страниц из индекса?
Частично. Инструмент удаления адресов в панели вебмастера убирает их из выдачи быстро, но это временная мера: без метатега или редиректа они вернутся. Используйте его как ускоритель, а не как решение.

Что делать со страницами меток и архивов?
Смотреть на спрос. Метка, под которую собран десяток осмысленных материалов и есть запросы, — это раздел, его стоит доработать. Метка с одной записью и служебным заголовком — мусор.

Нужно ли закрывать страницы с параметрами рекламных меток?
Да, и лучше на уровне канонического адреса, а не запрета обхода. Так вес от внешних переходов по меткам вернётся на основную версию страницы.

Как понять, что чистка сработала?
По трём признакам одновременно: число страниц в поиске приблизилось к числу полезных адресов, робот стал чаще обходить новые материалы, видимость по фиксированному списку запросов растёт относительно прошлого года.

Коротко

• Мусорная страница — та, у которой нет собственного поискового спроса; полезность для пользователя тут ни при чём.
• Раздутый индекс бьёт по трём направлениям сразу: бюджет обхода, среднее качество документов на домене, распределение внутреннего веса.
• Объём проблемы считается за вечер: выгрузка страниц из поиска минус карта сайта, дальше группировка по типам.
• Инструмент подбирается под тип: канонический адрес для сортировок, метатег для бесспросовых фильтров, редирект для дублей и вложений, запрет обхода для служебных разделов.
• Запрет обхода не выводит из индекса то, что уже попало, — для этого страница должна оставаться доступной роботу с явным указанием.
• Комбинации фильтра со спросом закрывать нельзя: это готовые посадочные страницы, их надо оформлять и открывать.
• Эффект проявляется через три-шесть недель после выпадения основной массы; отличать его от сезонности нужно по видимости относительно прошлого года.

Если хотите понять, сколько лишнего в индексе именно у вас и в каком порядке это закрывать, приходите на SEO-консультацию: разберём выгрузку по типам, отделим спросовые фильтры от мусора и составим порядок работ с контрольными точками.