На вашем сайте 200 дублей страниц, и поисковик их ненавидит. Узнайте об этом до того, как просядут позиции

На вашем сайте 200 дублей страниц с вероятностью выше, чем кажется, и поисковик их действительно не любит — просто сообщает об этом не уведомлением, а плавным сползанием позиций через несколько месяцев. Узнать об этом до того, как позиции просядут, можно за двадцать минут: все нужные данные лежат в бесплатной панели вебмастера, и смотреть надо в один конкретный отчёт. Ниже — откуда берутся копии, почему они бьют по всему домену, а не по отдельной странице, и как склеить сигналы, не наплодив новых проблем.

Двадцать лет работы в поиске приучили меня начинать разбор нового проекта именно с этого: дубли обнаруживаются примерно на каждом втором сайте, и почти всегда владелец о них не подозревает. В браузере всё выглядит аккуратно, в панели управления порядок, а в индексе болтается два десятка версий одной карточки товара. История развивается тихо, без красных табличек, и когда позиции начинают сползать, причину ищут где угодно — в конкурентах, в алгоритме, в сезоне, — только не в технике.

Что такое дубли и почему человек их не замечает

Дубль — страница, доступная по нескольким разным адресам, но содержащая одинаковый или почти одинаковый материал. Человеку разницы нет: он перешёл по ссылке, увидел нужное и забыл. Для робота два адреса — две отдельные сущности, между которыми надо выбирать, и пока он выбирает, сигналы размазываются.

Делятся дубли на два типа:

• Полные. Содержание совпадает целиком: главная открывается со слешем на конце и без него, с www и без, по протоколу http и https.
• Частичные. Совпадает большая часть: карточка товара, доступная из разных категорий; страница с параметром сортировки; версия для печати; страница пагинации с одинаковым описанием.

Опаснее вторые, потому что их труднее заметить и они размножаются лавинообразно. Один неудачно настроенный фильтр в каталоге способен породить сотни адресов за сутки — каждая комбинация параметров становится отдельной страницей, и ни одна из них никому не нужна.

Откуда берётся двести копий

Самый частый источник — настройки движка, которые никто никогда не трогал. Популярные системы управления сайтом из коробки умеют отдавать одну и ту же запись по десятку адресов, и владелец об этом просто не знает. Дальше добавляются фильтры, сортировки, метки, теги, постраничная навигация — и вот уже двести вариаций одной сущности живут своей жизнью.

• Слеш на конце адреса и без него.
• Версии с www и без www.
• Старые адреса после переезда на защищённый протокол, оставшиеся доступными параллельно с новыми.
• Фильтры, сортировки и метки в каталоге.
• Параметры после знака вопроса: идентификаторы сессий, метки рекламных кампаний, параметры отслеживания.
• Страницы пагинации с одинаковыми заголовками и описаниями.
• Версии для печати и облегчённые копии.
• Карточка товара, доступная из нескольких категорий по разным адресам.
• Адреса в верхнем и нижнем регистре, если сервер не приводит их к одному виду.
• Индексная страница, доступная и по адресу раздела, и по адресу файла внутри него.

Отдельная категория — дубли, созданные вручную. Копирование удачного текста с одной страницы на другую, клонирование посадочных под разные города без переработки, вторая страница под тот же запрос «чтобы охватить больше». Поисковая система видит два почти идентичных документа и не понимает, какой считать основным. Поэтому работа с дублями — не разовая чистка, а гигиена, которую встраивают в рабочий процесс.

Почему это бьёт по всему сайту

Три механизма, и все три действуют одновременно.

Смежный материал по теме — «Новый закон вступил в силу: 700 000 рублей штрафа за кнопку «Войти через Google» на вашем сайте».

Первый — распыление сигналов. Когда на один товар ведут пять адресов, ссылочный вес, поведенческие данные и текстовая релевантность делятся между ними. Вместо одной сильной страницы получается пять слабых, ни одна из которых не дотягивает до топа. Дополнительно ваши же страницы начинают конкурировать друг с другом за один запрос — система чередует их в выдаче, и обе теряют.

Помогу с продвижением: продвижение сайта без накруток — вывожу сайты в топ Яндекса белыми методами.

Второй — трата бюджета обхода. У каждого сайта есть лимит на количество страниц, которые робот обходит за период. Если он тратит его на двести копий, до действительно важных страниц доходит редко или не доходит вовсе. В результате новые материалы индексируются неделями, а изменения на существующих долго не попадают в выдачу. На небольшом сайте это малозаметно, на каталоге в несколько тысяч позиций — критично.

Третий — падение доверия к домену. Поисковые системы давно отличают сайт, сделанный для людей, от свалки технических отходов. Сотни копий читаются как признак заброшенности или небрежной сборки, и недоверие к части сайта перерастает в недоверие ко всему домену. Страдают даже те страницы, у которых никаких дублей нет, — и именно поэтому владелец не может связать просадку с конкретной причиной.

Как найти дубли за двадцать минут

Способ	Что показывает	Время
Панель вебмастера, раздел страниц в поиске	Что система сама считает дубликатом и почему исключила страницу	5 минут
Обход сайта краулером	Одинаковые заголовки и описания у разных адресов — почти стопроцентный признак	10–30 минут
Поиск по точной фразе с ограничением по домену	Сколько версий одного текста система знает	2 минуты
Ручная проверка типовых адресов	Слеш, www, протокол, регистр, индексный файл	5 минут
Логи сервера	По каким адресам робот реально ходит и на что тратит бюджет	20–40 минут
Отчёт по параметрам в адресах	Какие метки и фильтры порождают копии	10 минут

Начинать надо с первого пункта: это бесплатный и самый честный источник, потому что система прямо сообщает, что именно она сочла копией. Дальше обход краулером — он найдёт то, о чём система ещё не знает. Ручная проверка типовых адресов занимает пять минут и регулярно выдаёт неприятные сюрпризы на сайтах, которые считались настроенными.

Одно уточнение по отчёту в панели вебмастера, из-за которого часто делают неверные выводы. Статусы там разные, и путать их нельзя. «Неканоническая» означает, что система нашла ваше указание на основную версию и приняла его — склейка работает, беспокоиться не о чем, кроме расхода бюджета обхода. «Дубль» без указания основной версии — вот это настоящая проблема: робот выбирает главную страницу сам, и его выбор может не совпасть с вашим. Смотреть надо именно разбивку по причинам исключения, а не общее число исключённых страниц: большая цифра сама по себе ничего не означает.

Три инструмента, которые закрывают почти всё

Постоянное перенаправление. Применяется там, где адрес не должен существовать вовсе: версии с www и без, с протоколом http, с лишним слешем, старые адреса после переезда. Настраивается на уровне сервера, работает жёстко и не оставляет вариантов. Важно проверить, что перенаправление именно постоянное и что цепочка не длиннее одного шага: три перенаправления подряд теряют часть сигнала и замедляют обход.

Указание основной версии. Атрибут, которым страница сообщает, какой адрес считать главным. Применяется там, где копия должна оставаться доступной для человека: карточка товара в разных категориях, страница с параметрами сортировки, адрес с рекламной меткой. Главное правило — указывать нужно на действительно существующую и открытую для индексации страницу, а не на удалённую или закрытую.

Если нужны детали, смотрите «Закрыл 1400 мусорных страниц от индексации — позиции взлетели за месяц».

Чистая карта сайта. В файле должны быть только основные версии страниц, открытые для индексации, с корректными датами последнего изменения. Карта, куда движок складывает все адреса подряд, включая копии, работает против вас: она прямо сообщает роботу, что все эти страницы вы считаете самостоятельными.

Эти три инструмента закрывают подавляющее большинство случаев. Четвёртый, вспомогательный, — настройка обработки параметров в панели вебмастера, где можно указать, какие метки в адресах не меняют содержание страницы.

Типичные ошибки при борьбе с дублями

• Закрыть дубли в robots и считать вопрос решённым. Запрет на обход не равен запрету на индексацию: страница может остаться в выдаче, просто без описания. Хуже того, закрытая от обхода страница не сообщит роботу указание на основную версию — он его просто не увидит.
• Каноникал, ссылающийся сам на себя у каждой копии. Технически валидно, практически бесполезно: каждая копия объявляет себя основной.
• Указание основной версии на страницу, закрытую от индексации или отдающую ошибку. Сигнал игнорируется целиком.
• Массовое перенаправление всего подряд на главную. Система нередко трактует это как ошибку настройки, и вес не передаётся.
• Точечные правки без общей картины. Самая частая ошибка: чинят один тип дублей, порождая другой.
• Лечение симптомов вместо причины. Если движок генерирует копии автоматически, удалять их вручную бесполезно — они появятся снова к следующей неделе.
• Удаление страниц вместо склейки. Вместе с копией теряются накопленные ссылки и поведенческие данные, которые можно было передать основной версии.

Порядок работы, чтобы копии не вернулись

Этап	Что делаем	Как проверяем
1. Инвентаризация	Собираем полный список версий каждой страницы из панели, краулера и логов	Список адресов сходится по всем трём источникам
2. Определение основных версий	Для каждой группы выбираем адрес, который останется главным	У каждой группы ровно один основной адрес
3. Настройка на уровне движка	Убираем причину генерации копий, а не сами копии	После настройки новые копии не появляются за неделю
4. Склейка существующих	Перенаправления и указания основной версии по типам	Проверка десятка адресов вручную через инструмент проверки ответа сервера
5. Чистка карты сайта	Оставляем только основные версии со свежими датами	Количество адресов в карте совпадает с числом основных страниц
6. Переобход	Отправляем основные версии и ключевые разделы	Дата обхода в панели обновилась
7. Контроль	Раз в месяц смотрим отчёт по исключённым страницам	Число дубликатов снижается и не растёт обратно

Третий этап — ключевой и самый пропускаемый. Пока движок продолжает отдавать одну запись по восьми адресам, вы будете склеивать копии бесконечно. Настройка причины обычно занимает от часа до дня и делается один раз, а ручная чистка — навсегда.

Когда похожие страницы дублями не являются

Обратная крайность встречается не реже: в порыве чистки склеивают страницы, которые должны жить отдельно, и теряют трафик. Различать их помогает один вопрос — есть ли между страницами разница, значимая для человека, который пришёл из поиска.

• Страницы фильтра под реальный спрос. Если люди ищут не «диваны», а «угловые диваны с механизмом еврокнижка», отфильтрованная страница закрывает отдельный запрос. Такую страницу не склеивают, а открывают, дают ей собственный заголовок, описание и текст.
• Товары одной модели в разных исполнениях. Если различаются цена, наличие или характеристики, это разные карточки. Склейка приведёт к тому, что часть ассортимента исчезнет из выдачи.
• Страницы пагинации. Содержимое разное, склейка выбрасывает из индекса товары со второй и последующих страниц.
• Посадочные под города с реальным наполнением: своим адресом, контактами, примерами работ, ценами для этого региона.
• Статья и коммерческая страница по одной теме. Разные намерения, разные форматы — их не склеивают, а разводят по формулировкам и связывают ссылками.

Если нужна помощь по теме — создание сайтов.

Практическое правило: перед склейкой посмотрите в панели вебмастера, есть ли у второстепенной страницы собственные запросы с показами. Если есть — это не дубль, а недоработанная самостоятельная страница, и правильное действие противоположное: не убирать, а дописать.

Подробнее об этом — в статье «Дубли страниц съели позиции 40% сайтов в рунете — проверьте свой за 2 минуты».

Как понять, что чистка сработала

Немедленного эффекта не будет, и это нормально: роботу нужно переобойти сайт и переоценить структуру. Смотреть надо на последовательность признаков.

1. Первые две-три недели. В отчёте по страницам в поиске растёт число исключённых как неканонические — это правильно, система начала склеивать.
2. Третья-шестая неделя. Улучшается индексация нужных страниц: новые материалы попадают в выдачу быстрее, изменения подхватываются оперативнее. Это первый практический эффект.
3. Второй-третий месяц. Подтягиваются позиции по запросам, где раньше система чередовала два адреса. Рост плавный, без скачков.
4. Дальше. Стабилизируется общее число страниц в индексе: оно перестаёт хаотично прыгать от обхода к обходу.

Отдельно советую до начала работ зафиксировать три цифры: сколько страниц в индексе, сколько исключено и по каким причинам, сколько адресов робот обходит в сутки. Без этой точки отсчёта через два месяца невозможно будет сказать, что изменилось.

Частые вопросы

Сколько дублей считается нормой?
В идеале — ноль, но на практике важно другое: чтобы все копии были склеены или закрыты. Система понимает техническую природу адресов, ей нужен чёткий сигнал об основной версии. Опасно именно тогда, когда сигнала нет и робот выбирает наугад.

Через сколько вырастут позиции после чистки?
Эффект накапливается: сначала восстанавливается индексация важных страниц, через месяц-два подтягиваются позиции. Резкого скачка ждать не стоит.

Можно ли просто закрыть всё лишнее в robots?
Нельзя. Запрет на обход не убирает страницу из индекса и мешает роботу увидеть указание на основную версию. Robots подходит для служебных разделов, а не для склейки.

Что делать со страницами пагинации?
Не склеивать их с первой страницей: содержимое разное, и склейка приведёт к выпадению товаров из индекса. Правильнее сделать уникальные заголовки с номером страницы и оставить их открытыми.

Опасны ли адреса с рекламными метками?
Опасны, если они попадают в индекс. Решается указанием основной версии на чистый адрес и настройкой обработки параметров в панели вебмастера.

Считаются ли дублями похожие страницы под разные города?
Считаются, если различаются только названием города. Чтобы страница была самостоятельной, на ней должны быть свои адрес, контакты, примеры и хоть какое-то содержание, относящееся именно к этому городу.

Коротко

• Дубль — один и тот же материал по нескольким адресам; человек их не видит, робот видит все.
• Основной источник — настройки движка и фильтры каталога, а не действия владельца.
• Вред тройной: распыление сигналов, трата бюджета обхода и падение доверия ко всему домену.
• Находятся за двадцать минут через отчёт по страницам в поиске и обход краулером.
• Закрытие в robots склейкой не является и мешает роботу увидеть указание на основную версию.
• Чинить надо причину генерации копий, иначе ручная чистка превращается в бесконечную работу.

Если позиции поползли вниз, а понятной причины не видно, разбор дублей — первое, с чего стоит начать: это дёшево, быстро и объясняет ситуацию чаще, чем любые другие гипотезы. Приходите на SEO-консультацию: посмотрим отчёт по исключённым страницам, найдём источник копий на вашем движке и составим порядок склейки, после которого проблема не вернётся.