Дубли страниц — тихий убийца трафика. Как найти и обезвредить

Дубли страниц опаснее большинства технических проблем ровно тем, что ничего не ломают внешне: сайт открывается, каталог работает, товары на месте, ошибок в панели нет. А в поиске при этом медленно оседают позиции, из индекса пропадают карточки, и владелец ищет причину в текстах, ссылках и подрядчике — везде, кроме того места, где она находится.

Механика простая и от этого обидная. Поисковая система обнаруживает несколько адресов с одинаковым содержимым и обязана выбрать один. Выбор она делает сама, по своим критериям, и часто в пользу не той страницы, которую вы продвигали. Всё, что накопил ваш адрес — внешние ссылки, поведение посетителей, возраст — распределяется между копиями. Ниже — как найти дубли на своём сайте, чем их лечить и в каком порядке.

Почему дубли снижают трафик

Вред идёт по четырём направлениям одновременно, и ни одно из них не выглядит как авария.

• Размывание сигналов. Внешние ссылки, переходы и поведенческие данные делятся между копиями. Вместо одной сильной страницы получается три слабых, и ни одна не выходит наверх.
• Расход квоты обхода. Робот берёт ограниченное число адресов в сутки. Если половину этого числа занимают копии, новые товары и статьи попадают в индекс с задержкой в недели.
• Выбор не той страницы. В выдаче оказывается адрес с параметрами или страница печати вместо нормальной карточки. Выглядит это в сниппете плохо, конверсия падает.
• Снижение общей оценки сайта. Большая доля малоценных и почти одинаковых страниц влияет на восприятие всего домена, а не только конкретных адресов.
• Дубли title и description: как найти и чем это грозит

Отдельно стоит сказать про масштаб. На сайте услуг из двадцати страниц дубли обычно исчисляются единицами. На интернет-магазине с фильтрами их бывает в десятки раз больше, чем реальных страниц: каждое сочетание параметров сортировки порождает новый адрес с тем же набором товаров. Именно поэтому проблема почти всегда обнаруживается на каталогах и почти никогда — на визитках.

Пять типов дублей, которые есть почти у всех

Тип	Как выглядит	Откуда берётся
Технические	Сайт открывается с www и без, по http и https, со слэшем и без, с index.php	Не настроено единое главное зеркало на сервере
Параметрические	Адреса с метками, фильтрами, сортировками, идентификаторами сессий	Каталог, реклама, внутренний поиск, партнёрские ссылки
Контентные	Один товар в трёх категориях, версия для печати, региональные копии текста	Структура каталога, шаблон, поддомены городов
Пагинация	Вторая и третья страницы списка почти не отличаются от первой	Однотипные заголовки и описания на всех страницах перебора
Служебные	Теги, архивы по датам, страницы авторов, страницы вложений	Настройки движка по умолчанию, особенно в блоговых системах

Технические дубли проверяются вручную за пять минут: откройте главную во всех вариантах написания адреса и посмотрите, что происходит. Все версии, кроме одной основной, обязаны вести на неё редиректом 301. Если каждая отвечает кодом успешной загрузки — у вас несколько копий сайта целиком, и это ещё до того, как речь зашла о каталоге.

Параметрические дубли — самая массовая группа. Их особенность в том, что они появляются постоянно, без вашего участия: достаточно, чтобы кто-то поделился ссылкой с рекламной меткой или чтобы посетитель применил фильтр. Поэтому здесь нужны не разовая чистка, а правила, которые работают всегда.

Смежный материал по теме — «Дубли страниц: тихий убийца трафика, о котором молчат подрядчики».

Как найти дубли на своём сайте

Четыре способа, которые дополняют друг друга. Ни один по отдельности полной картины не даёт.

1. Панель вебмастера. Раздел с исключёнными страницами и указанием причины — самый быстрый источник. Отсортируйте по причине «дубль» и посмотрите, какой адрес система считает основным. Часто уже здесь становится видно, что канонической выбрана не та страница.
2. Обход краулером. Программа обходит сайт целиком и показывает совпадающие заголовки, описания и содержимое. Одинаковый title у сорока страниц — почти всегда признак дублей или неработающего шаблона.
3. Оператор site в поиске. Запрос вида site:вашсайт.ру с добавлением фрагмента текста в кавычках показывает, сколько адресов с этим фрагментом система знает. Способ грубый, но для быстрой проверки конкретной страницы подходит.
4. Журналы сервера. Показывают, по каким адресам реально ходил робот за последний месяц. Если в списке преобладают адреса с параметрами, вы видите, куда уходит квота обхода.

Помогу с продвижением: раскрутка сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Порядок работы такой: краулером собираете общую картину и список подозрительных адресов, панелью вебмастера проверяете, какие из них реально мешают индексации, журналами уточняете, на что тратится обход. Обратная последовательность занимает вдвое больше времени и обычно заканчивается длинным списком без приоритетов.

Отдельная проверка, о которой забывают: поиск полных копий сайта за его пределами. Тестовая версия на поддомене разработчика, старая версия на прежнем домене, зеркало на конструкторе, оставшееся от давнего эксперимента. Эти копии конкурируют с основным сайтом напрямую и находятся поиском по точной фразе из вашего текста в кавычках.

Четыре инструмента и что каким лечится

Инструментов немного, и главная ошибка — применять их не по назначению. Ниже соответствие типа проблемы и способа решения.

Инструмент	Что делает	Когда применять	Когда применять нельзя
Редирект 301	Постоянно перенаправляет со старого адреса на новый, передаёт накопленные сигналы	Технические дубли, смена адреса страницы, склейка зеркал	Если обе страницы нужны посетителю — например, фильтр каталога
Атрибут canonical	Указывает, какой адрес считать основным, обе страницы остаются доступны	Фильтры, сортировки, метки, товар в нескольких категориях	Когда страницы реально разные — это рекомендация, и система может её проигнорировать
Директива Clean-param	Сообщает Яндексу, какие параметры адреса не меняют содержимое	Рекламные метки, идентификаторы сессий, партнёрские хвосты	Параметры, которые меняют содержание страницы
Мета-тег noindex	Запрещает включать страницу в поиск, обход при этом разрешён	Служебные разделы, результаты внутреннего поиска, корзина, личный кабинет	Страницы, которые должны собирать трафик

Отдельно про файл robots. Запрет обхода в нём — не средство от дублей. Робот не заходит внутрь закрытой страницы, но может узнать о ней по внешним ссылкам и показать её в выдаче без описания. И главное: закрытую в robots страницу робот не прочитает, а значит, не увидит ни canonical, ни noindex. Правило простое: если страницу нужно убрать из поиска гарантированно, её оставляют открытой для обхода и закрывают мета-тегом.

Если нужны детали, смотрите «Дубли страниц в Яндексе: как найти, почему возникают и как устранить».

Пошаговый план устранения

Порядок здесь важнее скорости: каждый следующий шаг опирается на результат предыдущего.

1. Зафиксируйте исходную точку. Число страниц в индексе, число визитов из поиска, список позиций по основным запросам. Без этого через месяц будет невозможно понять, помогло или нет.
2. Закройте технические дубли. Одно главное зеркало, единое правило по слэшу, редирект с http на https и с index.php на корень. Это делается настройками сервера и решает самую грубую часть проблемы.
3. Проверьте внутренние ссылки. После настройки редиректов меню и подвал должны вести сразу на правильные версии адресов, иначе каждый переход по сайту пойдёт через редирект и обход замедлится.
4. Разберитесь с параметрами. Определите, какие параметры меняют содержимое, а какие нет. Для не меняющих — Clean-param и canonical на чистый адрес. Для фильтров, которые должны собирать трафик, — отдельные страницы с уникальными заголовками.
5. Приведите в порядок пагинацию. Уникальные заголовки с номером страницы, canonical на саму страницу перебора, а не на первую. Склейка всей пагинации на первую страницу выбрасывает из индекса товары, которые есть только на пятой.
6. Отключите служебные генерации. Страницы вложений, лишние архивы, теги, созданные по одному разу. Всё, что не собирает трафик и не нужно посетителю.
7. Почистите карту сайта. В ней остаются только адреса, которые должны быть в поиске: без редиректов, без закрытых страниц, без копий.
8. Отправьте на переобход. Приоритетные страницы — вручную через панель вебмастера, остальные подтянутся сами.
9. Сверьтесь через месяц. Число исключённых страниц должно снижаться, глубина обхода — расти. Полная картина складывается за два-три месяца.

Если правки требуют доступа к серверу и шаблону, разумно оформить их одним списком с указанием конкретных адресов, а не общими формулировками. Это же относится к любой доработке сайта: задача «убрать дубли» без перечня адресов и правил обычно возвращается невыполненной.

Типичные ошибки при склейке

• Редирект всех старых адресов на главную. Массовое перенаправление на главную система воспринимает как мягкую ошибку и накопленные сигналы не передаёт. Каждый адрес должен вести на ближайшую по смыслу страницу.
• Canonical на первую страницу пагинации. Товары со второй и последующих страниц выпадают из индекса, потому что система считает эти страницы копиями первой.
• Canonical на себя же в шаблоне с параметрами. Если атрибут генерируется автоматически из текущего адреса, каждая копия объявляет каноничной сама себя — эффект нулевой. Проверяется просмотром кода страницы с параметром.
• Закрытие дублей в robots вместо мета-тега. Робот не читает закрытую страницу и не видит запрет, а адрес всё равно попадает в выдачу по внешним ссылкам.
• Одновременное применение редиректа и canonical. Противоречивые указания на один адрес: система выбирает сама, и результат непредсказуем.
• Удаление страниц вместо склейки. Всё, что адрес накопил, теряется. Правильно — редирект, а не удаление.
• Разовая чистка без правил. Через три месяца параметрические дубли появятся снова, потому что источник их появления не устранён.
• Дубли title и description: как найти и чем это грозит

Как не допускать появления дублей

Профилактика дешевле лечения примерно вдесятеро, и сводится она к нескольким правилам, которые задаются один раз.

1. Единые правила адресов на уровне сервера. Одно зеркало, одно решение по слэшу, приведение адреса к нижнему регистру. Настраивается при запуске и больше не трогается.
2. Автоматический canonical в шаблоне. На каждой странице каталога он должен указывать на чистый адрес без параметров, а не на текущий.
3. Правило для новых параметров. Любой новый параметр, который добавляют разработчики или маркетологи, сразу попадает в список исключаемых, если не меняет содержимое.
4. Один товар — один адрес. Даже если карточка выводится в трёх категориях, адрес у неё один, а из категорий идут ссылки на него.
5. Проверка после любого обновления движка или шаблона. Обновления регулярно включают обратно отключённые генерации страниц.
6. Регулярный обход краулером. Раз в квартал для сайта услуг, раз в месяц для каталога. Занимает полчаса и ловит проблему до того, как она отразится на трафике.
7. Контроль тестовых версий. Копия на поддомене разработчика закрывается паролем, а не файлом robots — иначе она рано или поздно окажется в поиске.

Отдельно про региональные поддомены: копирование одного и того же текста с подстановкой названия города — это создание дублей в чистом виде. Такие поддомены либо наполняются реальными отличиями (адреса, условия, местные объекты, свои карточки в справочниках), либо не заводятся вовсе. Подробнее эта логика разобрана в материале про дублирование контента на сайте.

Частые вопросы

Как быстро восстановится трафик после устранения дублей?
Первые изменения видны через две-четыре недели — столько нужно роботу, чтобы переобойти изменённые адреса. Полная картина складывается за два-три месяца, на крупных каталогах дольше, потому что обход всего сайта занимает недели. Резкого скачка ждать не стоит: сигналы перераспределяются постепенно, и рост выглядит как плавный подъём, а не ступенька.

Подробнее об этом — в статье «Как найти страницы без трафика на сайте».

Сколько дублей считается нормой?
Абсолютное число ничего не говорит, смотреть надо на долю. Если из тысячи известных системе адресов в поиске четыреста, а шестьсот исключены как дубли — это авария. Если из тысячи исключено тридцать служебных адресов, это рабочая ситуация. Ориентир: доля страниц в поиске от общего числа известных должна быть выше восьмидесяти процентов для сайта услуг.

Нужно ли закрывать страницы фильтров каталога?
Зависит от того, есть ли на них спрос. Комбинации, которые люди действительно ищут — например, категория плюс один популярный признак, — стоит сделать полноценными страницами с уникальными заголовками и описанием: они приносят трафик. Всё остальное множество сочетаний закрывается canonical на основную категорию. Разделение делается по частотности, а не по интуиции.

Что делать со старым доменом, если сайт переехал?
Настроить постраничный редирект 301 на соответствующие адреса нового сайта — именно постраничный, а не общий на главную. Указать переезд в панели вебмастера. Домен держать продлённым минимум пару лет: пока на него ведут внешние ссылки, он передаёт вес. Удалять или бросать старый домен нельзя — это потеря всего накопленного.

Можно ли обойтись без программиста?
Часть работ делается в админке: мета-теги, настройки индексации, отключение генерации служебных страниц, чистка тегов. Редиректы, правила для параметров и canonical в шаблоне обычно требуют доступа к серверу или коду. Разумный подход — самому собрать полный список с адресами и нужными правилами, а исполнение отдать тому, у кого есть доступ.

Как понять, что причина падения трафика именно в дублях?
По совпадению трёх признаков. Первый: число страниц в поиске заметно меньше числа известных системе адресов, и разрыв растёт. Второй: в разделе исключённых преобладает причина «дубль» или «малоценная страница». Третий: в выдаче по вашим запросам появляются адреса с параметрами вместо нормальных страниц. Если совпало хотя бы два признака из трёх, начинать нужно отсюда, а не с текстов. Проверить общее состояние помогает разбор индексации сайта.

Коротко

• Дубли не ломают сайт внешне, но делят между копиями ссылки, поведение и возраст — вместо одной сильной страницы получается несколько слабых.
• Технические дубли проверяются вручную за пять минут: главная во всех вариантах адреса должна вести на одну версию редиректом 301.
• Самая массовая группа — параметрические дубли от фильтров, сортировок и рекламных меток; они появляются постоянно, поэтому нужны правила, а не разовая чистка.
• Инструментов четыре, и путать их нельзя: редирект — для склейки, canonical — для рекомендации, Clean-param — для меток, noindex — для служебных страниц.
• Файл robots от дублей не спасает: закрытую страницу робот не прочитает и не увидит там ни canonical, ни noindex.
• Профилактика дешевле лечения: единые правила адресов, canonical в шаблоне, регулярный обход краулером раз в месяц-квартал.
• Дубли title и description: как найти и чем это грозит

Если нужно найти дубли на конкретном сайте и получить список правок с адресами и правилами, а не общие рекомендации — это SEO-консультация: смотрю проект, показываю, где именно рвётся индексация, и составляю порядок работ для исполнителя.