Дубли страниц в Яндексе: как найти, почему возникают и как устранить

Дубли страниц в Яндексе не ломают сайт и не вызывают ошибок: страницы открываются, админка молчит, владелец не видит ничего подозрительного. При этом продвигаемая страница может не выходить в топ годами просто потому, что у неё есть три близнеца по другим адресам, и поисковая система вынуждена выбирать между ними — а выбирает она не всегда ту, которую вы оптимизировали.

Механизм потерь тройной, и он одинаково работает и на сайте услуг, и на каталоге. Ссылочный вес делится между копиями вместо того, чтобы концентрироваться на одном адресе. Квота обхода тратится на копии, из-за чего новые страницы попадают в поиск с задержкой. Поведенческие сигналы размазываются между несколькими адресами, и ни один из них не набирает убедительной статистики. Ниже — откуда берутся дубли, как их найти за час и чем закрывать каждый тип, потому что универсального средства здесь нет.

Что Яндекс считает дублем

Дублем считаются две и более страницы с одинаковым или почти одинаковым содержимым, доступные по разным адресам. Слово «почти» здесь ключевое: полного совпадения до буквы не требуется. Если две страницы отличаются одним словом в заголовке и порядком товаров в списке, для поисковой системы это одна и та же страница.

Важная деталь, которая меняет отношение к проблеме: Яндекс не «наказывает» за дубли в смысле фильтра. Он их склеивает — выбирает одну страницу главной, а остальные помечает как дубли и убирает из поиска. Никакого уведомления при этом нет, санкций нет, а трафик на выбранную не вами страницу просто не приходит, потому что она не оптимизирована и на неё не ведут внешние ссылки.

Отдельная разновидность — страницы, которые формально не дубли, но воспринимаются как малоценные из-за шаблонности. Сотня карточек, отличающихся только артикулом, или страницы городов с подставленным названием в тех же трёх абзацах попадают в исключённые с пометкой о недостаточном качестве. Лечение здесь другое, чем у адресных дублей, и его стоит разделять с самого начала.

Откуда берутся дубли: полный список источников

Дубли почти никогда не создают руками. Их порождает система: настройки сервера, движок, плагины, рекламные метки. Поэтому и искать их надо не глазами, а по списку типовых источников.

Источник	Как выглядит	Где встречается
Версии с www и без	Оба адреса отдают код 200 и одинаковую страницу	Любой сайт без настроенного редиректа
Протоколы http и https	После установки сертификата старая версия осталась доступной	Сайты, переехавшие на защищённый протокол
Слэш в конце адреса	Адрес со слэшем и без — два разных адреса для сервера	Чаще на самописных движках и после переносов
Параметры сортировки и фильтров	Один набор товаров по десяткам адресов с параметрами	Интернет-магазины, каталоги услуг
Рекламные метки в адресе	Одна страница доступна по адресу с меткой и без неё	Все, кто запускает рекламу и рассылки
Пагинация	Вторая и третья страницы списка почти не отличаются от первой	Каталоги, блоги, разделы новостей
Теги и рубрики	Одни и те же записи в нескольких лентах	Блоги, особенно на популярных движках
Страницы вложений	Каждая загруженная картинка получает свой адрес	Сайты на движках с медиабиблиотекой
Версии для печати	Тот же текст по адресу с признаком печати	Сайты с функцией печати страницы
Товар в нескольких категориях	Одна карточка по трём разным путям	Каталоги с товарами в нескольких разделах
Внутренний поиск	Тысячи адресов с поисковым запросом внутри	Любой сайт с формой поиска, открытой для обхода
Регистр букв в адресе	Адрес с заглавными и строчными отдаёт одно и то же	Серверы, не приводящие адрес к нижнему регистру

Первые три строчки таблицы проверяются руками за пять минут и лечатся одним правилом на сервере — с них и стоит начинать. Остальные требуют обхода сайта краулером, потому что вручную их не обнаружить: адреса с параметрами не показываются в меню и рождаются только при нажатии на фильтр.

Полные и частичные дубли: почему лечение разное

Полный дубль повторяет страницу целиком: тот же текст, те же заголовки, та же разметка. Такие копии порождают технические причины — протокол, слэш, метки. Лечатся они на уровне адресов: лишний вариант должен либо перенаправлять на основной, либо явно указывать на него как на канонический.

Частичный дубль повторяет значительную часть страницы, но не всю. Классические примеры: карточки товаров одной линейки, отличающиеся объёмом упаковки; страницы услуг по городам с одинаковым текстом и подставленным названием; описания категорий, скопированные из соседней категории с заменой одного слова. Здесь редиректы не помогут — страницы нужны все, они разные по смыслу и по запросам. Лечение содержательное: у каждой должно появиться то, чего нет у соседей.

Тему разбирал отдельно: «Дубли страниц — тихий убийца трафика. Как найти и обезвредить».

Отличать их надо до начала работ, потому что попытка закрыть частичные дубли каноническим адресом приводит к типовой ошибке: страницы городов схлопываются в одну, и вместо десяти регионов сайт остаётся с одним. Обратная ошибка тоже встречается — уникализируют текст на адресах с рекламными метками, хотя достаточно было одной директивы.

Как найти дубли: четыре способа

Помогу с продвижением: вывод сайта в топ Яндекса — вывожу сайты в топ Яндекса белыми методами.

Порядок проверки я держу такой: от самого авторитетного источника к самому подробному. Первым идёт то, что видит сам поисковик, последним — полный обход сайта.

1. Яндекс.Вебмастер, раздел страниц в поиске. Откройте вкладку исключённых страниц и отсортируйте по статусу. Дубли выделены отдельным статусом, рядом указан адрес, который система считает основным. Это единственный источник, который показывает решение поисковика, а не ваше предположение о нём.
2. Проверка адресов руками. Откройте главную страницу в вариантах: с www и без, по обоим протоколам, со слэшем и без, с добавленной меткой вида «?utm_source=test», с заглавной буквой в пути. Все варианты, кроме одного, обязаны отвечать перенаправлением на основной. Если каждый отдаёт код 200, у вас пять копий главной.
3. Обход краулером. Любой инструмент полного обхода собирает отчёт по повторяющимся заголовкам, описаниям и содержимому. Одинаковые заголовки у десятков страниц — почти всегда признак дублей или незаполненного шаблона.
4. Поиск по оператору site. Введите в поиске запрос вида «site:вашсайт.ру» вместе с куском текста в кавычках со спорной страницы. Если в выдаче несколько адресов с одним фрагментом, копии живые и проиндексированы.

Пятый способ, о котором забывают: посмотрите статистику обхода в Вебмастере за последнюю неделю. Там перечислены адреса, которые робот реально скачивал. Если среди них сплошные адреса с параметрами сортировки и результатами внутреннего поиска, вы видите, куда уходит квота обхода, ещё до всякого анализа содержимого.

Чем закрывать: четыре инструмента и их границы

Инструментов ровно четыре, и каждый решает свою задачу. Подмена одного другим — источник половины проблем, которые я вижу при разборе сайтов.

Инструмент	Когда применять	Чего он не делает
Постоянный редирект 301	Копия не нужна ни людям, ни роботам: протокол, www, слэш, старые адреса после переезда	Не подходит, если страница должна оставаться доступной посетителю
Канонический адрес	Обе страницы нужны людям, но в поиске должна быть одна: фильтры, метки, карточка в нескольких категориях	Не запрет, а рекомендация: поисковик может её проигнорировать при сильных различиях
Метатег noindex	Страница нужна посетителю, но в поиске не нужна вовсе: результаты внутреннего поиска, служебные разделы	Не работает, если страница закрыта в robots.txt — робот не зайдёт и не увидит запрет
Директива Clean-param	Адреса различаются только незначащими параметрами: метки, идентификаторы сессий	Понимает её только Яндекс, для второй системы нужен канонический адрес

Отдельно про robots.txt: закрытие адреса в этом файле дублем управлять не помогает. Робот не заходит на страницу, но узнаёт о ней по ссылкам и может показать её в выдаче без описания. Если страницу нужно гарантированно убрать из поиска, её оставляют открытой для обхода и ставят метатег с запретом индексации — только так робот прочитает запрет.

Вторая частая ошибка — противоречивые сигналы. Страница одновременно закрыта в robots, содержит канонический адрес на саму себя и стоит в карте сайта. Поисковая система в такой ситуации делает по-своему, и предсказать результат нельзя. Перед выкладкой правок проверьте, что все четыре сигнала — код ответа, метатег, канонический адрес и карта сайта — говорят одно и то же.

Смежный материал по теме — «Почему сайт не растёт в Яндексе: 12 технических причин, которые тормозят позиции».

Типовые дубли на сайтах и блогах

На сайтах, собранных на популярных движках, набор дублей повторяется от проекта к проекту. Проверить их стоит списком, даже если ничего не подозреваете.

• Страницы вложений. Каждая загруженная картинка получает собственный адрес со страницей, на которой нет ничего, кроме этой картинки. На блоге с сотней статей это несколько сотен пустых страниц. Отключается настройкой темы или плагина, либо перенаправлением на запись.
• Архивы по датам. Ленты по месяцам и годам повторяют содержимое рубрик. Для большинства сайтов они не нужны в поиске вовсе.
• Метки и рубрики одновременно. Если запись стоит и в рубрике, и в трёх метках, её анонс появляется в четырёх лентах. Оставьте в поиске один тип группировки, обычно рубрики.
• Лента автора. На сайте с одним автором она полностью повторяет главную страницу блога.
• Пагинация комментариев. При разбиении комментариев на страницы каждая порождает отдельный адрес с тем же текстом статьи.
• Служебные страницы. Адреса восстановления пароля, корзины, оформления заказа не должны попадать в поиск.
• Дубли title и description: как найти и чем это грозит

Проверить всё это можно одним обходом сайта: отсортируйте отчёт краулера по заголовку и посмотрите на группы с одинаковым значением. Обычно первые же строки показывают, какой из перечисленных механизмов у вас включён.

Дубли в каталоге: фильтры и пагинация

В интернет-магазине основной поставщик дублей — фильтры. Каждое сочетание параметров порождает адрес, а сочетаний в каталоге с пятью фильтрами получаются тысячи. При этом часть таких страниц полезна: страница «шкафы-купе белые» отвечает на реальный спрос и может собирать трафик.

Разделение делается по одному признаку — есть ли у сочетания фильтров собственный поисковый спрос:

• Спрос есть. Страница превращается в полноценную посадочную: собственный заголовок, собственный текст, канонический адрес на саму себя, ссылка из меню или из перечня популярных подборок. Проверить спрос можно в Вордстате за десять минут.
• Спроса нет. Страница остаётся доступной посетителю, но получает канонический адрес на основную категорию, а параметры сортировки закрываются от обхода. В поиске остаётся одна категория.
• Сочетание трёх и более фильтров. Закрывается всегда: спроса на такие комбинации не бывает, а адресов они порождают больше всего.
• Дубли title и description: как найти и чем это грозит

Если нужна помощь по теме — заказать сайт.

С пагинацией правило другое, чем было принято раньше. Каждая страница списка должна иметь канонический адрес на саму себя, а не на первую страницу — иначе робот не увидит товары со второй и последующих страниц, и часть каталога останется вне индекса. Различать страницы помогает добавление номера в заголовок. Текст-описание категории, который обычно висит под списком товаров, на второй и последующих страницах лучше не выводить: именно он делает их похожими друг на друга.

Порядок работ и чего ждать по срокам

Собрав список дублей, чинить его подряд не стоит: первыми уйдут мелочи. Порядок, который даёт результат быстрее всего:

Если нужны детали, смотрите «Почему падает трафик на сайте: 12 реальных причин и как их устранить».

1. Зеркала и протокол. Одно правило на сервере закрывает копии главной и всех внутренних страниц сразу. Это самая дешёвая правка с самым большим эффектом.
2. Слэш и регистр. Тем же файлом настроек, одним блоком с предыдущим пунктом.
3. Рекламные метки. Директива для Яндекса и канонический адрес для остальных. Правка на полчаса, снимает сотни адресов.
4. Внутренний поиск и служебные разделы. Запрет индексации метатегом, чтобы робот перестал тратить на них обход.
5. Фильтры каталога. Самая долгая часть: нужно разобрать спрос и решить по каждой группе. Занимает от нескольких дней.
6. Частичные дубли. Уникализация карточек и региональных страниц. Работа на месяцы, идёт параллельно с остальным продвижением.
7. Внутренние ссылки. После настройки редиректов проверьте, что меню и перелинковка ведут сразу на правильные адреса, а не через перенаправление.

По срокам: технические правки применяются мгновенно, но переиндексация занимает время. Мелкий сайт пересчитывается за две-три недели, крупный каталог — за месяц-два, потому что робот должен заново обойти все адреса и увидеть новые сигналы. Ускорить процесс частично помогает переобход по списку адресов в Вебмастере и обновлённая карта сайта с актуальными датами изменения.

Важное предупреждение про ожидания: склейка дублей сама по себе не поднимает позиции. Она возвращает странице тот вес, который у неё уже был, но раздавался копиям. Если страница слабая по содержанию, после устранения дублей она останется слабой — просто перестанет терять то, что имеет.

Частые вопросы

Дубли — это фильтр или нет?
Не фильтр. Яндекс склеивает копии и показывает одну из них, остальные помечает как дубли в разделе исключённых страниц. Уведомления об этом не приходит, санкций на сайт не накладывается. Потери происходят не от наказания, а от размывания сигналов между адресами.

Можно ли закрыть дубли одним robots.txt?
Нет. Запрет в этом файле останавливает обход, но не индексацию: страница может попасть в выдачу по внешним ссылкам, а робот не увидит на ней ни канонического адреса, ни метатега с запретом. Для удаления из поиска нужен либо редирект, либо открытый обход с метатегом noindex.

Пагинацию закрывать от индексации?
Не закрывать. Через страницы пагинации робот доходит до товаров и записей, и запрет обхода отрезает часть каталога от индексации. Правильный вариант — канонический адрес на саму страницу, уникальный заголовок с номером и отсутствие повторяющегося описания категории на второй и последующих страницах.

У нас страницы услуг по двадцати городам с почти одинаковым текстом. Это дубли?
Это частичные дубли, и они попадают в исключённые как малоценные. Редиректы и канонические адреса здесь применять нельзя — страницы нужны все. Лечится содержанием: местный телефон и адрес, примеры выполненных работ в этом городе, местные особенности спроса, отличающиеся цены. Одного подставленного названия города недостаточно.

Сколько ждать после исправления?
Пока робот заново обойдёт затронутые адреса. Для сайта на несколько сотен страниц это обычно две-три недели, для каталога на десятки тысяч адресов — месяц и больше. Отслеживать удобнее не по позициям, а по числу страниц в поиске и по составу исключённых в Вебмастере.

Стоит ли удалять дублирующие страницы совсем?
Удалять физически нужно только то, что не нужно ни людям, ни поиску, и обязательно с настройкой корректного кода ответа на старый адрес. Если страница полезна посетителю — например, отфильтрованный список товаров, — её оставляют доступной и закрывают каноническим адресом. Удаление без редиректа порождает новую проблему: битые ссылки внутри сайта и в чужих публикациях.

Коротко

• Дубли не вызывают фильтра: Яндекс склеивает копии и сам выбирает главную, а трафик уходит на страницу, которую вы не оптимизировали.
• Копии главной по протоколу, www, слэшу и регистру проверяются руками за пять минут и закрываются одним правилом на сервере — начинать надо с них.
• Полные дубли лечатся адресами: редирект или канонический адрес. Частичные — только содержанием, и путать эти два случая нельзя.
• Robots.txt дублями не управляет: он останавливает обход, а не индексацию, и мешает роботу увидеть запрет в метатеге.
• В каталоге страницы фильтров делят по наличию спроса: под спрос делают посадочную с собственным текстом, без спроса — канонический адрес на категорию.
• После правок нужен пересчёт: от двух-трёх недель на небольшом сайте до месяца и больше на крупном каталоге. Позиции сами по себе от склейки не растут — возвращается только потерянный вес.
• Дубли title и description: как найти и чем это грозит

Если нужно найти дубли на конкретном сайте и получить список правок с указанием, что закрывать редиректом, что каноническим адресом, а что переписывать — это SEO-консультация: разбираю структуру адресов вместе с вами и отдаю порядок действий с приоритетами. Начать можно с быстрой проверки — бесплатный аудит сайта показывает основные технические находки, а доработка сайта закрывает те из них, которые требуют правок в коде.