Дубли страниц: тихий убийца трафика, о котором молчат подрядчики

Дубли страниц — тихий убийца трафика, о котором молчат подрядчики, и молчат по понятной причине: признать дубли значит признать, что технику никто не смотрел. Проблема не даёт красных сигналов в панелях, не роняет сайт, не приходит письмом. Она просто год за годом съедает результат: вы платите за тексты и ссылки, а страницы стоят на месте, и объяснение всегда находится внешнее — «алгоритм поменялся», «конкуренты вложились сильнее».

Ниже — что именно поисковик считает дублем, как их найти за один вечер своими руками, какой инструмент подходит под каждый тип и почему половина попыток «убрать дубли» делает хуже, чем было. В SEO с 2005 года, и почти в каждом сайте, который приходит на разбор, дубли находятся раньше, чем ошибки в текстах.

Что считается дублем, а что нет

Дубль — это ситуация, когда одно и то же содержимое доступно роботу по нескольким адресам. Ключевое слово здесь «роботу»: для человека проблемы нет, он открыл страницу и она работает. Робот же видит набор разных URL с совпадающим содержимым и обязан выбрать, какой из них показывать в выдаче и на каком копить накопленные сигналы.

Различать нужно три степени совпадения, потому что лечатся они по-разному.

• Полные технические дубли. Содержимое совпадает символ в символ, отличается только адрес: слеш на конце, www, параметр сортировки, метка рекламной кампании. Это самый массовый и самый безобидный в лечении тип.
• Частичные дубли. Совпадает основная часть текста, отличается обвязка: страницы пагинации, версии для печати, карточка товара в двух категориях, анонс и полный текст статьи. Здесь механическое решение часто вредит — часть таких страниц обязана быть в индексе.
• Смысловые дубли. Тексты разные, но отвечают на один и тот же запрос: две статьи про одно, услуга и посадочная страница под ту же услугу, региональная страница, скопированная с общей. Это уже не техника, а каннибализация, и правится она объединением, а не тегами.

Отдельно стоит массовое копирование описаний у поставщика в интернет-магазине. Формально это не дубли внутри сайта — это дубли относительно чужих сайтов, и поисковик решает, чью версию считать источником. Решает он обычно в пользу того, у кого сайт сильнее, то есть не в вашу.

Откуда берутся дубли

Источников пять, и четыре из них появляются сами, без чьего-либо участия. Именно поэтому дубли — не разовая проблема, а фон, который надо держать под контролем.

Параметры в адресе. Сортировка, фильтры, пагинация, идентификаторы сессий, метки рекламных кампаний, реферальные хвосты. Один товарный раздел с пятью фильтрами способен породить сотни адресов, за каждым из которых стоит тот же самый набор товаров в другом порядке. В каталогах это основной генератор мусора.

Версии адреса самого сайта. С www и без, http и https, со слешем на конце и без него, главная как корень и как index.php. Для владельца это один сайт, для робота — до восьми разных адресов с одинаковым содержимым. Проблема решается за час и почему-то живёт годами.

Служебные страницы движка. Архивы по датам, страницы авторов, теги, вложения медиафайлов, результаты внутреннего поиска, версии для печати, черновики с открытым доступом. WordPress по умолчанию плодит несколько таких типов сразу после установки.

Мультирегиональность и мультивалютность. Одна и та же услуга, размноженная по городам подстановкой названия в шаблон. Если отличается только топоним, поисковик видит копии, а не региональные страницы, и оставляет в индексе одну.

Ручное копирование. Менеджер завёл вторую карточку товара, потому что не нашёл первую. Копирайтер написал статью на тему, которая уже раскрыта три года назад. Разработчик оставил тестовую версию раздела на поддомене без запрета индексации. Эта категория самая опасная: технические копии находит любой краулер, а вторую статью про то же самое не найдёт никто, кроме человека.

Если нужны детали, смотрите «Дубли страниц — тихий убийца трафика. Как найти и обезвредить».

Чем дубли реально вредят

Вред складывается из четырёх независимых механизмов, и они усиливают друг друга.

Первый — размывание сигналов. Внешние ссылки, поведение пользователей, релевантность, которые должны были накопиться на одной странице, распределяются между копиями. Вместо одной страницы, дотягивающей до топа, получается три слабых, каждая из которых сидит на третьей странице выдачи.

Помогу с продвижением: продвижение сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

Второй — конкуренция версий между собой. Поисковик не понимает, какую из копий показывать по запросу, и меняет их местами от обновления к обновлению. Позиция скачет, средняя видимость падает, и внешне это выглядит как нестабильность алгоритма.

Третий — расход обхода. У каждого сайта есть лимит на количество страниц, которые робот готов посмотреть за визит. Если лимит уходит на бессмысленные комбинации фильтров, до новых товаров и свежих статей робот доходит через недели. Для каталога это прямой убыток: страницы существуют, но их нет в поиске.

Четвёртый — общая оценка сайта. Ресурс, у которого в индексе тысяча страниц мусора против двухсот полезных, оценивается как слабый целиком. Просадка достаётся и тем страницам, которые сделаны безупречно. Это и объясняет самый частый вопрос владельцев: почему хорошая статья не растёт, хотя написана лучше конкурентов.

Как найти дубли: порядок проверки

Проверка занимает вечер и не требует платных инструментов на первом круге. Порядок важен: каждый следующий шаг находит то, что предыдущий пропускает.

Инструмент	Что находит	Чего не покажет
Яндекс Вебмастер, раздел «Страницы в поиске»	Исключённые страницы с пометкой «дубль» и «малоценная», реальный масштаб проблемы	Дубли, которые робот ещё не обошёл; смысловые дубли двух разных текстов
Настольный краулер (обход сайта как роботом)	Совпадающие title и description, одинаковый объём текста, цепочки редиректов, ошибки canonical	Страницы, на которые нет ссылок внутри сайта
Поиск по фрагменту текста в кавычках с ограничением по сайту	Точные текстовые совпадения, включая случайные вставки одного абзаца в два раздела	Дубли, которых нет в индексе; переписанные своими словами копии
Логи сервера	Какие адреса робот обходит чаще всего и сколько времени тратит на мусор	Ничего о качестве содержимого — только маршруты обхода
Выгрузка URL из карты сайта против списка в индексе	Расхождение: что вы считаете сайтом и что им считает поисковик	Дубли внутри самой карты, если она генерируется с параметрами

Практический признак, по которому дубли видно быстрее всего, — совпадающие заголовки. Выгрузите все title краулером, отсортируйте, посмотрите повторы. Если один заголовок встречается двадцать раз, вы нашли шаблонную генерацию мусора, даже не разбираясь в её причинах.

Второй быстрый признак — разрыв между числом страниц на сайте и числом страниц в индексе. Если в каталоге восемьсот товаров, а в поиске сорок тысяч адресов, дальше можно не искать: параметры фильтров индексируются целиком.

Тип дубля и правильное решение

Универсального рубильника нет. Самая частая ошибка — закрыть всё найденное в robots.txt и считать вопрос решённым. Закрытая в robots страница не исчезает из индекса, она перестаёт быть доступной роботу, а значит, он больше не видит ни canonical на ней, ни редиректа с неё, и склейка не происходит вовсе.

Тип дубля	Что применять	Чего делать нельзя
www и без, http и https, слеш на конце	301-редирект на выбранную версию, главное зеркало в Вебмастере	Оставлять обе версии «на всякий случай»
Параметры сортировки, меток, сессий	Canonical на чистый адрес раздела	Запрет в robots вместо canonical
Комбинации фильтров каталога	Открыть в индекс только те комбинации, под которые есть спрос, остальным canonical на раздел	Открывать всё подряд ради «больше страниц в индексе»
Пагинация каталога и блога	Оставить в индексе с самоканоникалом, уникализировать title номером страницы	Ставить canonical со всех страниц пагинации на первую
Служебные разделы движка, внутренний поиск, версии для печати	Метатег noindex на самой странице	Только robots.txt — страница останется в индексе адресом без содержимого
Две страницы с ценностью, отвечающие на один запрос	Объединить содержимое в одну, со второй поставить 301	Удалять вторую в 404, теряя накопленные ссылки
Карточка товара в нескольких категориях	Один канонический адрес карточки вне категорий	Плодить одинаковые карточки с разными путями

Отдельная строка — описания товаров, скопированные у поставщика. Тегами это не лечится: нужно переписывать хотя бы верхнюю часть каталога, ту, что приносит основной спрос. Начинать логично с двадцати позиций, дающих большую часть переходов, а не с полного прайса в пять тысяч наименований.

Подробнее об этом — в статье «Дубли страниц съели позиции 40% сайтов в рунете — проверьте свой за 2 минуты».

Канонические ссылки: где ошибаются чаще всего

Canonical — самый аккуратный инструмент из всех: он не закрывает страницу, а сообщает, какую версию считать основной. И он же чаще всего оказывается причиной обвала трафика, потому что ошибку в нём не видно глазами.

• Canonical на главную со всех страниц. Классический результат неверной настройки плагина или шаблона. Сайт схлопывается в одну страницу за пару обновлений индекса.
• Canonical на несуществующий или редиректящий адрес. Робот получает противоречивый сигнал и игнорирует указание целиком, оставляя выбор за собой.
• Canonical и одновременно запрет в robots. Взаимоисключающая пара: страницу нельзя прочитать, значит, нельзя увидеть и указание на канонический адрес.
• Canonical с относительным путём. Работает не везде и не всегда, безопаснее абсолютный адрес с протоколом и доменом.
• Canonical на страницу с другим содержимым. Поисковик воспринимает указание как рекомендацию, а не как приказ, и при явном расхождении содержимого просто его отбрасывает.

Проверка простая: выгрузите краулером колонку canonical по всем страницам и посмотрите, сколько уникальных значений в ней получилось. Если у пятисот страниц указано двадцать канонических адресов, ищите причину до того, как это заметит поисковик.

robots.txt, noindex и редирект: не путать инструменты

Три механизма решают три разные задачи, и подмена одного другим — источник большей части неудачных «чисток».

robots.txt запрещает обход. Страница остаётся в индексе, но робот не читает её содержимое. Инструмент годится там, где нужно сэкономить ресурс обхода на заведомом мусоре — бесконечных комбинациях фильтров, результатах внутреннего поиска, служебных путях движка. Он не годится для удаления уже проиндексированного: закрытая страница застревает в выдаче без описания.

Метатег noindex запрещает показ в выдаче. Робот страницу читает, ссылки с неё проходит, но в поиск не выводит. Это правильный инструмент для служебных разделов, которые должны существовать для пользователя, но не для поиска. Важное условие: страница обязана оставаться открытой в robots, иначе тег никто не прочитает.

301-редирект переносит адрес вместе с накопленным весом. Это единственный способ объединить две страницы, каждая из которых что-то заработала. Удаление в 404 обнуляет всё, что страница накопила, и обрывает внешние ссылки на неё.

Если нужна помощь по теме — купить SEO-статьи.

Порядок действий при склейке: сначала объединить содержимое в лучшей версии, потом поставить редирект, потом переставить внутренние ссылки на новый адрес и только после этого убрать старый из карты сайта. Редирект, на который продолжают вести полсотни внутренних ссылок, — не ошибка, но лишний расход обхода на каждом визите робота.

Почему подрядчик о дублях молчит

Причин ровно три, и ни одна не про злой умысел.

Тему разбирал отдельно: «Почему ваш сайт в индексе, но его не существует для Яндекса — парадокс, о котором молчат сеошники».

Первая: техническая часть не входит в отчёт. Если работа продаётся как «десять текстов и двадцать ссылок в месяц», технический аудит в неё не заложен по деньгам. Дубли никто не ищет не потому, что скрывает, а потому, что за это не платят.

Вторая: дубли появились при разработке сайта или при переносе на новый шаблон. Признать их — значит признать свою ошибку и переделать бесплатно. Проще списать отсутствие роста на конкуренцию.

Третья: их правда не видно. Панель показывает исключённые страницы отдельным разделом, в который надо зайти осознанно. Отчёт по позициям, который присылают заказчику, о дублях не говорит ничего.

Проверить подрядчика можно одним вопросом: сколько страниц сайта в индексе и сколько из них исключено как дубли или малоценные. Если ответа нет в течение дня, техническую часть у вас не смотрят.

Регламент профилактики

Разовая чистка держится ровно до следующего изменения на сайте. Дальше добавляются товары, категории, фильтры, метки кампаний — и мусор возвращается. Рабочий минимум выглядит так.

1. Раз в квартал — обход сайта краулером и сверка числа страниц с числом в индексе. Расхождение больше чем в полтора раза требует разбора.
2. Раз в квартал — выгрузка title и поиск повторов. Это находит шаблонные ошибки быстрее любых других способов.
3. После каждого запуска рекламной кампании — проверить, не попали ли адреса с метками в индекс.
4. После каждого обновления движка или шаблона — проверить canonical на трёх типах страниц: главной, разделе каталога, карточке товара.
5. При добавлении нового фильтра — сразу решить, открывать ли его комбинации в индекс, и зафиксировать решение в правилах.
6. При публикации статьи — проверить поиском по сайту, нет ли уже материала на эту тему. Дешевле обновить старый, чем потом склеивать два.

Частые вопросы

Сколько дублей считается нормой? Абсолютного числа нет, смотреть надо на долю. Если исключённых как дубли страниц больше, чем страниц в поиске, проблема системная. Десяток технических копий на сайте из тысячи страниц погоды не делает.

Что удалять, а что склеивать? Если у страницы есть внешние ссылки, переходы из поиска или накопленная история — только склейка редиректом. Если это техническая копия, которая никогда никого не привлекала, достаточно canonical или noindex.

За сколько уйдут дубли из индекса? От двух недель до трёх месяцев в зависимости от того, как часто робот обходит сайт. Ускорить можно отправкой адресов на переобход и уменьшением числа страниц, на которые робот тратит визит.

Может ли за дубли прилететь фильтр? Отдельного наказания за технические дубли нет. Есть снижение общей оценки сайта и исключение страниц как малоценных, что по последствиям неотличимо от санкций.

Нужно ли закрывать пагинацию? Нет. Страницы пагинации ведут робота к товарам и статьям, закрытие обрывает маршрут обхода. Правильнее оставить их открытыми с собственным canonical и уникальным title.

Помогает ли переписывание текста на дублях? Только для смысловых дублей, где две страницы конкурируют за один запрос. Технические копии от переписывания не исчезают: адрес остаётся, содержимое подтягивается из той же базы.

Коротко

• Дубли — три разных явления: технические копии, частичные повторы и две страницы под один запрос. Инструмент под каждое свой.
• Основной вред не в наказании, а в размывании сигналов и в расходе лимита обхода на мусор.
• Поиск начинается с раздела исключённых страниц в Вебмастере и выгрузки повторяющихся title — это вечер работы без платных сервисов.
• robots.txt запрещает обход, noindex запрещает показ, 301 переносит вес. Подмена одного другим — причина большинства неудачных чисток.
• Canonical на главную со всех страниц и canonical вместе с запретом в robots — две самые дорогие ошибки в этой теме.
• Чистка держится до следующего изменения на сайте, поэтому нужен квартальный регламент проверки, а не разовая акция.

Если сайт не растёт при нормальном содержимом и внятной семантике, техническую базу стоит проверить раньше, чем добавлять новые тексты. Разобрать состав индекса, найти источники копий и понять, что склеивать, а что закрывать, можно на SEO-консультации — посмотрим, куда уходит ресурс обхода и какие страницы конкурируют между собой.