Убрали дубли страниц — трафик вырос вдвое. Рассказываю как

Убрали дубли страниц — трафик вырос вдвое: на одном проекте после чистки дублей это заняло три месяца, и никаких новых текстов и ссылок за это время не появилось. Сайт был тот же самый, страницы те же самые, изменилось только одно — поисковая система перестала выбирать между четырьмя копиями одной страницы и начала показывать одну. Ниже — механика: откуда копии берутся, почему владелец их не замечает, как найти и чем закрывать каждый тип.

Ситуация типовая до скуки. Контент выходит, подрядчик отчитывается о проделанной работе, органика стоит на месте месяцами. В такой момент обычно предлагают докупить ссылок или переписать тексты. А проблема сидит на уровне адресов: один и тот же материал доступен по нескольким URL, и каждый из них поисковик считает отдельной страницей.

Почему дубли не видны владельцу сайта

Человек заходит на сайт одним способом: набирает адрес или кликает по ссылке. Он видит одну страницу и не подозревает, что та же страница открывается ещё по трём адресам. Робот обходит сайт иначе — он идёт по всем ссылкам, которые нашёл, включая ссылки из чужих источников, из старых рассылок, из рекламных объявлений с метками. Каждый найденный адрес он скачивает и заносит в базу.

Дальше происходит то, что и создаёт проблему. Система обнаруживает несколько адресов с практически одинаковым содержимым и должна решить, какой из них показывать в выдаче. Решает она сама, по своим критериям, и её выбор регулярно не совпадает с вашим. В индексе остаётся адрес с меткой из рекламной кампании, а каноническая страница выпадает как «дубль». Внешние ссылки при этом ведут на выпавшую версию, и накопленный ими вес оказывается на странице, которую поиск не показывает.

Второй эффект тише и вреднее. У робота есть квота обхода — сколько страниц он готов скачать с вашего сайта за период. Квота зависит от того, насколько сайт кажется системе ценным и насколько быстро отвечает сервер. Если из тысячи скачанных адресов семьсот оказались копиями, значит на новые товары, свежие статьи и обновлённые цены пришлось всего триста. Отсюда классическая жалоба: «новую страницу опубликовали две недели назад, её до сих пор нет в поиске».

Откуда берутся дубли — полный список источников

Копии появляются не из-за небрежности, а из-за того, как устроены веб-серверы и движки сайтов. Сервер по умолчанию отдаёт содержимое по любому адресу, который к нему приводит, и не считает своей задачей выбирать главный вариант.

Тип дубля	Как выглядит	Откуда берётся
www и без www	www.сайт.ru и сайт.ru	Не задано главное зеркало на уровне сервера
http и https	http://… открывается наравне с https://…	Сертификат поставили, редирект настроить забыли
Слеш на конце	/uslugi и /uslugi/	Сервер отдаёт 200 на оба варианта
Параметры и метки	?utm_source=…, ?sort=…, ?from=…	Реклама, рассылки, сортировки в каталоге
Главная в двух видах	сайт.ru и сайт.ru/index.php	Движок отвечает по обоим адресам
Регистр в адресе	/Uslugi/ и /uslugi/	Ссылка с опечаткой, сервер не различает регистр
Товар в разных категориях	один товар по трём путям каталога	Движок формирует адрес от раздела
Пагинация и фильтры	десятки почти одинаковых страниц каталога	Комбинации фильтров плодят адреса автоматически

Отдельная категория — дубли по содержанию при разных адресах. Это когда карточки товаров отличаются одной цифрой в названии, а описание у всех одинаковое. Формально адреса разные и никакой технической склейки не требуется, но система всё равно объединяет такие страницы и оставляет из группы одну. Лечится это не редиректами, а описаниями: чтобы страницы остались в индексе, у каждой должен быть свой смысл.

Заметить масштаб проще всего по числу страниц в индексе. Если вы знаете, что у сайта примерно двести полезных страниц, а Вебмастер показывает восемьсот загруженных, разница в шестьсот адресов — это и есть материал для разбора. Иногда там честные страницы пагинации, но чаще мусор.

Как поисковая система выбирает главную копию

Понимание этого механизма экономит много нервов, потому что объясняет, почему в поиске оказалась «не та» страница.

Система собирает группу адресов с одинаковым содержимым и назначает одну из них главной, а остальные помечает как неканонические. Учитываются сигналы: явное указание canonical в коде, редиректы, внутренние ссылки самого сайта, внешние ссылки, длина и «чистота» адреса, накопленная история страницы. Ни один сигнал не решает единолично — они складываются.

Подробнее об этом — в статье «Дубли страниц в Яндексе: как найти, почему возникают и как устранить».

Отсюда практический вывод: противоречивые сигналы хуже, чем их отсутствие. Если canonical указывает на одну страницу, внутренние ссылки в меню ведут на вторую, а карта сайта перечисляет третью, система выбирает по своему усмотрению. Пока сигналы не согласованы, любые ваши правки будут работать через раз.

Второй вывод про сроки. Склейка не мгновенная: роботу нужно заново обойти все адреса группы, увидеть новые указания и пересчитать. На маленьком сайте это неделя-другая, на каталоге в десятки тысяч адресов — месяцы. Требовать результата через три дня после правки бессмысленно, робот просто ещё не дошёл до половины адресов.

Четыре способа найти дубли

Порядок такой: сначала быстрые проверки руками, потом инструменты. Ручные занимают пятнадцать минут и часто закрывают половину проблемы.

1. Проверка вариантов адреса вручную

Откройте главную страницу в шести вариантах: с www и без, по http и https, со слешем на конце и без. Все шесть обязаны привести на один и тот же адрес через редирект 301. Если хотя бы один вариант открывается сам по себе и остаётся в адресной строке — вы нашли дубль главной. Ту же проверку повторите на одной внутренней странице: настройки для главной и для разделов иногда отличаются.

Здесь же проверьте адрес с добавленным мусором: припишите к адресу любой параметр вроде ?test=1. Если страница открылась и в коде нет canonical на чистый адрес — параметры создают у вас неограниченное число копий.

2. Вебмастер: раздел страниц в поиске

Самый честный источник. В Яндекс.Вебмастере откройте индексирование и страницы в поиске, переключитесь на исключённые и отсортируйте по причине. Статусы «Дубль» и «Неканоническая» — это прямой список того, что система уже объединила. Статус «Недостаточно качественная» тоже часто про дубли: так помечаются страницы, которые почти повторяют другие.

Второй полезный отчёт там же — статистика обхода. В ней видно, какие адреса робот скачивал за последние дни. Если в списке подряд идут адреса с параметрами сортировки, вы наглядно видите, куда уходит квота.

3. Оператор site: в поиске

Грубая, но быстрая оценка. Введите в поиске site:вашсайт.ru и сравните количество найденного с реальным числом страниц. Расхождение в разы — сигнал. Пролистайте выдачу до конца: копии обычно скапливаются на последних страницах, и по ним сразу видно тип проблемы.

4. Краулер

Screaming Frog, Netpeak Spider или любой аналог обходит сайт так же, как робот, и строит полную карту. Смотреть надо на три отчёта: одинаковые заголовки title, одинаковые описания description и адреса с параметрами. Совпадающие title почти всегда означают совпадающие страницы — это самый быстрый способ вытащить дубли по содержанию, которые не находятся проверкой адресов.

Бесплатной версии с лимитом в пятьсот адресов хватает для разведки: если в первых пятистах адресах преобладают страницы фильтров, вывод о структуре вы уже сделали. Для каталога полезно ограничить обход одним разделом — так в лимит попадёт осмысленный срез.

Тему разбирал отдельно: «Дубли страниц съели позиции 40% сайтов в рунете — проверьте свой за 2 минуты».

Чем убирать: инструмент под каждый случай

Главная ошибка при чистке — применять любимый инструмент ко всему подряд. У каждого типа дубля своё решение, и подмена одного другим либо не работает, либо вредит.

Ситуация	Решение	Почему именно так
www/без www, http/https, слеш, index.php	301-редирект на один вариант	Копия физически перестаёт существовать, вес переходит целиком
Две похожие страницы, обе нужны людям	rel=canonical на основную	Страница остаётся доступной, но в индекс идёт одна
Метки и параметры сортировки	Clean-param в robots.txt	Робот отбрасывает параметр и не тратит на него обход
Страницы фильтров без спроса	noindex в мета-теге	Доступны людям, но не участвуют в поиске
Страницы фильтров со спросом	Оставить в индексе, дать свой текст и заголовок	Это готовая посадочная под низкочастотный запрос
Товар в нескольких категориях	Один канонический адрес товара	Убирает размножение карточек по путям каталога
Служебные и технические адреса	Запрет в robots.txt	Корзина, поиск по сайту, личный кабинет в индексе не нужны

Про пагинацию отдельно, потому что советы противоречат друг другу. Закрывать страницы пагинации от индексации не нужно: через них робот доходит до товаров, и запрет обрывает ему путь. Правильный вариант — оставить их открытыми, дать каждой уникальный title с номером страницы и не ставить canonical со второй страницы на первую. Первая страница списка и вторая — разные наборы товаров, склеивать их значит выкинуть половину каталога из обхода.

Ошибки, из-за которых становится хуже

Чистка дублей — редкий случай, когда сама правка дешёвая, а неверно выбранный инструмент дорого стоит. Вот что я вижу чаще всего.

• 301 и canonical на одной странице одновременно. Это конфликтующие указания: редирект говорит «страницы больше нет», canonical — «страница есть, но главная другая». Система выбирает сама, и результат непредсказуем.
• Закрытие дублей в robots.txt вместо склейки. Запрет в robots запрещает обход, но не удаляет уже проиндексированный адрес и не передаёт его вес на основную страницу. Копия остаётся в базе, а сигналы никуда не переходят. Robots — для того, что вообще не должно попадать в обход, а не для склейки.
• Цепочки редиректов. Адрес А ведёт на Б, Б на В, В на Г. Каждый переход — отдельный запрос робота, а на длинных цепочках он просто перестаёт идти дальше. Все редиректы должны вести на конечный адрес за один шаг.
• Внутренние ссылки на старые адреса. Редирект настроили, а меню и карточки по-прежнему ссылаются на версию без слеша. Каждый переход по сайту проходит через редирект, обход замедляется вдвое. После настройки редиректов внутренние ссылки надо переписать на конечные адреса.
• Canonical на несуществующую или закрытую страницу. Указание игнорируется целиком, и вся группа копий остаётся неразобранной.
• Массовая склейка без разбора. Иногда под нож попадают страницы фильтров, по которым шёл реальный трафик. Перед склейкой посмотрите в Метрике, есть ли на этих адресах входы из поиска.

Порядок работ тоже имеет значение. Сначала настраиваются редиректы на уровне сервера — они закрывают самую массовую часть. Потом задаётся главное зеркало и Clean-param. Потом разбираются страницы фильтров и пагинации. И только в конце — дубли по содержанию, потому что это уже работа с текстами, а не с настройками.

Что происходит после чистки и сколько ждать

Первое, что меняется, — статистика обхода. Робот перестаёт скачивать мусор и переключается на полезные страницы. Это видно в Вебмастере через одну-две недели: число загруженных адресов падает, а число страниц в поиске растёт. Падение общего количества загруженных страниц здесь хорошая новость, хотя выглядит пугающе.

Если нужна помощь по теме — создание сайтов.

Второе — собирается вес. Ссылочные и поведенческие сигналы, размазанные по копиям, сходятся на одном адресе. Именно это чаще всего разблокирует застрявший рост: странице не хватало веса до первой десятки, и после склейки она его получает.

Третье — стабилизируется выдача. Пропадает ситуация, когда по одному запросу сегодня показывается одна страница, завтра другая. Система перестаёт перебирать варианты, позиции становятся ровнее.

Смежный материал по теме — «Сменили движок — и трафик рухнул вдвое: как переехать на новую CMS без потери позиций».

Сроки зависят от размера сайта. Сайт услуг на полсотни страниц переобходится за две-три недели. Каталог на десятки тысяч адресов — три-четыре месяца, потому что робот идёт по нему постепенно. Ускорить можно: отправить основные адреса на переобход в Вебмастере, обновить карту сайта, убрать из неё все адреса, которые больше не должны быть в индексе.

На том проекте, с которого я начал, после чистки дублей трафик вырос вдвое за три месяца. Подчеркну, что это не про магию: там была ровно та ситуация, когда сайт с нормальным содержанием годами делил собственные сигналы между копиями. На сайте, где дублей три штуки, такого эффекта не будет — там и делить нечего. Поэтому первым делом стоит оценить масштаб, а уже потом ждать результата, пропорционального масштабу.

Частые вопросы

Дубли — это санкция или фильтр? Нет. Никакого наказания за дубли не накладывается, страницы просто не показываются. Разница принципиальная: чинить надо не «выход из-под фильтра», а сами адреса.

Нужно ли удалять дубли через инструмент удаления в Вебмастере? Только как временную меру и только после того, как настроены редиректы или canonical. Удаление без правки причины даёт откат: робот снова найдёт адрес и вернёт его.

Метки utm обязательно закрывать? Обязательно, если вы запускаете рекламу или рассылки. Такие адреса расходятся по внешним источникам, робот их находит и индексирует. Clean-param решает вопрос одной строкой.

Влияют ли дубли на Google так же, как на Яндекс? Механика похожая, но Google больше опирается на canonical и меньше на robots.txt, а Clean-param не поддерживает вовсе. Если сайт важен в обеих системах, основным инструментом делайте редиректы и canonical — они работают везде.

Сайт на популярном движке — там же всё правильно из коробки? Из коробки обычно решён вопрос со слешем и index.php. Зеркало, протокол, параметры и фильтры настраиваются руками почти всегда.

А если дублей много, но трафик и так растёт? Значит, растёт медленнее, чем мог бы. Приоритет тут не первый — сначала имеет смысл смотреть на структуру и содержание. Но правка дешёвая и почти безрисковая, так что откладывать её надолго тоже незачем.

Разбор живого сайта: что именно мешает ему продвигаться — на видео ниже я прохожу по проекту целиком, включая техническую часть.

2:29

Коротко

• Дубль — один и тот же материал по нескольким адресам; система выбирает из них один и часто не тот, который нужен вам.
• Владелец их не видит: сайт снаружи работает нормально, а квота обхода уходит на копии.
• Искать надо в четыре приёма: варианты адреса руками, исключённые страницы в Вебмастере, оператор site, краулер по совпадающим title.
• Под каждый тип дубля свой инструмент: 301 для зеркал и слеша, canonical для похожих страниц, Clean-param для меток, noindex для фильтров без спроса.
• Смешивать инструменты нельзя: 301 вместе с canonical и закрытие в robots вместо склейки делают хуже, чем было.
• Эффект приходит после переобхода — от двух недель на маленьком сайте до нескольких месяцев на каталоге.

Если хотите понять, сколько мусора в индексе именно у вашего сайта и что из этого чинить первым, приходите на SEO-консультацию — посмотрю индекс, статистику обхода и составлю порядок правок под ваш движок. Продвижением сайтов в Яндексе занимаюсь с 2005 года, и такие разборы делаю на каждом проекте.