Яндекс решил улучшить поиск и тестирует новую механику

Яндекс решил улучшить поиск и тестирует новую механику определения запросов — владельцы сайтов замечают это не по анонсам, а по адресной строке: в ссылках из выдачи появляется хвост вида ?ysclid=. Дальше начинается интересное — в отчётах вебмастера всплывают дубли страниц, счётчик посещаемости показывает странные адреса, а часть внешних ссылок ведёт на URL с параметром. Механика полезная, но обращаться с ней нужно осознанно, иначе сайт получает сотни лишних адресов в индексе.

Я работаю с сайтами в SEO с 2005 года и вижу одну и ту же реакцию: параметр замечают, пугаются, идут ставить редирект — и ломают ровно то, ради чего он придуман. Ниже — как устроен механизм, зачем он поисковой системе, какие проблемы реально создаёт для сайта и что делать по шагам, чтобы закрыть вопрос раз и навсегда.

Зачем поисковой системе понадобился параметр в ссылке

Раньше данные о поисковом запросе передавались на сайт через заголовок перехода: браузер сообщал, с какой страницы пришёл человек, и в адресе этой страницы был виден запрос. Системы аналитики читали его и раскладывали трафик по фразам.

Затем браузеры начали ограничивать межсайтовые данные — из соображений приватности. Заголовок перехода стал урезанным, сторонние файлы cookie перестали работать так, как раньше. Аналитика начала терять информацию: трафик видно, а по каким запросам пришли люди, непонятно.

Параметр в ссылке — это ответ на такую ситуацию. Поисковая система добавляет к адресу перехода собственную метку, которая не содержит самого запроса, но позволяет системе сопоставить визит с сеансом поиска на своей стороне. Данные о запросах возвращаются в отчёты, приватность формально не нарушается: в самом адресе никакой информации о человеке нет.

Это не уникальное изобретение. По той же логике работают метки рекламных систем и метки аналитики. Различаются только имена параметров и то, кто их подставляет.

Какие параметры прилипают к адресам вашего сайта

Прежде чем что-то настраивать, полезно понимать полный список того, что может оказаться в адресной строке. Настройка потом делается на все случаи сразу, а не только на один свежий.

Параметр	Кто добавляет	Зачем нужен	Создаёт дубли
ysclid	Поиск Яндекса при переходе из выдачи	Определение запроса при ограничении cookie	Да
yclid	Рекламная система Яндекса	Привязка клика к кампании	Да
gclid	Рекламная система Google	То же для другой системы	Да
utm_source и остальные utm	Вы сами при разметке ссылок	Разделение источников трафика	Да
_openstat	Разметка внешних площадок	Устаревшая система меток	Да
from, ref, referrer	Партнёрские и агрегаторские площадки	Учёт переходов у партнёра	Да
sort, filter, page	Ваш сайт	Сортировка и фильтрация каталога	Иногда, зависит от логики
Идентификатор сессии	Ваша CMS	Привязка корзины и авторизации	Да, и это самый вредный случай

Первые шесть строк — внешние метки: они приходят снаружи, вы на них не влияете, но обязаны объяснить поисковой системе, что адрес с меткой и адрес без метки — одна и та же страница. Последние две строки — ваши собственные, и с ними работа другая: там сначала решается, нужны ли такие адреса в индексе вообще.

Главная проблема: одна страница превращается в десятки адресов

Поисковая система обходит адреса, а не «страницы». Для неё /uslugi/ и /uslugi/?ysclid=abc123 — два разных адреса с одинаковым содержанием, пока ей не объяснили обратное. Метка уникальна для каждого перехода, значит, потенциальное количество вариантов ограничено только числом переходов.

Последствия развиваются по цепочке, и каждое звено само по себе выглядит несерьёзно.

Если нужны детали, смотрите «Как улучшить поиск в Яндексе».

• Расход бюджета обхода. Робот тратит визиты на адреса-близнецы вместо новых и обновлённых страниц. На большом сайте это заметно замедляет индексацию свежего контента.
• Появление дублей в отчётах вебмастера. Страницы помечаются как дубли, часть исключается из поиска. Владелец видит рост исключённых страниц и не понимает причины.
• Разделение сигналов между адресами. Если люди делятся ссылкой, скопированной из адресной строки, внешние ссылки достаются адресу с меткой, а не чистому.
• Мусор в отчётах аналитики. Отчёт по страницам разваливается на сотни строк вместо одной, среднее время и конверсия по странице считаются некорректно.
• Проблемы с кэшированием. Многие системы кэша считают адрес с параметром новой страницей и создают отдельную копию. На сайте с большим трафиком кэш распухает и перестаёт помогать.
• Сбой счётчиков просмотров и комментариев. Самописные счётчики, привязанные к адресу, начинают считать один и тот же материал как разные.

Обратите внимание на пункт про кэш. Это самая недооценённая часть: сайт начинает тормозить не из-за поисковой системы, а из-за того, что кэш обслуживает бесконечное множество уникальных адресов и не попадает в готовые копии.

Как проверить, есть ли проблема у вас

Помогу с продвижением: SEO-продвижение под ключ — вывожу сайты в топ Яндекса белыми методами.

Проверка занимает пятнадцать минут и не требует ничего, кроме доступа к панели вебмастера и системе аналитики.

1. Откройте отчёт по страницам в поиске. Отсортируйте исключённые страницы и посмотрите, есть ли среди них адреса с вопросительным знаком и метками.
2. Проверьте раздел со статистикой обхода. Если робот регулярно ходит по адресам с параметрами, бюджет обхода расходуется на них.
3. Загляните в отчёт по популярным страницам в аналитике. Один и тот же материал, разбитый на десяток строк с разными хвостами, — прямой признак проблемы.
4. Проверьте поиском по сайту в выдаче. Запрос с оператором ограничения по домену покажет, попали ли адреса с метками в индекс.
5. Прогоните сайт краулером. В настройках включите обход параметров: увидите, сколько уникальных адресов порождает каждая страница.
6. Проверьте входящие ссылки. В отчёте по внешним ссылкам поищите адреса с параметрами — это те случаи, когда кто-то скопировал ссылку из адресной строки.
7. Посмотрите на объём кэша. Если папка кэша разрослась непропорционально числу страниц, причина, скорее всего, в параметрах.

Clean-param: основной инструмент для Яндекса

Для Яндекса существует специальная директива в файле robots.txt, которая прямо решает эту задачу. Она сообщает роботу: перечисленные параметры на содержание страницы не влияют, обходить адреса с ними отдельно не нужно, все сигналы объединяй на чистом адресе.

Синтаксис выглядит так: сначала имя директивы, затем список параметров через амперсанд, затем при необходимости префикс пути, к которому правило применяется.

Clean-param: ysclid&yclid&gclid&utm_source&utm_medium&utm_campaign&utm_term&utm_content&_openstat

Если префикс пути не указан, правило применяется ко всему сайту — в большинстве случаев именно это и нужно. Указывать путь имеет смысл, когда параметр в одном разделе меняет содержание, а в другом нет.

Практические детали, о которых обычно спотыкаются:

• Директива работает для Яндекса. Другие поисковые системы её не понимают, для них нужен канонический адрес в коде страницы.
• Длина одной строки ограничена. Если параметров много, разбейте их на несколько строк Clean-param — это допустимо и работает так же.
• Размещать директиву можно в любом месте файла. Она относится ко всему файлу, а не только к секции конкретного робота.
• Регистр имеет значение. Имя параметра пишется ровно так, как встречается в адресах.
• Эффект не мгновенный. Робот применит правило при следующем обходе, а исключение дублей из отчётов займёт от нескольких дней до пары недель.
• Проверяйте файл в инструменте анализа robots.txt. Ошибка в синтаксисе не подсвечивается нигде больше, а правило просто не сработает.

Сравнение способов: что выбрать под свою ситуацию

Кроме директивы есть ещё несколько способов, и часть из них применять не стоит. Разложу по эффекту и по риску.

Подробнее об этом — в статье «Как улучшить позиции сайта в Яндекс».

Способ	Что делает	Когда применять	Риск
Clean-param в robots.txt	Объединяет сигналы на чистом адресе для Яндекса	Всегда, это базовая настройка	Нет
Канонический адрес в коде	Указывает предпочтительную версию страницы всем системам	Всегда, вместе с предыдущим пунктом	Нет, если канонический адрес указан без параметров
Запрет параметров через Disallow	Запрещает обход адресов с параметрами	Для собственных служебных адресов сайта	Средний: сигналы с таких адресов не объединяются, а теряются
Серверное перенаправление на чистый адрес	Срезает параметр до загрузки страницы	Практически никогда для внешних меток	Высокий: аналитика не успевает прочитать метку, данные о запросах теряются
Удаление параметра скриптом в браузере	Чистит адресную строку после загрузки	Как косметика, если мешает копирование ссылок	Низкий, но на индексацию не влияет никак
Ничего не делать	Полагается на то, что система разберётся сама	Для маленького сайта с малым трафиком	Средний: дубли в отчётах и мусор в аналитике останутся

Отдельно подчеркну строку про перенаправление, потому что это самая частая ошибка. Логика «уберём параметр редиректом, и проблемы нет» кажется безупречной, но перенаправление срабатывает на сервере, до того как страница загрузилась и счётчик аналитики выполнил свою работу. В результате вы теряете ровно те данные о поисковых запросах, ради которых механика и была придумана. При этом дубли директивой Clean-param закрываются бесплатно и без побочных эффектов.

Что делать с канонической ссылкой

Канонический адрес — второй обязательный элемент настройки, и он важнее для систем, которые директиву не понимают. Правило простое: канонический адрес всегда указывается без параметров меток.

Типовая ошибка в CMS — генерация канонического адреса из текущего адреса страницы. Тогда страница с меткой указывает канонической саму себя вместе с меткой, и весь смысл теряется. Проверяется это за минуту: откройте любую страницу сайта, добавив к адресу произвольный параметр, и посмотрите в коде, что указано в качестве канонического адреса.

Если там оказался адрес с вашим тестовым параметром — проблема есть и решается на уровне шаблона: канонический адрес должен собираться из постоянной части адреса страницы, а не из строки запроса.

Что параметры делают с аналитикой и как это чинить

Отчёты по страницам ломаются предсказуемо: вместо одной строки с суммарными данными вы получаете россыпь строк, каждая с одним-двумя визитами. Средние показатели по такой странице теряют смысл, а сравнить материалы между собой невозможно.

Симптом в отчётах	Причина	Что сделать
Одна страница разбита на десятки строк	Метки попадают в адрес страницы	Включить группировку без параметров в настройках отчёта
Показатель отказов по странице выглядит странно	Считается по каждому адресу отдельно	Смотреть агрегированные данные, а не построчные
Не сходятся цифры визитов и просмотров	Часть переходов приписана адресам с метками	Сверять на уровне раздела, а не отдельного адреса
В отчёте по входу много уникальных адресов	Каждый переход из выдачи создаёт свой	Настроить фильтрацию параметров на уровне счётчика
Цели срабатывают, но источник не определён	Метка обрезана редиректом до загрузки счётчика	Убрать перенаправление, заменить на Clean-param

Если нужна помощь по теме — обучение SEO-продвижению.

Практическое правило: настройки аналитики трогают после того, как разобрались с индексацией. Иначе вы почините отчёты, но оставите дубли, которые продолжат съедать бюджет обхода.

Порядок настройки: чеклист

Полная последовательность действий, после которой к вопросу можно не возвращаться.

Тему разбирал отдельно: «Как увеличить трафик из поиска Яндекс и улучшить позиции сайта».

Шаг	Что сделать	Как проверить результат
1	Собрать список параметров, реально встречающихся в адресах сайта	Отчёт аналитики по страницам входа плюс обход краулером
2	Разделить их на внешние метки и собственные параметры сайта	Метка не меняет содержание, параметр сайта — меняет
3	Прописать внешние метки в директиве Clean-param	Файл открывается в браузере и содержит нужные строки
4	Проверить файл в инструменте анализа robots.txt	Инструмент разобрал строки и не подсветил ошибок
5	Убедиться, что канонический адрес формируется без параметров	Открыть страницу с тестовым параметром и посмотреть код
6	Убрать серверные перенаправления, срезающие метки	Переход по адресу с меткой отдаёт код успешного ответа без редиректа
7	Настроить группировку без параметров в аналитике	Одна страница в отчёте занимает одну строку
8	Проверить поведение кэша при обращении с параметром	Размер папки кэша соответствует числу страниц сайта
9	Через две-три недели вернуться к отчёту по исключённым страницам	Количество дублей с параметрами снижается

Частые вопросы

Можно ли отказаться от участия в подобных экспериментах? Формально обращение в поддержку возможно, но практического смысла в этом мало: вы одновременно откажетесь от данных о запросах в аналитике. Проблема решается настройкой на своей стороне за пятнадцать минут.

Портят ли параметры позиции сайта? Напрямую — нет, санкций за это не существует. Косвенный вред есть: расход бюджета обхода и разделение сигналов между адресами. На небольшом сайте вы этого не заметите, на крупном каталоге — заметите обязательно.

Нужно ли закрывать параметры через Disallow? Для внешних меток — нет. Запрет обхода не объединяет сигналы, а просто прячет адреса от робота: ссылки, которые на них ведут, остаются бесполезными. Для собственных служебных адресов сайта запрет уместен.

Что делать, если на адрес с меткой кто-то поставил внешнюю ссылку? При настроенной директиве и корректном каноническом адресе система объединит такие адреса с основным. Дополнительно ничего делать не нужно, и просить убрать ссылку тоже.

Помогает ли удаление параметра скриптом в браузере? Только визуально: адресная строка становится чище, и людям удобнее копировать ссылку. На индексацию это не влияет, потому что робот видит адрес до выполнения скриптов.

Как быстро дубли уйдут из отчётов после настройки? Ориентир — от одной до трёх недель, в зависимости от того, как часто робот обходит сайт. Ускорить можно переобходом главных страниц, но массово загонять туда весь сайт смысла нет.

Нужно ли что-то делать, если сайт совсем маленький? Директиву прописать всё равно стоит: это одна строка в файле, которая закрывает вопрос навсегда, включая все будущие метки того же типа. А вот перестраивать аналитику и кэш ради десятка страниц не обязательно.

Разбираю продвижение по шагам — в своём курсе:

8:14

Коротко

• Метка в ссылке из выдачи появилась потому, что браузеры ограничили межсайтовые данные, и поисковой системе понадобился свой способ связать переход с запросом.
• Для сайта это означает дубли: адрес с параметром и без — два разных адреса, пока роботу не объяснили обратное.
• Базовая настройка состоит из двух элементов: директива Clean-param в robots.txt и канонический адрес, сформированный без параметров.
• Серверное перенаправление, срезающее метку, — вредный способ: оно уничтожает данные о запросах до того, как их прочитает аналитика.
• Проверять результат нужно в отчёте по исключённым страницам и в статистике обхода, а не по ощущениям; изменения занимают от одной до трёх недель.
• Побочная проблема, о которой забывают, — кэш страниц: он создаёт отдельную копию на каждый уникальный адрес и перестаёт ускорять сайт.

Если в отчётах вебмастера растёт число исключённых страниц и непонятно, что из этого технический мусор, а что реальные потери, приходите на SEO-консультацию — разберём индексацию по отчётам и составим порядок технических правок.