Статические URL адреса — зачем они нужны

Статические URL адреса нужны ради одной вещи, которую редко называют вслух: чтобы у каждой страницы был ровно один адрес. Всё остальное — читаемость, аккуратный вид в выдаче, удобство копирования — приятные следствия. Главная же проблема динамических адресов не в том, что они некрасивые, а в том, что их у одной и той же страницы может быть бесконечно много: добавили параметр сортировки — новый адрес, пришли с меткой рекламной кампании — ещё один, движок подставил идентификатор сессии — ещё сотня. Поиск исправно обходит каждый и вынужден решать, какой из них показывать.

В SEO я с 2005 года и на разборах чаще всего вижу одну и ту же картину: в отчёте Вебмастера страниц в несколько раз больше, чем реально существует на сайте, а владелец уверен, что у него сто карточек товара. Дальше выясняется, что сто карточек порождают тысячи адресов из-за фильтров и сортировок. Ниже — откуда это берётся, чем грозит и какими инструментами лечится, включая те случаи, когда параметр убирать не нужно.

Как рождается адрес: динамика и статика

Разница между двумя типами адресов лежит не в содержимом страницы, а в том, как сервер понимает запрос.

Динамический адрес передаёт движку набор значений после знака вопроса: какой раздел показать, какой товар, как отсортировать, что за посетитель. Скрипт читает эти значения и собирает страницу. Каждое сочетание значений формально даёт новый адрес, даже если результат на экране одинаковый.

Статический адрес выглядит как путь из сегментов без знака вопроса. Страница при этом может собираться так же динамически — из базы, с подстановкой цен и остатков. Слово «статический» относится к виду и постоянству адреса, а не к способу генерации содержимого. Технически это работает через правила преобразования на сервере или средствами CMS: путь разбирается на части, и они передаются движку как те же самые значения, только незаметно для посетителя.

Отсюда следует важное: перевод сайта на статические адреса не требует переписывать движок. Требуется решить, какие значения имеют право быть частью пути, а какие остаются параметрами, и настроить преобразование. Дальше вся работа сводится к дисциплине — чтобы одна страница не оказалась доступна по нескольким путям одновременно.

Откуда на сайте берутся параметры

• Сортировка и вид отображения. По цене, по популярности, плиткой или списком, по двадцать или по сорок товаров на странице.
• Фильтры каталога. Цвет, размер, производитель, цена от и до — каждое сочетание даёт свой адрес.
• Постраничная навигация. Номер страницы в параметре вместо сегмента пути.
• Внутренний поиск. Строка запроса попадает в адрес, и таких адресов ровно столько, сколько люди вводили запросов.
• Метки рекламных кампаний и рассылок. Приходят снаружи, живут в ссылках навсегда и попадают в индекс, если на них где-то сослались.
• Идентификаторы сессии. Старая механика, при которой каждому посетителю выдаётся свой адрес. Худший случай из всех: адресов столько же, сколько визитов.
• Служебные параметры движка. Печатная версия, режим предпросмотра, переключатель валюты или города.
• Мусор от внешних ссылок. Кто-то поставил ссылку с произвольным параметром, а сайт послушно отдал по ней страницу с кодом успеха.

Последний пункт объясняет, почему список параметров нельзя составить один раз и забыть. Сайт, который отдаёт нормальную страницу на любой приписанный параметр, потенциально имеет бесконечное число адресов, и создать их может кто угодно снаружи.

Чем параметрические адреса вредят

Последствие	Как проявляется	Насколько серьёзно
Дубли в индексе	Одна страница присутствует под несколькими адресами	Высоко: поиск сам выбирает главный адрес, и не всегда тот, что нужен вам
Расход бюджета обхода	Робот тратит визиты на сортировки вместо новых товаров	Высоко для крупных каталогов, умеренно для небольших сайтов
Размывание внутренних ссылок	Ссылки внутри сайта ведут на разные варианты одного адреса	Умеренно, но накапливается
Ломаная статистика	В отчётах страница разбита на десятки строк	Умеренно: мешает принимать решения
Скачки адреса в выдаче	Сегодня показывается один вариант, завтра другой	Заметно: позиции выглядят нестабильными
Утечка меток в индекс	В поиске оказывается адрес с рекламной меткой	Умеренно, но выглядит неопрятно и портит статистику
Бесконечные пространства адресов	Комбинации фильтров порождают миллионы вариантов	Критично: обход крупного сайта деградирует

Строку про выбор главного адреса стоит развернуть. Когда поиск встречает несколько адресов с одинаковым содержимым, он склеивает их и выбирает представителя. Выбор делается по своим соображениям, и представителем вполне может стать адрес с параметром сортировки — тот, на который случайно оказалось больше ссылок. Внешне это выглядит как странность выдачи, а на деле это результат того, что вы не указали предпочтительный вариант.

Если нужны детали, смотрите «Cookies — что это такое и зачем они нужны».

Как найти параметрические адреса у себя

1. Отчёт «Страницы в поиске» в Яндекс.Вебмастере. Отфильтруйте адреса со знаком вопроса и посмотрите, какие параметры встречаются чаще всего.
2. Отчёт по исключённым страницам. Раздел с дублями показывает, что именно поиск склеил и какой адрес выбрал главным.
3. Логи сервера. Единственный источник, который показывает, куда робот реально ходит. Сортировка запросов робота по частоте моментально выявляет пожирателей бюджета обхода.
4. Краулер по сайту. Обход собственным сканером с включённым следованием по всем ссылкам показывает, какие параметрические адреса вы генерируете сами.
5. Отчёт по страницам входа в Метрике. Здесь видно, по каким адресам с параметрами люди реально заходят из поиска.
6. Простая проверка руками. Допишите к адресу любой выдуманный параметр и посмотрите, что вернёт сервер. Если открылась обычная страница с кодом успеха — у вас открытое бесконечное пространство адресов.

Шестая проверка занимает десять секунд и чаще всего оказывается самой показательной. На большинстве сайтов на CMS произвольный параметр действительно игнорируется движком, и страница отдаётся как ни в чём не бывало. Само по себе это не катастрофа, но означает, что защита от размножения адресов должна быть настроена явно.

Что делать с каждым типом параметра

Тип параметра	Меняет ли содержимое	Решение
Сортировка, вид отображения	Порядок тот же набор товаров	Указание на основной адрес без параметра, закрыть от обхода
Число товаров на странице	Нет, набор тот же	Указание на основной адрес
Постраничная навигация	Да, содержимое разное	Оставить в индексе, каждая страница ссылается сама на себя
Популярное сочетание фильтров	Да, и на него есть спрос	Превратить в статическую страницу с своим текстом и заголовком
Редкое сочетание фильтров	Да, но спроса нет	Закрыть от индексации, не давать ссылок для обхода
Внутренний поиск	Да, но качество непредсказуемо	Закрыть полностью
Рекламные метки	Нет	Указание на чистый адрес, объявление параметра незначащим
Идентификатор сессии	Нет	Убрать из адреса на уровне движка, хранить в куки
Печатная версия	Нет, оформление другое	Закрыть от индексации или отказаться в пользу стилей печати
Переключатель города или валюты	Да, если цены и контакты разные	Отдельные разделы вместо параметра

Помогу с продвижением: продвижение сайта без накруток — вывожу сайты в топ Яндекса белыми методами.

Ключевой вопрос при разборе — второй столбец. Если содержимое от параметра не меняется, адрес с ним не должен существовать самостоятельно. Если меняется и на это содержимое есть спрос, параметру место в пути, а не после знака вопроса. Промежуточный случай — содержимое меняется, но спроса нет: такие адреса нужны людям и не нужны поиску, их и закрывают.

О том, влияет ли сам домен на продвижение:

1:19

Canonical: что он умеет и чего не умеет

Указание предпочтительного адреса — основной инструмент против дублей, и вокруг него больше всего заблуждений.

Что он делает. Сообщает поиску, какой из нескольких адресов с похожим содержимым вы считаете основным. Сигналы от неосновных адресов при этом переносятся на основной.

Чего он не делает. Не запрещает обход: робот всё равно приходит по адресу с параметром, чтобы прочитать указание. То есть бюджет обхода он не экономит. Не является командой: поиск может выбрать другой адрес, если сочтёт указание ошибочным. Не заменяет переадресацию: если старый адрес больше не должен работать, нужна именно переадресация.

Подробнее об этом — в статье «SEO плагины WordPress больше не нужны».

Типичные ошибки. Указание на страницу с другим содержимым — поиск его проигнорирует. Указание всех страниц каталога на первую — из индекса пропадут товары со второй и дальше. Цепочка указаний, где основной адрес сам указывает на третий. Указание на адрес, закрытый от обхода, — робот не может его проверить. Относительный адрес там, где ожидается полный. И самый частый случай: страница указывает сама на себя, но с параметром — тогда весь смысл теряется.

Запрет обхода, запрет индексации и незначащие параметры

Три инструмента, которые постоянно путают между собой, хотя они решают разные задачи.

Инструмент	Что делает	Когда применять	Чего ждать не стоит
Запрет обхода в robots.txt	Робот не заходит по адресу	Внутренний поиск, бесконечные сочетания фильтров, служебные разделы	Не гарантирует отсутствия адреса в выдаче, если на него ссылаются
Запрет индексации в мета-теге	Страница обходится, но не показывается в поиске	Редкие фильтры, печатные версии, страницы без спроса	Не работает, если адрес закрыт от обхода — робот не увидит запрет
Указание предпочтительного адреса	Склеивает варианты, переносит сигналы	Сортировки, метки, дубли с одинаковым содержимым	Не экономит бюджет обхода
Объявление параметра незначащим	Робот Яндекса приводит адрес к чистому виду	Метки, сортировки, идентификаторы сессии	Работает только в Яндексе, для остальных нужны другие меры
Постоянная переадресация	Адрес перестаёт существовать	Смена структуры, устранение старых вариантов	Не подходит для страниц, нужных посетителям

Комбинация, которая работает в большинстве случаев: незначащие параметры объявляются таковыми, сортировки и вид отображения получают указание на чистый адрес, внутренний поиск и заведомо бесполезные сочетания фильтров закрываются от обхода, редкие фильтры остаются открытыми для робота, но с запретом индексации. Главное — не закрывать от обхода то, на чём стоит запрет индексации: это самая частая ошибка, и в результате не срабатывает ни то, ни другое.

Фильтры: когда параметр пора превращать в страницу

Самый ценный случай, ради которого вообще стоит разбираться с параметрами. Часть сочетаний фильтров совпадает с тем, как люди формулируют запросы, — и такие сочетания должны стать полноценными страницами со своим адресом, заголовком и текстом.

1. Соберите спрос по вашим категориям. Вордстат, подсказки поиска, отчёт по запросам в Вебмастере. Ищите формулировки вида «категория плюс признак».
2. Сопоставьте формулировки с фильтрами. Признак из запроса почти всегда соответствует значению одного фильтра.
3. Отберите те, где спрос устойчив. Одно-два значения фильтра, а не пять: сочетания из трёх и более признаков спроса обычно не имеют.
4. Проверьте наполнение. Страница, на которой окажется два товара, продвижению не поможет.
5. Дайте странице собственный адрес в пути. Отдельный сегмент, а не набор параметров.
6. Добавьте свой заголовок, описание и текст. Без этого страница остаётся техническим срезом каталога и в индексе не удержится.
7. Поставьте ссылки на неё. Из категории, из соседних срезов, из меню — иначе робот её просто не найдёт.
8. Остальные сочетания оставьте параметрами и закройте. Их задача — обслуживать посетителя, а не собирать трафик.

Если нужна помощь по теме — разработка сайта под ключ.

Ошибка, которую делают чаще всего, — открывать все сочетания подряд в надежде, что поиск сам разберётся. Не разберётся: вы получите множество почти одинаковых страниц без текста, конкурирующих между собой и с родительской категорией. Правило простое — открывается то, под что есть отдельный спрос и отдельное наполнение.

Тему разбирал отдельно: «Что такое proxi и зачем они нужны».

Порядок перевода сайта на статические адреса

Этап	Действие	Результат
1. Инвентаризация	Собрать все адреса из индекса, логов и краулера	Полный список того, что существует на самом деле
2. Классификация	Разложить параметры по типам из таблицы выше	Решение по каждому: путь, закрыть, склеить
3. Настройка преобразования	Включить статические адреса в CMS или правилами сервера	Новые пути работают
4. Переадресация	Со старых динамических адресов на новые статические	Старые ссылки не теряются
5. Внутренние ссылки	Перевести меню, крошки, карточки на новые адреса	Нет промежуточных переходов
6. Служебные файлы	Обновить карту сайта и правила обхода	Робот видит актуальную картину
7. Контроль	Через две-три недели свериться с отчётами по дублям и ошибкам	Незакрытые хвосты видны и устраняются

Отдельно предупрежу про четвёртый этап. Переадресация должна вести сразу на конечный адрес, а не через цепочку. Цепочки возникают, когда переезд делают в несколько подходов, и потом их годами не разбирают. Проверяется это тем же краулером: он показывает длину цепочки для каждого адреса.

И про пятый. Пока внутренние ссылки ведут на старые адреса, робот будет продолжать обходить их и тратить на это визиты. Правка внутренних ссылок — не косметика, а обязательная часть переезда.

Частые вопросы

Обязательно ли убирать все параметры? Нет. Параметры — нормальный механизм, и для сортировок или фильтров они уместны. Убирать нужно не параметры как таковые, а ситуацию, когда одно и то же содержимое доступно по множеству адресов и все они открыты для индексации.

Что делать с рекламными метками? Оставить в ссылках — они нужны аналитике, — но объявить параметр незначащим для робота Яндекса и указать на чистый адрес как на предпочтительный. Тогда метка работает в статистике и не попадает в индекс.

Идентификатор сессии в адресе — насколько это плохо? Это худший из вариантов: адресов становится столько же, сколько визитов, а обход превращается в бессмысленную работу. Лечится на уровне движка переносом сессии в куки, а не запретами в robots.txt.

Поможет ли указание предпочтительного адреса сэкономить бюджет обхода? Не поможет. Робот обязан зайти по адресу, чтобы прочитать указание. Для экономии обхода нужен запрет обхода, а он, в свою очередь, не склеивает сигналы. Инструменты дополняют друг друга, а не заменяют.

Стоит ли открывать страницы фильтров для индексации? Только те, под которые есть отдельный спрос, есть достаточное наполнение и написан свой текст. Массовое открытие всех сочетаний вредит: получается множество почти одинаковых страниц, конкурирующих друг с другом.

Изменятся ли позиции после перевода на статические адреса? В момент переезда возможны колебания, пока поиск переиндексирует новые адреса. Устойчивый эффект даёт не сама смена вида адреса, а устранение дублей и наведение порядка в обходе. Поэтому переезд, сделанный без переадресации и без правки внутренних ссылок, скорее навредит, чем поможет.

Коротко

• Смысл статических адресов — один адрес на одну страницу; читаемость и опрятный вид в выдаче идут довеском.
• Параметры сортировки, фильтров, внутреннего поиска, меток и сессий порождают дубли и съедают бюджет обхода.
• Разбор начинается с вопроса, меняет ли параметр содержимое: если нет — адрес с ним не должен существовать самостоятельно.
• Указание предпочтительного адреса склеивает дубли, но не экономит обход; запрет обхода экономит, но не склеивает — инструменты дополняют друг друга.
• Сочетания фильтров, под которые есть спрос и наполнение, надо превращать в отдельные страницы с собственным адресом и текстом, остальные закрывать.
• Переезд на статические адреса делается с полной таблицей соответствий, прямой переадресацией без цепочек и обязательной правкой внутренних ссылок.

Если в Вебмастере страниц оказалось в разы больше, чем вы создавали, и непонятно, что из этого закрывать, а что превращать в отдельные страницы, приходите на SEO-консультацию: разложим адреса вашего сайта по типам и составим план правок в порядке отдачи.