Влияние карты сайта на SEO продвижение

Влияние карты сайта на SEO продвижение сильно переоценивают в одну сторону и недооценивают в другую. Позиции она не поднимает: наличие sitemap.xml не является фактором ранжирования, и страница не станет выше конкурента только потому, что перечислена в файле. Зато на индексацию карта влияет напрямую — она сокращает путь робота до новых и обновлённых адресов, а страница, которой нет в индексе, не участвует в выдаче вообще, сколько её ни оптимизируй. Отсюда и правильная постановка вопроса: карта сайта — инструмент управления обходом, и оценивать её надо по тому, как она этим обходом управляет.

В SEO я с 2005 года, и файл sitemap.xml — одно из тех мест, где ошибка живёт годами незамеченной. Она не роняет позиции резко, не выдаёт себя в отчётах, просто часть страниц тихо не индексируется, а часть бюджета обхода уходит на мусор. Ниже — как файл устроен, что в него класть, какие лимиты нельзя нарушать и как найти ошибки, которые чаще всего в нём прячутся.

Что карта сайта делает и чего не делает

Sitemap.xml — список адресов, которые владелец сайта считает важными для индексации, с необязательными пометками о дате изменения. Робот использует его как дополнительный источник обнаружения страниц, наряду со ссылками. Это подсказка, а не команда: включение адреса в карту не обязывает поисковик его проиндексировать, а отсутствие в карте не запрещает индексацию.

Разграничим сразу, чтобы не питать иллюзий.

Карта сайта делает	Карта сайта не делает
Сообщает роботу адреса, до которых он мог не дойти по ссылкам	Не поднимает позиции и не является фактором ранжирования
Ускоряет обнаружение новых страниц	Не гарантирует попадания страницы в индекс
Помогает роботу заметить обновление старой страницы	Не заменяет внутреннюю перелинковку
Даёт в Вебмастере отчёт об ошибках по перечисленным адресам	Не удаляет страницы из индекса и не закрывает их от обхода
Позволяет расставить приоритеты обхода на большом сайте	Не исправляет дубли и не отменяет канонические адреса

Важно не путать XML-карту с HTML-картой сайта. Первая создаётся для роботов, лежит в отдельном файле и людям не показывается. Вторая — обычная страница со ссылками на разделы, полезная посетителю и заодно усиливающая перелинковку. Задачи у них разные, и одна не заменяет другую. Для управления индексацией нужна именно XML-версия.

Когда без карты обходятся, а когда без неё нельзя

Небольшой сайт на несколько десятков страниц с нормальной перелинковкой робот обойдёт и без карты: с главной он попадёт в меню, из меню в разделы, из разделов на страницы. Выигрыш от sitemap там измеряется днями, а не неделями, и особой роли не играет. Это не повод не делать файл — он создаётся плагином за минуту, — но и не повод считать его причиной всех бед.

А вот в перечисленных ниже случаях карта перестаёт быть формальностью и становится рабочим инструментом.

• Большой сайт. Магазин на десятки тысяч карточек: часть товаров лежит глубоко, ссылок на них мало, робот доходит редко. Карта сокращает путь.
• Молодой домен. Внешних ссылок почти нет, обнаруживать сайт роботу неоткуда. Карта плюс добавление сайта в Вебмастер ускоряют первый обход.
• Слабая перелинковка. Страницы-сироты, на которые не ведёт ни одна внутренняя ссылка, робот через ссылки не найдёт в принципе. Хотя правильнее лечить саму перелинковку, а не подпирать её картой.
• Частые обновления. Новости, объявления, товары с меняющимся наличием — карта с корректными датами помогает роботу возвращаться вовремя.
• Сложная структура. Каталог с фильтрами и глубокой вложенностью, где до части посадочных нужно пять-шесть переходов.
• Контент, доступный не по обычным ссылкам. Например, разделы, попасть в которые можно только через форму поиска или интерфейс на скриптах.

Отдельно стоит сказать про страницы-сироты. Карта сайта делает их видимыми для робота, но не решает основную проблему: страница без входящих внутренних ссылок получает мало внутреннего веса и обычно ранжируется слабо, даже будучи проиндексированной. Так что sitemap здесь — обезболивающее, а лечение — нормальная перелинковка.

Форматы и лимиты, которые нельзя нарушать

Стандарт sitemap описывает XML-файл с корневым элементом urlset, внутри которого перечислены записи url. Обязателен только один тег внутри записи — loc, полный адрес страницы. Остальные необязательны.

Элемент	Обязателен	Что означает и как относиться
loc	Да	Полный адрес с протоколом, ровно в том виде, в котором страница отдаёт 200
lastmod	Нет	Дата последнего значимого изменения; учитывается, если ей можно доверять
changefreq	Нет	Заявленная частота обновления; поисковики давно ориентируются на факты, а не на это поле
priority	Нет	Относительный приоритет от 0 до 1; на практике игнорируется

Жёсткие ограничения на файл: не более 50 000 адресов и не более 50 МБ в распакованном виде. Файл можно отдавать сжатым в gzip — лимит по размеру считается по распакованному содержимому. Кодировка UTF-8, адреса экранируются по правилам XML (амперсанд, кавычки, угловые скобки), кириллические адреса записываются в закодированном виде.

Если нужны детали, смотрите «Влияние javascript на продвижение сайта».

Ещё одно правило, о которое спотыкаются: адреса в карте должны принадлежать тому же домену и протоколу, что и сама карта. Файл, лежащий на основном домене, не может перечислять адреса поддомена — такие записи просто игнорируются. Для поддомена делается своя карта.

Помимо основного формата существуют специализированные: карта изображений, карта видео, карта новостей для новостных разделов. Они добавляют к адресу дополнительные данные — подпись к изображению, длительность и описание видео, дату публикации новости. Для обычного коммерческого сайта они не обязательны, но для медиатеки или новостного проекта дают заметный выигрыш в скорости попадания материалов в специализированные блоки выдачи.

Индекс карт: как устроены большие сайты

Помогу с продвижением: вывод сайта в ТОП Яндекса — вывожу сайты в топ Яндекса белыми методами.

Когда адресов больше 50 000, делают несколько файлов и один индексный, который на них ссылается. Индексный файл имеет корневой элемент sitemapindex, внутри — записи sitemap с адресом каждой карты и её датой изменения. В robots.txt указывают именно индексный файл, дальше робот разберётся сам.

О методах, которые работают вдолгую и не вредят сайту:

5:21

Ограничения индекса: до 50 000 карт внутри и та же планка по размеру. При необходимости индексы вкладывают друг в друга, но на практике до этого доходят единицы проектов. Гораздо важнее другое — как разбить адреса по файлам, потому что от разбивки зависит удобство диагностики.

Разбивать по типам страниц удобнее, чем механически по 50 000 подряд. Отдельная карта под категории, отдельная под карточки товаров, отдельная под статьи блога, отдельная под сервисные страницы. Тогда в Вебмастере видно, какая группа страниц индексируется плохо: если карта категорий проиндексирована почти полностью, а карта карточек наполовину, проблема локализована сразу. При механической разбивке такой картины не получить.

lastmod: зачем он нужен и почему его врут

Дата последнего изменения — единственное из необязательных полей, которое реально влияет на поведение робота. По ней поисковик понимает, стоит ли перезапрашивать страницу. Правильно проставленный lastmod ускоряет переиндексацию действительно изменённых страниц и экономит бюджет обхода на неизменных.

Проблема в том, что этому полю доверяют ровно до тех пор, пока оно не начинает врать. А врёт оно в большинстве случаев, и вот как это происходит.

Подробнее об этом — в статье «Мобильное SEO — влияние на продвижение сайта».

• Движок ставит текущую дату всем страницам при генерации карты. Самый частый случай: карта перегенерировалась ночью — и у всех тридцати тысяч адресов дата сегодняшняя. Робот приходит, видит, что ничего не изменилось, и перестаёт обращать внимание на поле в принципе.
• Дата обновляется от технических правок. Поменяли блок в подвале, пересобрали шаблон, обновили счётчик посещений на странице — движок считает это изменением содержимого. Формально да, по сути нет.
• Владелец ставит свежие даты вручную «чтобы переобошли». Работает ровно один раз, дальше сигнал обесценивается.
• Обратная ошибка: дата не обновляется никогда. Страницу переписали полностью, а в карте стоит позапрошлый год. Робот не видит повода вернуться.

Правило простое: lastmod должен меняться только при изменении основного содержимого страницы — текста, характеристик, цены, состава каталога. Если движок не умеет так, честнее убрать поле совсем, чем оставить его врущим. Пустое поле нейтрально, ложное — вредно, потому что поисковик, однажды убедившись в недостоверности дат на сайте, перестаёт их учитывать и в тех случаях, когда они верны.

Проверить себя легко: откройте карту и посмотрите на распределение дат. Если у подавляющего большинства адресов дата одна и та же и это дата последней перегенерации — поле не работает. Если даты у карточек товаров совпадают с датами реальных правок в админке — работает.

Связка с robots.txt и Вебмастером

Робот узнаёт о карте двумя способами. Первый — директива Sitemap в файле robots.txt с полным адресом файла. Директива не привязана к конкретному User-agent и обычно ставится в конце файла; карт можно указать несколько. Второй способ — добавление файла в Яндекс Вебмастере вручную, в соответствующем разделе. Оба способа не исключают друг друга, и разумно использовать оба.

Здесь же прячется одна из самых обидных ошибок: сама карта закрыта в robots.txt. Правило вида Disallow: /sitemap запрещает роботу обращаться к файлу, и вся конструкция перестаёт работать молча. То же самое происходит, если карта отдаёт код 404 после переезда или смены плагина, а директива в robots.txt осталась старой.

Второй конфликт тоньше и встречается гораздо чаще: адреса, перечисленные в карте, закрыты от индексации. Страница указана как важная и одновременно запрещена директивой Disallow, или помечена мета-тегом noindex, или имеет канонический адрес, указывающий на другую страницу. Для поисковика это противоречивый сигнал, и Вебмастер честно показывает такие адреса как исключённые.

Противоречие	Как выглядит	Что делать
Адрес в карте и в Disallow	Вебмастер: «запрещён в robots.txt»	Решить, нужна страница или нет, и убрать из одного места
Адрес в карте с noindex	Вебмастер: исключено по мета-тегу	Убрать адрес из карты — карта только для индексируемых страниц
Адрес в карте с canonical на другой	Вебмастер: неканоническая страница	В карту класть только канонические адреса
Адрес в карте отдаёт редирект	Вебмастер: страница перенаправляет	Заменить на конечный адрес после редиректа
Адрес в карте отдаёт 404	Вебмастер: ошибка при обходе	Убрать из карты при генерации, а не вручную

Если нужна помощь по теме — создание сайтов.

В Вебмастере после добавления карты появляется отчёт: сколько адресов найдено, сколько содержит ошибок, какие именно. Этот отчёт стоит открывать не после проблем, а регулярно — большая разница между числом адресов в карте и числом страниц в поиске почти всегда означает, что где-то в карте лежит то, чего там быть не должно.

Что должно попадать в карту, а что нет

Принцип отбора один: в карте только те адреса, которые вы хотите видеть в поиске и которые технически к этому готовы. Каждая лишняя запись размывает сигнал и тратит внимание робота.

Тему разбирал отдельно: «Влияние слов паразитов на SEO продвижение сайта».

Включать	Не включать
Канонические адреса посадочных страниц	Дубли, страницы сортировок и служебных параметров
Категории каталога и карточки товаров в наличии	Карточки снятых с продажи товаров, отдающие 404
Статьи блога и информационные материалы	Страницы пагинации второго и последующих уровней
Страницы фильтров, под которые есть спрос и отдельный контент	Комбинации фильтров, закрытые от индексации
Сервисные страницы: доставка, оплата, контакты, реквизиты	Корзина, личный кабинет, оформление заказа, результаты поиска
Страницы, отдающие код 200	Любые адреса с редиректами и ошибками

Отдельный вопрос — товары, которых временно нет в наличии. Если страница остаётся доступной и содержит полезную информацию, она остаётся и в карте. Если товар снят навсегда и страница удалена, адрес должен исчезнуть из карты вместе со страницей, а сама страница — либо отдавать 404, либо вести редиректом на аналог или в категорию.

Ошибки, которые находятся чаще всего

Список ниже собран из практики, и он удивительно устойчив: одни и те же вещи встречаются на сайтах любого размера и на любых движках.

1. Карта сгенерирована один раз и не обновляется. Плагин отключили, крон не отработал, файл сохранили статически. Признак: в карте нет страниц, опубликованных за последние месяцы.
2. В карте адреса с другим протоколом или зеркалом. Сайт переехал на https или сменил www, а карта осталась со старыми адресами, которые теперь отдают редирект.
3. Дубли внутри карты. Один и тот же товар перечислен под разными адресами — из разных категорий, с параметрами сортировки.
4. Битые адреса. Удалённые страницы остаются в карте месяцами, потому что генерация не проверяет коды ответа.
5. Даты обновления у всех адресов одинаковые. Классическое обесценивание lastmod.
6. Превышение лимита в 50 000 адресов. Файл формально невалиден, поисковик обрабатывает его частично или не обрабатывает вовсе.
7. Карта отдаётся с неверным типом содержимого или с ошибкой сервера. Особенно частая беда при защите от ботов, когда файл попадает под ограничение вместе с ними.
8. Директива Sitemap в robots.txt указывает на несуществующий адрес. Остаётся после смены движка или плагина.

Как проверить свою карту за полчаса

Проверка не требует платных инструментов, и её стоит проводить хотя бы раз в квартал, а также обязательно после любых работ с движком или переезда.

• Откройте /robots.txt и найдите директиву Sitemap. Перейдите по указанному адресу — файл должен открываться и отдавать 200, а не редирект и не ошибку.
• Посмотрите на первые и последние записи. Проверьте протокол и наличие www — они должны совпадать с основным зеркалом.
• Возьмите десяток случайных адресов из файла и откройте их. Все должны открываться напрямую, без перенаправлений.
• Найдите в карте страницу, опубликованную на прошлой неделе. Если её нет — генерация не работает.
• Оцените распределение дат в lastmod: одинаковые у всех — поле бесполезно.
• Сравните число адресов в карте с числом страниц в поиске по данным Вебмастера. Расхождение в разы — повод разбираться.
• Откройте отчёт по файлам Sitemap в Вебмастере и прочитайте список ошибок, если он не пуст.

Дополнительно полезно выгрузить все адреса из карты и прогнать их любым краулером на коды ответа. Пять минут работы обычно выявляют десятки записей с редиректами и ошибками, которые копились годами и о которых никто не подозревал.

Частые вопросы

Обязательна ли карта сайта для продвижения? Формально нет: сайт индексируется и без неё, если у него нормальная перелинковка. Практически — делать её стоит всегда, потому что она бесплатна, создаётся автоматически и на среднем и крупном сайте заметно ускоряет попадание новых страниц в индекс.

Как быстро страница попадёт в индекс после добавления в карту? Гарантий нет, разброс от нескольких дней до нескольких недель и зависит от авторитета сайта и частоты обхода. Ускорить можно отправкой конкретного адреса на переобход в Вебмастере и внутренними ссылками на новую страницу с уже проиндексированных разделов.

Нужны ли changefreq и priority? Практической пользы от них давно нет: поисковики ориентируются на реальную историю изменений страницы, а не на заявленные значения. Заполнять их не вредно, но и не нужно; время лучше потратить на корректный lastmod.

Что делать, если в карте больше 50 000 адресов? Разбить на несколько файлов и сделать индексный, указав в robots.txt именно его. Разбивать логичнее по типам страниц, а не механически — так проще диагностировать, какая группа индексируется хуже.

Нужна ли отдельная карта для изображений? Обычному коммерческому сайту достаточно правильных атрибутов у изображений на страницах. Отдельная карта изображений оправдана там, где картинки сами по себе источник трафика: фотобанки, каталоги с большим количеством уникальных фотографий, медиапроекты.

Влияет ли карта сайта на позиции? Прямо нет, косвенно да. Страница, которая быстрее попала в индекс, раньше начинает набирать поведенческие сигналы и раньше включается в конкуренцию. Но сама по себе запись в файле никакого веса странице не добавляет.

Коротко

• Карта сайта не влияет на ранжирование, но управляет обходом: она сокращает путь робота до новых и обновлённых адресов, а без индексации продвижение невозможно в принципе.
• Маленькому сайту с нормальной перелинковкой карта даёт немного; критична она для крупных каталогов, молодых доменов, сайтов-сирот и часто обновляемых разделов.
• Лимиты жёсткие: 50 000 адресов и 50 МБ на файл, только собственный домен и протокол; при превышении делают несколько карт и индексный файл, разбивая по типам страниц.
• Из необязательных полей работает только lastmod, и работает лишь пока он честный: одинаковые даты у всех адресов обесценивают сигнал целиком.
• Адрес карты указывают в robots.txt и добавляют в Вебмастер; главные конфликты — карта закрыта от обхода и адреса в карте закрыты от индексации.
• Карта содержит только канонические адреса, отдающие 200: редиректы, битые страницы, дубли и служебные разделы в ней вредны.

Если страницы годами не заходят в индекс, а причина неочевидна, приходите на SEO-консультацию — разберём карту, robots.txt и отчёты Вебмастера вместе и найдём, где именно теряется обход.