Карта сайта Sitemap

Карта сайта Sitemap решает одну задачу: сообщить поисковому роботу полный список адресов, которые вы считаете важными. Без неё робот идёт по ссылкам и находит только то, до чего дотянулась перелинковка — а на большом каталоге или в старом блоге всегда есть страницы, на которые не ссылается ничего. Они месяцами остаются вне поиска, хотя написаны, свёрстаны и оплачены.

Я в SEO с 2005 года и регулярно вижу обратную ситуацию: карта есть, но в ней половина адресов отдаёт редирект, треть закрыта от индексации, а дата последнего изменения у всех страниц одинаковая и обновляется при каждой генерации. Такой файл не помогает, а мешает — робот тратит на него обход и получает противоречивые сигналы. Ниже — как файл устроен, что в нём реально учитывается, как его подключить и что проверять после.

Что представляет собой файл

Технически это XML-документ, который лежит в корне сайта и доступен по адресу вида ваш-сайт.ru/sitemap.xml. Внутри — перечень адресов, каждый в собственном блоке, с необязательными дополнительными данными.

Минимально осмысленная запись выглядит так: адрес страницы и дата её последнего изменения. Всё остальное необязательно, и, как выяснилось за годы, почти бесполезно.

Тег	Назначение	Реальный вес
loc	Полный адрес страницы	Обязателен, единственный по-настоящему важный
lastmod	Дата последнего изменения	Учитывается, если ей можно доверять
changefreq	Предполагаемая частота обновления	Google игнорирует, Яндекс использует как слабую подсказку
priority	Относительная важность от 0 до 1	Практически не влияет ни на что

Про lastmod стоит сказать отдельно. Поисковые системы сверяют указанную дату с тем, менялось ли содержимое страницы на самом деле. Если у вас каждый день обновляются все даты подряд, а тексты те же самые, система перестаёт доверять этому полю целиком — и вы теряете единственную работающую подсказку. Дата должна меняться только при реальной правке.

Зачем карта нужна и когда без неё можно обойтись

Главная польза — полнота и скорость индексации. Робот получает список адресов сразу, а не вычисляет его обходом ссылок. Особенно это заметно в трёх случаях.

• Большой сайт. На каталоге в десятки тысяч страниц обход по ссылкам занимает недели, а часть глубоко вложенных карточек робот может не увидеть вовсе.
• Молодой сайт. Внешних ссылок ещё нет, авторитета нет, обход редкий. Карта даёт роботу отправную точку.
• Слабая перелинковка. Страницы-сироты, на которые не ведёт ни одна внутренняя ссылка, существуют почти на каждом сайте старше трёх лет.

Чего карта не делает — тоже нужно понимать чётко. Она не гарантирует индексацию: робот может обойти адрес и решить не добавлять страницу в поиск, если сочтёт её дублем, малополезной или пустой. Она не поднимает позиции: это навигационный файл, а не сигнал качества. И она не заменяет перелинковку — внутренние ссылки передают вес, карта не передаёт ничего.

Обойтись без неё технически можно на сайте в 20–30 страниц с хорошей перелинковкой и меню, где до любого раздела два клика от главной. Но и там она не мешает, а создаётся автоматически, поэтому отказываться незачем.

Типы карт сайта

Тип	Для кого	Что содержит
XML	Поисковые роботы	Список адресов с датами изменения
Индексная XML	Роботы, крупные сайты	Ссылки на другие файлы карт
HTML	Люди	Страница со структурой разделов и ссылками
Для изображений	Поиск по картинкам	Адреса картинок, привязанные к страницам
Для видео	Видеопоиск	Адреса роликов, длительность, описание, превью
Для новостей	Новостные агрегаторы	Материалы за последние двое суток
Текстовая	Роботы	Простой список адресов, по одному в строке

HTML-карта — отдельная история. Для поиска она сегодня почти не значит ничего, зато решает две прикладные задачи: даёт человеку возможность окинуть взглядом всю структуру и создаёт внутренние ссылки на разделы, которые иначе оказались бы в изоляции. На крупном каталоге такая страница вырождается в бесполезный список из тысяч ссылок, поэтому смысл она имеет на сайтах средних размеров.

Лимиты и разбиение на файлы

У формата есть жёсткие ограничения: не более 50 000 адресов в одном файле и не более 50 МБ в несжатом виде. При превышении робот обработает файл частично или откажется от него.

Подробнее об этом — в статье «HTML карта сайта».

Когда сайт перерастает лимит, карты разбиваются на несколько файлов, а сверху ставится индексная карта — файл, который перечисляет остальные. Тогда в robots.txt и в панелях вебмастера указывается только она.

Помогу с продвижением: SEO-продвижение от Анатолия Кузнецова — вывожу сайты в топ Яндекса белыми методами.

Но разбивать имеет смысл и раньше лимита, по смысловому признаку. Отдельные файлы под товары, категории, статьи блога и статические страницы дают важное преимущество: в отчётах Вебмастера и Search Console видно, сколько страниц из каждого файла попало в индекс. Если товары индексируются на 95%, а статьи на 40%, вы сразу знаете, где проблема. При одной общей карте эта информация теряется.

Как создать карту сайта

Способ зависит от платформы, но принцип один: файл должен генерироваться автоматически и обновляться при появлении новых страниц.

1. Встроенные средства CMS. Современные версии WordPress, Bitrix, OpenCart, Tilda генерируют карту без плагинов. Проверьте сначала это — возможно, файл у вас уже есть.
2. Расширения и модули. Для WordPress это плагины поисковой оптимизации, которые заодно дают контроль над тем, какие типы записей попадают в карту. Для MODX — соответствующий сниппет с настройкой шаблона вывода.
3. Генераторы-краулеры. Программа обходит сайт как робот и собирает файл из найденных адресов. Подходит для статических сайтов и самописных решений, но требует ручного перезапуска после каждого обновления.
4. Онлайн-сервисы. Работают так же, обычно с ограничением по числу страниц в бесплатной версии. Годятся для разовой задачи.
5. Собственный скрипт. Для самописного сайта — выборка из базы актуальных адресов с датами. Надёжнее всего, потому что берёт данные из первоисточника.

Платформа	Чем генерировать	На что обратить внимание
WordPress	Встроенный механизм или SEO-плагин	Исключить архивы меток, авторов и вложения
Bitrix	Штатный модуль поисковой оптимизации	Настроить расписание пересборки, иначе файл устаревает
MODX	Сниппет генерации по шаблону	Проверить, что в выборку не попадают неопубликованные ресурсы
OpenCart и подобные	Встроенный генератор или модуль	Исключить товары, снятые с продажи и отдающие 404
Конструкторы	Формируется автоматически	Проверить, что файл вообще доступен по стандартному адресу
Самописный сайт	Скрипт с выборкой из базы	Брать только опубликованные записи и реальные даты правок

Главный критерий выбора: файл обязан обновляться сам. Карта, собранная краулером один раз в январе, к июню становится вредной — в ней нет новых страниц и остались удалённые.

Как подключить карту

После создания файл нужно показать поисковым системам. Способов три, и они дополняют друг друга.

• Строка в robots.txt. Директива Sitemap с полным адресом файла, включая протокол и домен. Ставится в конце файла, работает для всех роботов сразу.
• Яндекс.Вебмастер. Раздел «Индексирование — Файлы Sitemap», добавление адреса вручную. Здесь же появится отчёт об ошибках и о числе обработанных адресов.
• Google Search Console. Раздел «Файлы Sitemap», добавление и последующая статистика по обнаруженным и проиндексированным страницам.

Добавлять карту в панели стоит обязательно, даже если строка в robots.txt уже есть: только там вы увидите ошибки разбора и статистику обработки. Без этого файл может годами лежать с невалидным XML, а вы об этом не узнаете.

Частые ошибки

Ошибка	Последствие	Как исправить
В карте адреса с редиректами	Робот тратит обход на переходы вместо страниц	Выгружать только конечные адреса, отдающие 200
Страницы, закрытые в robots.txt	Противоречивые сигналы, ошибка в панели	Убрать такие адреса из карты
Страницы с noindex или canonical на другой адрес	Робот приходит и уходит ни с чем	Включать только канонические индексируемые страницы
Битые адреса, отдающие 404	Снижается доверие к файлу целиком	Пересобирать карту после удаления страниц
Смешение http и https, www и без www	Адреса считаются чужими и игнорируются	Использовать строго тот же вид, что и основное зеркало
Относительные адреса вместо полных	Файл не проходит проверку	Указывать адрес целиком, с протоколом и доменом
lastmod обновляется у всех страниц разом	Поиск перестаёт доверять датам	Менять дату только при реальной правке содержимого
Карта не обновляется автоматически	Новые страницы не попадают, удалённые остаются	Настроить генерацию по расписанию или по событию
Превышен лимит в 50 000 адресов	Файл обрабатывается частично	Разбить на несколько и сделать индексную карту
Сам файл закрыт от индексации	Робот не может его получить	Проверить правила robots.txt и права доступа

Общее правило, из которого следует большинство пунктов: в карте должны быть только те адреса, которые вы действительно хотите видеть в поиске, в том виде, в котором они отдают код 200. Всё остальное — шум, который снижает ценность файла.

Тему разбирал отдельно: «Индексация сайта от А до Я: robots.txt, sitemap, краулинговый бюджет».

Что проверять в Яндекс.Вебмастере

После подключения работа не заканчивается. Раздел с файлами карт в Вебмастере даёт несколько показателей, которые нужно читать регулярно.

1. Статус обработки. Файл должен быть в состоянии «OK». Статус с ошибкой означает, что XML невалиден или файл недоступен — до устранения карта не работает вовсе.
2. Дата последней загрузки. Если робот не обращался к файлу неделями, проверьте доступность и корректность адреса в robots.txt.
3. Число URL в файле. Сравните с реальным числом страниц сайта. Расхождение вдвое означает, что генератор захватывает не всё или, наоборот, лишнее.
4. Ошибки и предупреждения. Здесь показываются конкретные проблемные записи: недопустимый формат даты, адрес с чужого домена, превышение размера.
5. Страницы в поиске. Отдельный отчёт, где видно, сколько страниц реально попало в индекс и какие были исключены с указанием причины.
6. Статистика обхода. Показывает, какие разделы робот посещает и какие коды ответа получает. Всплеск 404 или 5xx объясняет проседание индексации лучше любых догадок.

Отчёт об исключённых страницах особенно полезен. Формулировки там конкретные: недостаточно качественная страница, дубль, запрет в robots.txt, ошибка при обращении. Каждая причина требует своего решения, и без этого отчёта вы будете чинить наугад.

Карта сайта и краулинговый бюджет

У робота есть ограничение по числу запросов к сайту за визит. Чем осмысленнее вы распорядитесь этим лимитом, тем быстрее новые страницы попадут в поиск.

Карта помогает здесь двумя способами. Во-первых, она направляет робота сразу на нужные адреса, минуя длинные цепочки навигации. Во-вторых, корректная дата изменения позволяет системе не перепроверять то, что не менялось, и сосредоточиться на новом.

Но карта не спасёт, если бюджет съедается мусором. Типичные пожиратели обхода на коммерческом сайте:

• Страницы фильтров и сортировок, генерирующие тысячи почти одинаковых адресов с параметрами.
• Постраничная навигация без ограничений — сотни страниц с одинаковыми метаданными.
• Поисковые страницы сайта, доступные роботу по ссылкам.
• Версии для печати и дубли с параметрами меток рекламных кампаний.
• Цепочки редиректов длиной в три и более переходов.

Если нужна помощь по теме — разработка сайта под ключ.

Порядок действий такой: сначала убрать мусор из обхода, потом настраивать карту. В обратном порядке эффекта не будет — робот продолжит тратить визиты на параметры сортировки.

Карта для интернет-магазина

На каталоге задача усложняется, и появляются нюансы, которых нет на сайте услуг.

Смежный материал по теме — «Хлебные крошки — это не украшение, а карта сайта для робота Яндекса».

• Разделение по типам. Отдельные файлы для категорий, товаров, брендов и статей. Так видно индексацию каждой группы отдельно.
• Товары не в наличии. Если карточка остаётся доступной и содержит полезное описание, она должна быть в карте. Если она отдаёт 404 при исчезновении товара, её нужно убирать автоматически.
• Фильтры. Полезные комбинации фильтров, оформленные как отдельные посадочные страницы со своими заголовками, в карту включать нужно. Технические комбинации с параметрами — нет.
• Картинки товаров. Отдельная карта изображений имеет смысл, если поиск по картинкам приносит вам трафик. Проверить это можно в отчётах по источникам.
• Частота генерации. При ежедневном обновлении ассортимента карта должна пересобираться ежедневно, иначе новинки ждут неделю впустую.

Частые вопросы

Гарантирует ли карта попадание страницы в индекс? Нет. Она гарантирует, что робот узнает об адресе и придёт по нему. Решение о добавлении в поиск принимается по качеству страницы: пустые, дублирующие и малополезные останутся вне индекса при любой карте.

Как быстро появляются страницы после добавления в карту? Однозначного срока нет: на активно обновляемом сайте с хорошим обходом это дни, на молодом и редко посещаемом — недели. Ускорить помогает переобход по конкретным адресам в Вебмастере и внутренние ссылки на новую страницу с уже проиндексированных разделов.

Нужны ли теги changefreq и priority? Практической пользы от них почти нет. Google официально заявлял, что не использует их, Яндекс относится к changefreq как к слабой подсказке. Заполнять их можно, но тратить время на подбор значений бессмысленно — лучше вложиться в корректный lastmod.

Что делать со страницами пагинации? Включать в карту нужно только первую страницу списка. Остальные робот найдёт по ссылкам, и они не являются самостоятельными посадочными страницами. Исключение — если постраничные списки у вас оформлены как отдельные страницы с уникальными заголовками и текстами.

Может ли карта навредить? Может, если наполнена неправильно. Файл с сотнями редиректов, битых адресов и закрытых от индексации страниц снижает доверие к себе, и робот начинает обращаться к нему реже. Плохая карта хуже её отсутствия.

Нужна ли отдельная карта для мобильной версии? При адаптивной вёрстке — нет, адрес один и тот же. Отдельная карта нужна только при отдельной мобильной версии на поддомене, и это устаревшее решение, от которого лучше уходить.

Как проверить, что файл валиден? Откройте его в браузере — он должен отображаться без ошибок разбора. Затем добавьте в обе панели вебмастера и посмотрите статус обработки. Дополнительно прогоните сайт краулером и сравните список найденных адресов с содержимым карты.

Чеклист проверки карты сайта

• Файл доступен по прямому адресу и отдаёт код 200.
• Адрес карты указан в robots.txt полностью, с протоколом и доменом.
• Карта добавлена в Яндекс.Вебмастер и Google Search Console, статус обработки без ошибок.
• Все адреса в карте — канонические, индексируемые, отдающие 200.
• Вид адресов совпадает с основным зеркалом по протоколу и www.
• lastmod меняется только при реальной правке страницы.
• Число адресов в файле не превышает 50 000, размер — 50 МБ.
• При большом объёме карты разбиты по типам и собраны индексной картой.
• Генерация автоматическая, файл обновляется при добавлении и удалении страниц.
• Раз в месяц сверяется число адресов в карте с числом страниц в поиске.

О том, влияет ли сам домен на продвижение:

1:19

Коротко

• Карта сайта — навигационный файл для роботов: она ускоряет и делает полнее индексацию, но не гарантирует попадание в поиск и не влияет на позиции.
• Из всех тегов реально работают два: адрес страницы и дата изменения; changefreq и priority практического веса не имеют.
• Дата изменения должна отражать правду — массовое обновление lastmod при каждой генерации обесценивает подсказку целиком.
• В карте место только каноническим индексируемым адресам с кодом 200; редиректы, дубли и закрытые страницы снижают доверие к файлу.
• При больших объёмах карты разбиваются по типам страниц — это даёт раздельную статистику индексации в панелях вебмастера.
• Карта не заменяет перелинковку и не спасает от растраты обхода на фильтры и параметры: сначала убирается мусор, потом настраивается файл.

Если страницы месяцами не попадают в поиск и причина неочевидна, приходите на SEO-консультацию — посмотрим карту, отчёты по обходу и исключённым страницам и найдём, где именно теряется индексация.