Ошибки robots.txt и sitemap.xml обходятся дороже остальных технических промахов: любая другая недоработка снижает позиции постепенно, а эти два файла способны выключить сайт из поиска целиком за пару недель. Причём сайт при этом продолжает открываться, страницы работают, формы отправляются — снаружи всё выглядит нормально, а робот уже развернулся на пороге. Ниже — какие именно строки убивают трафик, чем отличается поведение Яндекса и Google, как за пятнадцать минут проверить оба файла и что делать, если сайт уже вылетел из индекса.
Почему два текстовых файла решают судьбу трафика
Robots.txt и sitemap.xml — единственные два места, где сайт напрямую разговаривает с поисковым роботом. Всё остальное робот выясняет сам: ходит по ссылкам, смотрит коды ответов, оценивает содержимое. А эти два файла он читает как инструкцию и в большинстве случаев выполняет буквально.
Robots.txt лежит в корне и отвечает на вопрос «куда можно ходить». Робот запрашивает его первым, до любой страницы сайта. Если файл говорит «никуда», робот уходит и возвращается нескоро.
Sitemap.xml отвечает на другой вопрос — «что вообще есть на сайте». Это список адресов, которые владелец считает достойными индексации. Робот не обязан обходить всё оттуда и не обязан игнорировать то, чего там нет, но карта заметно ускоряет обнаружение новых страниц и помогает разобраться со сложной структурой.
Коварство обоих файлов в отложенном эффекте. Между ошибочной строкой и падением трафика проходит от одной до четырёх недель: страницы выпадают из индекса не разом, а по мере переобхода. Владелец связывает падение с чем угодно — с алгоритмами, с сезоном, с конкурентами, — только не с деплоем, который случился три недели назад. Именно поэтому проверять robots.txt нужно после каждого переноса, обновления системы управления и любых работ подрядчика на сервере.
Как робот читает robots.txt: правила, о которых забывают
Файл состоит из блоков. Блок начинается со строки User-agent и продолжается директивами до следующего User-agent или до конца файла. Внутри блока порядок строк для Яндекса значения не имеет: при конфликте Allow и Disallow побеждает более длинное правило, а при равной длине — разрешающее.
Главное правило, которое чаще всего нарушают: робот выполняет только один блок — самый подходящий для себя. Если в файле есть отдельная секция User-agent: Yandex, то робот Яндекса читает её и полностью игнорирует секцию User-agent: *. Отсюда классическая авария: человек аккуратно правит общий блок, а специальный блок для Яндекса с забытым запретом остаётся нетронутым и продолжает работать.
Второе правило: Disallow не гарантирует отсутствие страницы в выдаче. Запрет закрывает обход, а не индексацию. Если на закрытую страницу ведут внешние ссылки, она может попасть в результаты поиска — без содержимого, с адресом вместо описания. Убирать страницу из выдачи надо метатегом noindex или заголовком X-Robots-Tag, а страница при этом обязана оставаться открытой в robots.txt — иначе робот просто не увидит запрещающий метатег.
Третье правило: пустой Disallow разрешает всё, а Disallow с одним слешем запрещает всё. Разница между рабочей и катастрофической конфигурацией — один символ.
Подробнее об этом — в статье «Одна строчка в robots.txt — и весь сайт пропадает из Яндекса на полгода».
| Директива | Что делает | Как чаще всего ломают |
|---|---|---|
| User-agent | Открывает блок правил для конкретного робота | Отдельный блок для Yandex со старым запретом, о котором забыли |
| Disallow | Запрещает обход по маске адреса | Одинокий слеш после переноса с тестового сервера |
| Allow | Разрешает обход внутри запрещённого раздела | Правило короче запрещающего, поэтому не срабатывает |
| Sitemap | Указывает абсолютный адрес карты сайта | Относительный путь или адрес со старым протоколом и доменом |
| Clean-param | Склеивает адреса с незначащими параметрами | Перечислены параметры, которые как раз меняют содержимое страницы |
| Crawl-delay | Ничего: Яндекс перестал её учитывать | Держат в файле и надеются, что она снижает нагрузку |
Строки, которые закрывают сайт целиком
Первая и самая частая — Disallow со слешем в блоке для всех роботов. На тестовом домене это правильная настройка: незачем пускать поиск в черновик. Проблема в том, что при переносе на боевой домен файл копируется вместе со всем остальным. Через две недели сайт начинает исчезать из выдачи, через месяц от него остаётся главная страница без описания.
Вторая — закрытие сайта на уровне сервера. Иногда запрет живёт не в robots.txt, а в заголовке ответа X-Robots-Tag: noindex, который выставляет веб-сервер или плагин. Такой запрет не видно в исходном коде страницы, и найти его можно только через просмотр заголовков ответа. Проверяется командой curl с ключом для вывода заголовков или вкладкой «Сеть» в инструментах разработчика.
Помогу с продвижением: SEO-продвижение сайтов — вывожу сайты в топ Яндекса белыми методами.
Третья — галочка в системе управления. В WordPress есть настройка видимости для поисковых систем, которая одним переключателем добавляет запрет в robots.txt и метатег на все страницы. Её включают на время разработки и забывают выключить при запуске. Найти её проще, чем править файл: настройки чтения, пункт про видимость для поисковых систем.
Четвёртая — просроченный или неверный сертификат и обязательный редирект на адрес, который сам себя не отдаёт. Формально это не ошибка robots.txt, но эффект тот же: робот запрашивает файл, получает ошибку соединения и трактует ситуацию как временную недоступность всего сайта. Если такое состояние держится долго, обход останавливается.
Пятая — отдача robots.txt с кодом ошибки. Если файл возвращает 500-й код, Яндекс считает, что состояние временное, и приостанавливает обход до появления нормального ответа. Файл, которого нет вовсе, безопаснее файла, который отдаётся с ошибкой сервера.
Ошибки, которые закрывают не весь сайт, а самое ценное
Такие ошибки живут годами, потому что трафик не обнуляется — он просто вдвое меньше возможного, и сравнивать не с чем.
- Запрет каталога или блога. Строка вида «запретить /catalog/» появляется на время работ по разделу и остаётся навсегда. В поиске висит компания без товаров.
- Запрет папок со стилями и скриптами. Робот рендерит страницу так же, как браузер. Без стилей он видит нечитаемую простыню и не может оценить ни мобильную версию, ни расположение важных блоков. Закрывать /wp-content/ или /assets/ целиком нельзя.
- Запрет по маске, задевающий лишнее. Правило «запретить /search» закрывает не только внутренний поиск, но и любой адрес, который с этих букв начинается, — например, раздел про поисковое продвижение с адресом /searchmarketing/. Маска в robots.txt работает по началу строки, а не по совпадению папки.
- Запрет страниц пагинации без альтернативы. Закрыв вторую и последующие страницы списка, вы отрезаете роботу дорогу к товарам, которые дальше первой страницы. Если внутренних ссылок на эти товары больше нигде нет, они выпадают.
- Запрет корзины и личного кабинета через слишком широкую маску. Маска, начинающаяся с одного символа вроде «запретить /c», сносит и корзину, и каталог, и категории.
- Кириллица в директивах. Адреса в robots.txt пишутся в закодированном виде. Русские буквы в правиле часто не срабатывают вообще, и раздел, который считали закрытым, спокойно индексируется.
- Закрыть ИП или вытащить бизнес: 5 цифр, которые стоит посчитать до решения
Отдельная история — использование robots.txt для борьбы с дублями. Запрет обхода не убирает дубль из выдачи, если на него есть ссылки, и одновременно мешает роботу увидеть канонический адрес, указанный в коде страницы. Правильный порядок обратный: страницу оставляют открытой, ставят на ней канонический адрес или редирект, дожидаются переобхода и только потом, при необходимости, закрывают.
Что не так с sitemap.xml в большинстве проектов
Карта сайта редко ломает трафик так же зрелищно, как robots.txt, но регулярно делает работу поиска бесполезной. Типичные состояния, которые встречаются на реальных сайтах:
Тему разбирал отдельно: «Микроразметка Schema.org для Яндекса: ошибки внедрения, которые лишают сайт расширенных сниппетов».
- Карта не обновляется. Файл сгенерировали один раз при запуске и забыли. Новые страницы в него не попадают, удалённые остаются. Робот регулярно ходит по адресам, которых нет, и медленнее находит то, что появилось.
- В карте лежат страницы, закрытые в robots.txt. Прямое противоречие: сайт одновременно просит проиндексировать адрес и запрещает к нему подходить. В Вебмастере это выливается в раздел ошибок карты и в исключённые страницы.
- В карте адреса с редиректами. Карту сделали до перехода на защищённый протокол или до смены структуры адресов. Каждая строка отправляет робота на лишний прыжок, и часть краулингового бюджета уходит впустую.
- В карте страницы, отдающие 404. Товары кончились, разделы убрали, а карта помнит. Больше нескольких процентов битых адресов — и доверие к карте падает.
- Одна карта на десятки тысяч адресов. Ограничения простые: не больше 50 000 адресов и не больше 50 мегабайт в распакованном виде. Превышение — и файл обрабатывается частично или не обрабатывается вовсе. Решение — индексный файл со ссылками на несколько карт, разбитых по разделам.
- Даты изменения, которые меняются каждый день у всех страниц. Многие плагины проставляют текущую дату всему списку. Робот перестаёт доверять этому полю и обходит карту по своему усмотрению, а вы теряете возможность подсказать ему, что действительно обновилось.
- Адреса в карте не совпадают с каноническими. Карта отдаёт адрес со слешем на конце, а сайт канонизирует адрес без слеша. Робот получает противоречивые сигналы и выбирает сам.
Отдельно про приоритет и частоту обновления. Эти два необязательных поля почти не влияют на поведение современных роботов. Расставлять их вручную — потерянное время; куда полезнее следить, чтобы дата изменения была честной, а список адресов совпадал с реальным составом сайта.
Как robots.txt и sitemap.xml мешают друг другу
Оба файла описывают одно и то же множество страниц с разных сторон, поэтому противоречия между ними встречаются постоянно. Проверять их надо вместе, а не по очереди.
Первое противоречие уже названо: адрес есть в карте и закрыт в robots.txt. Второе — обратное: карта не содержит важного раздела, а внутренних ссылок на него мало, и робот добирается до страниц через раз. Третье — в robots.txt указан адрес карты, которого не существует или который отдаёт ошибку; тогда карта не читается вообще, хотя лежит на сайте.
Ещё одно частое сочетание: сайт переехал на новый домен, редиректы настроены, но в robots.txt строка Sitemap по-прежнему ведёт на старый адрес. Робот идёт по ней, получает редирект, попадает на карту нового сайта — и это ещё лучший вариант. Хуже, когда старый домен отключён и строка ведёт в никуда.
Практический вывод: строка Sitemap в robots.txt всегда абсолютная, всегда с актуальным протоколом и доменом, и её работоспособность проверяется открытием в браузере, а не на глаз.
Проверка за пятнадцать минут: порядок действий
Порядок именно такой — от того, что ломает всё, к тому, что ломает частности. Все инструменты бесплатны.
| Что проверяем | Чем | Норма |
|---|---|---|
| Отдаётся ли robots.txt | Открыть адрес сайта со /robots.txt в браузере | Код 200, текст виден, кодировка читаемая |
| Нет ли запрета всего сайта | Поиск по тексту файла строки с одиноким слешем | Такой строки нет ни в общем блоке, ни в блоке для Yandex |
| Как файл понимает Яндекс | Инструмент анализа robots.txt в Вебмастере | Нужные адреса помечены как разрешённые |
| Заголовки ответа | curl с выводом заголовков по нескольким страницам | Нет X-Robots-Tag с запретом |
| Метатег в коде | Просмотр исходного кода двух-трёх ключевых страниц | Нет noindex там, где он не нужен |
| Открыты ли стили и скрипты | Тот же анализ robots.txt по адресу файла стилей | Разрешено |
| Карта сайта | Открыть адрес из строки Sitemap | Открывается, дата свежая, адреса актуальные |
| Ошибки карты | Раздел «Файлы Sitemap» в Вебмастере | Статус «Обработан», ошибок нет |
| Страниц в поиске | Раздел индексирования в Вебмастере | Число сопоставимо с реальным количеством страниц |
Если хотя бы одна строка таблицы даёт не тот результат, дальше идти нет смысла: сначала чинится она. Отдельно стоит завести привычку проверять robots.txt после каждого обновления системы управления — многие плагины считают себя вправе переписать файл.
Смежный материал по теме — «X-Robots-Tag: как закрыть от индексации PDF и картинки, куда метатег не вставить».
Сайт уже выпал из индекса — что делать
Порядок восстановления отличается от порядка диагностики: тут важна скорость возврата, а не полнота разбора.
- Убрать причину. Исправить файл, снять галочку в системе управления, убрать заголовок с запретом. Пока причина на месте, всё остальное бесполезно.
- Проверить исправление инструментом Вебмастера. Анализ robots.txt должен показать, что важные адреса разрешены. Проверять надо не главную, а именно те разделы, которые выпали.
- Обновить карту сайта и убедиться, что дата изменения у восстановленных страниц свежая. Робот ориентируется на неё, решая, что переобходить в первую очередь.
- Отправить страницы на переобход. В Вебмастере есть инструмент переобхода с дневным лимитом. Тратить лимит надо на самые денежные страницы, а не на статьи блога.
- Проверить, что страницы отдают 200 и содержат текст. Бывает, что запрет снят, а страницы после аварийных правок отдают пустой шаблон.
- Ждать и наблюдать. Возврат в индекс занимает от недели до месяца в зависимости от размера сайта и частоты обхода. Главная и разделы возвращаются первыми, глубокие страницы — последними.
Позиции после возврата обычно восстанавливаются не полностью и не сразу: страница заново набирает статистику поведения. Чем дольше сайт был закрыт, тем длиннее хвост. Месяц простоя — это, как правило, ещё месяц-полтора на возвращение к прежним показателям.
Частые вопросы
Нужен ли robots.txt вообще, если закрывать нечего? Формально нет: отсутствие файла робот трактует как разрешение обходить всё. Практически файл всё равно полезен — хотя бы ради строки с адресом карты сайта и запрета технических адресов вроде страниц сортировки и внутреннего поиска.
Правда ли, что Google не подчиняется запретам в robots.txt? Подчиняется, но иначе трактует последствия: закрытый в robots.txt адрес он может показать в выдаче без содержимого, если на него ссылаются. Различается и синтаксис: Clean-param — директива Яндекса, Google её не понимает и обрабатывает параметры по-своему.
Можно ли закрыть от индексации PDF и документы? Можно, но подумайте дважды. Прайсы, инструкции и каталоги в PDF нередко приводят целевой трафик по узким запросам. Если закрывать, то через заголовок ответа, а не запретом обхода — иначе документ останется в выдаче как адрес без содержимого.
Как быть с фильтрами каталога — закрывать или нет? Комбинации, у которых есть спрос в Вордстате, лучше открывать и делать посадочными страницами с собственными заголовками. Всё остальное закрывать канонической ссылкой на основную категорию, а не запретом в robots.txt.
Сколько карт сайта можно иметь? Сколько угодно, если они собраны в индексный файл. Разбивка по типам содержимого — товары, статьи, категории — заодно облегчает диагностику: в Вебмастере сразу видно, в какой части сайта проблемы с индексацией.
Помогает ли карта сайта попасть в топ? Напрямую нет. Она ускоряет обнаружение и переобход, то есть влияет на скорость, а не на позицию. Страница без спроса и содержания не поднимется от того, что её добавили в карту.
Как часто перегенерировать карту? Автоматически при каждом изменении состава страниц. Все распространённые системы управления умеют это из коробки или через модуль; ручная генерация раз в квартал почти всегда означает устаревшую карту.
Коротко
- Robots.txt и sitemap.xml — единственные места, где сайт прямо говорит роботу, куда ходить и что смотреть; ошибка в них выключает трафик целиком, а не постепенно.
- Робот выполняет только один блок правил — свой. Отдельная секция для Yandex перекрывает общую, и забытый в ней запрет продолжает работать после правки общего блока.
- Disallow закрывает обход, а не выдачу. Убирать страницу из результатов надо метатегом noindex, оставив её открытой для обхода.
- Самые дорогие ошибки — одинокий слеш после переноса с тестового сервера, закрытые стили и скрипты, слишком широкие маски и галочка видимости в системе управления.
- Карта сайта чаще всего вредит не ошибками, а неактуальностью: адреса с редиректами, битые страницы, фальшивые даты изменения и противоречие с robots.txt.
- Проверка обоих файлов занимает пятнадцать минут и делается после каждого деплоя, обновления CMS и работ подрядчика — именно там, а не в алгоритмах, чаще всего лежит причина внезапного падения.
- Закрыть ИП или вытащить бизнес: 5 цифр, которые стоит посчитать до решения
Если трафик просел, а причина не находится, или вы хотите проверить техническую часть до того, как она обойдётся в потерянные позиции, приходите на SEO-консультацию: посмотрим оба файла, заголовки ответов, состояние индексации в Вебмастере и составим порядок исправлений от самого критичного к второстепенному.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе и Google.
Связаться со мной →Комментарии
Валерьян Голоскоков
Ровно наш случай, только нашли через полтора месяца. Переехали на новый хостинг, разработчик залил папку целиком вместе с тестовым robots.txt. Сайт открывался, заказы шли, всё было хорошо — а потом за три недели трафик стёк почти в ноль. Обиднее всего, что Вебмастер писал про это в уведомлениях, только их никто не читал.
Анатолий Кузнецов автор
Уведомления Вебмастера — самый недооценённый источник, туда действительно почти никто не заходит. Настройте на почту хотя бы критичные оповещения: раздел с настройками уведомлений позволяет выбрать, что присылать, и письмо про запрет индексации приходит в первые дни. Второе, что стоит сделать после этой истории, — завести короткий чек-лист выката, где проверка robots.txt стоит первым пунктом наравне с проверкой работы форм. Третье: снимите с разработчика привычку копировать корень целиком, файл robots.txt и файл конфигурации должны выкатываться отдельно и осознанно. И присмотритесь к графику показов в Вебмастере, а не к визитам в Метрике — показы падают на неделю раньше визитов, это самый ранний сигнал.
Никифор Кочубей
Спорный момент про пагинацию. У меня в каталоге 400 страниц списка, если их открыть, робот будет неделями ходить по спискам вместо товаров. Всегда закрывал со второй страницы и проблем не замечал.
Анатолий Кузнецов автор
Проблем не замечали, потому что у вас, вероятно, есть другой путь к товарам — карта сайта со всеми карточками или перелинковка блоками похожих товаров. Тогда закрытая пагинация действительно безобидна. Опасно другое сочетание: закрытая пагинация плюс карта, в которой только категории. В нём товары со второй страницы и дальше не имеют ни одной доступной роботу ссылки. Проверить просто: возьмите в каталоге товар, который лежит на десятой странице списка, и посмотрите в Вебмастере, есть ли он в поиске и по каким внутренним ссылкам робот его нашёл. Если ответ «не найден», причина именно в этом. И вместо закрытия обходом чаще имеет смысл оставить пагинацию открытой, но убрать с неё дублирующийся текст категории — тогда она не мешает и не создаёт дублей.
Зосима Урусов
Добавлю про X-Robots-Tag. У нас его выставлял модуль кэширования на всех страницах с параметрами в адресе. В коде страницы чисто, в robots.txt чисто, а половина каталога с фильтрами не индексировалась год. Нашли только когда стали смотреть заголовки ответа через curl.
Ипполит Овчаренко
Вопрос про закрытие стилей. У нас на сайте /wp-content/ закрыт целиком уже лет пять, при этом позиции нормальные. Судя по статье, мы просто не знаем, сколько на этом теряем — надо открывать и смотреть динамику показов.
Прохор Титаренко
Про маски по началу строки — прямо больная тема. Закрыли /price, чтобы спрятать служебную выгрузку, и вместе с ней улетел раздел /price-list-oborudovaniya/, который был посадочной под неплохой запрос. Заметили через два месяца по провалу в показах.
Олимпиада Вакуленко
А как понять, что карта сайта вообще читается? У меня в Вебмастере статус висит «Ожидает обработки» уже недели три, при этом сама карта открывается нормально и адреса в ней живые.
Анатолий Кузнецов автор
Три недели в ожидании — это не норма, обычно обработка занимает от суток до недели. Проверьте по порядку четыре вещи. Первое: размер и число адресов, если файл близок к пределам, разбейте его на несколько и соберите в индексный. Второе: кодировка и корректность XML — откройте карту в браузере, он подсветит ошибку разметки, если она есть; чаще всего мешают неэкранированные амперсанды в адресах с параметрами. Третье: совпадает ли домен внутри карты с доменом сайта, включая протокол и наличие www; адреса с другим доменом карта не примет. Четвёртое: не отдаётся ли карта с редиректом — если Sitemap в robots.txt указывает на адрес без слеша, а сервер переадресует, обработка иногда подвисает. И добавьте карту в Вебмастере руками, а не только строкой в robots.txt: так статус обновляется быстрее.
Фёкла Юрченко
Мы после переезда на https забыли поправить строку Sitemap — она год вела на старый протокол. Ошибок нигде не показывалось, просто новые статьи заходили в индекс неделями вместо пары дней. Исправили одну строчку, скорость появления стала совсем другой.
Ярослава Ящук
Не соглашусь насчёт приоритета и частоты в карте. Мы их проставляем, и у нас важные разделы обходятся чаще. Может, всё-таки влияет?
Анатолий Кузнецов автор
Скорее совпадение с другими факторами. Важные разделы обычно чаще обновляются, имеют больше внутренних ссылок и больше показов в выдаче — робот приходит к ним чаще именно поэтому. Разделить эти влияния можно только экспериментом: уберите поля приоритета у половины разделов на месяц и сравните частоту обхода по журналу сервера. Из моей практики разницы не видно, зато видно другое — честная дата изменения работает заметно. Если вы не трогали страницу, а карта каждый день сообщает свежую дату, робот перестаёт использовать это поле как подсказку, и вы теряете реальный рычаг ради двух декоративных. Так что порядок такой: сначала наведите порядок с датами и составом адресов, а приоритет оставляйте, если он вас не отвлекает.
Фаина Пшеничная
Полезно про то, что закрытая в robots.txt страница мешает роботу увидеть noindex. Мы именно так и делали: сначала закрывали дубли обходом, потом удивлялись, почему они висят в выдаче адресами без описания. Развернули порядок — за месяц ушли.
Гурий Устименко
Вопрос по восстановлению. Сайт был закрыт примерно два месяца, сейчас всё исправлено, страницы возвращаются, но позиции стоят гораздо ниже прежних. Это навсегда или подтянется?
Анатолий Кузнецов автор
Подтянется, но не само и не мгновенно. Пока страница была вне выдачи, она не накапливала статистику показов и кликов, и сейчас система заново набирает данные о том, устраивает ли она людей. Ускорить можно тремя вещами. Первая: заголовки и описания в сниппете — их стоит пересмотреть, потому что при возврате вы фактически заново боретесь за клик. Вторая: внутренние ссылки на пострадавшие страницы с тех разделов, которые не выпадали, — это подсказывает роботу приоритет. Третья: свежесть — обновите содержимое ключевых страниц по существу, добавьте актуальные цены и сроки, и проставьте честную дату изменения. Ориентир по срокам: полное восстановление обычно занимает примерно столько же времени, сколько сайт был закрыт, плюс несколько недель. Два месяца простоя — считайте квартал на возвращение.
Юстин Островерх
Отдельная подстава — плагины, которые генерируют robots.txt виртуально. Файла на диске нет, правишь его через панель, а потом ставишь другой плагин, и он начинает отдавать свой вариант поверх. У нас так вернулся запрет, который сняли полгода назад.
Галактион Лещенко
Стоит ли вообще держать в карте сайта страницы блога, если продают у нас только карточки услуг? Или лучше оставить карту только под коммерческие разделы, чтобы робот не распылялся?
Старт 
Стандарт 
Премиум 
Полезно новичкам которые копируют чужой роботс не глядя что там написано.
А я думал роботс это ерунда пока не закрыл им полкаталога и не выпал из выдачи.
Толково особенно про рассинхрон карты сайта и реальных страниц.
По опыту чаще всего закрывают по ошибке весь сайт одной строкой и потом удивляются падению.
Сохранила перепроверю карты сайта на всех проектах.
Добавлю всегда проверяйте роботс через инструмент в Яндекс Вебмастере перед заливкой на сервер.
Спасибо за понятные примеры теперь не боюсь лезть в эти настройки.
Должна ли карта сайта обновляться автоматически или можно генерировать её вручную раз в месяц спокойно
Артём, для небольшого сайта ручной генерации раз в месяц мало лучше настроить автоматическое обновление карты при добавлении страниц. Тогда новые материалы попадают в индекс быстрее и без вашего участия.
Хорошо но не хватило примеров правильного роботса для интернет-магазина.
У нас после исправления карты сайта скорость индексации новых страниц заметно выросла.
Отличный разбор частых ошибок. Сразу нашёл у себя лишний запрет на папку с картинками.
Нужно ли вообще прописывать директиву Хост в современном роботсе или это уже полностью устарело
Светлана, директива Хост давно не нужна Яндекс определяет главное зеркало через редиректы и настройки в вебмастере. Смело убирайте её из роботса чтобы не вводить робота в заблуждение.
По-моему вокруг роботса слишком много мифов. Он давно не такой всесильный как раньше.
Карта сайта у меня была старая на треть из удалённых страниц. Спасибо что напомнили обновить.
Подскажите как проверить что я случайно не закрыл важные разделы сайта в роботсе от индексации
Денис, проверьте роботс через инструмент проверки в Яндекс Вебмастере он покажет какие адреса закрыты. Прогоните через него ключевые страницы каталога и убедитесь что они разрешены к обходу.
После вашей статьи полез в роботс и обомлел половина сайта была закрыта случайно.