Как улучшить индексацию сайта

Как улучшить индексацию сайта — вопрос, который обычно задают уже после того, как потрачены месяцы на тексты и ссылки. Логика владельца понятна: контент есть, работа сделана, а страниц в поиске нет. Логика робота другая — он не обязан обходить всё, что вы написали, и тем более не обязан всё найденное добавлять в базу. Между «страница опубликована» и «страница участвует в выдаче» лежит цепочка из пяти-шести шагов, и рвётся она чаще всего в местах, которые владелец никогда не проверял: в одной строке служебного файла, в коде ответа сервера, в отсутствии ссылок на страницу изнутри сайта.

В SEO я с 2005 года, и по моим наблюдениям индексация — самая недооценённая часть работы. Она невидима: сайт открывается, всё выглядит нормально, ошибок никто не замечает. При этом на средних проектах регулярно обнаруживается, что от трети до половины полезных страниц в поиске отсутствуют, а обходы робота уходят на служебные адреса и мусорные фильтры. Ниже — порядок, по которому я разбираю индексацию на любом сайте, от корпоративного на тридцать страниц до магазина на десятки тысяч.

Путь страницы от обхода до индекса

Сначала о механике, потому что без неё лечение идёт вслепую. Робот сначала должен узнать об адресе — из ссылки на другой странице, из карты сайта, из отправленного вами уведомления. Затем он должен получить возможность его загрузить: файл robots.txt не запрещает, сервер отвечает, страница отдаётся за разумное время. Затем содержимое разбирается и оценивается: есть ли смысл держать этот документ в базе, не дублирует ли он уже имеющееся, отвечает ли на реальные запросы. И только после этого адрес попадает в поиск.

Этап	Что должно произойти	Типовой сбой
Обнаружение	Робот узнаёт адрес	Страница-сирота: на неё нет ни одной внутренней ссылки
Разрешение	robots.txt не запрещает обход	Случайный Disallow на раздел или на весь сайт
Загрузка	Сервер отдаёт код 200 и содержимое	Таймауты, ошибки 5xx, медленный ответ
Разбор	Контент виден без выполнения скриптов	Содержимое подгружается только в браузере
Оценка	Страница признаётся самостоятельной и полезной	Дубль, тонкая страница, «недостаточно качественная»
Публикация	Адрес появляется в поиске	Индекс есть, но показов нет: нет спроса под эту страницу

Диагностика всегда идёт по этой цепочке сверху вниз. Смысла разбираться с качеством контента нет, пока не проверено, что робот вообще может страницу загрузить. И наоборот: если страницы обходятся ежедневно, но в индекс не попадают, проблема точно не в robots.txt, и ковырять его бесполезно.

Где чаще всего перекрывают доступ роботу

Запрет на индексацию можно поставить четырьмя разными способами, и они действуют по-разному. Половина проблем возникает из-за того, что владелец знает про один способ и не проверяет остальные три.

Способ	Где живёт	Что делает	Частая ошибка
Disallow в robots.txt	Файл в корне сайта	Запрещает обход адреса	Закрыт раздел целиком одной строкой при переносе с тестового сервера
Мета-тег noindex	Секция head страницы	Запрещает добавление в индекс	Остался на шаблоне после разработки, стоит на всех страницах типа
Заголовок X-Robots-Tag	HTTP-ответ сервера	То же, что noindex, но не виден в коде страницы	Никто не проверяет: в исходнике страницы его нет
Атрибут rel=»canonical»	Секция head	Указывает основной адрес из группы дублей	Все страницы указывают на главную — раздел исчезает из поиска
Закрытие паролем или по IP	Настройки сервера	Робот получает 401 или 403	Осталась защита от тестового периода

Отдельно предупрежу про сочетание Disallow и noindex. Если страница закрыта в robots.txt, робот не может её загрузить и, соответственно, не видит мета-тег noindex внутри. Чтобы страница гарантированно ушла из индекса, обход должен быть разрешён, а запрет — стоять в мета-теге или в заголовке ответа. Это одна из самых частых логических ошибок: закрывают в robots и удивляются, почему адреса продолжают висеть в поиске.

Проверять эти четыре места нужно не глазами по одной странице, а массово. Возьмите список адресов сайта и прогоните краулером, который показывает код ответа, мета-роботс, канонический адрес и заголовки. Разница между «я посмотрел главную, всё нормально» и полной выгрузкой обычно составляет несколько сотен неожиданно закрытых страниц.

Коды ответа и доступность сервера

Робот делает вывод не по содержимому страницы, а по коду ответа. Здесь ошибки стоят дороже всего, потому что они систематические: неправильный код отдают не одна страница, а весь класс адресов.

Если нужны детали, смотрите «Как улучшить позиции сайта».

• 200 на несуществующей странице. Так называемая мягкая 404: адрес удалён, а сервер отвечает «всё в порядке» и отдаёт пустую страницу или главную. Индекс постепенно засоряется мусорными адресами, обходы уходят в никуда.
• 302 вместо 301. Временный редирект не передаёт сигналы старого адреса новому и не убирает старый из индекса. При переездах и смене адресов ставится только 301.
• Цепочки редиректов. Три-четыре перехода подряд робот может не дойти до конца. Каждая ссылка внутри сайта должна вести на конечный адрес напрямую.
• Периодические 5xx. Хостинг падает под нагрузкой в часы обхода. В Вебмастере это видно как всплески ошибок и падение числа загруженных страниц.
• Медленный ответ. Если сервер отвечает секунду и больше, робот сокращает интенсивность обхода. На крупных сайтах это прямо ограничивает скорость появления новых страниц в поиске.

Время ответа сервера — тот показатель, который я проверяю первым на любом крупном сайте. Он влияет не на позиции напрямую, а на количество страниц, которые робот успевает загрузить за визит. Ускорение ответа с восьмисот миллисекунд до двухсот на магазине с десятками тысяч адресов меняет картину индексации сильнее, чем любые правки в карте сайта.

Помогу с продвижением: заказать продвижение сайта — вывожу сайты в топ Яндекса белыми методами.

О том, влияет ли сам домен на продвижение:

1:19

Карта сайта и внутренние ссылки: как робот находит страницы

Два канала обнаружения работают вместе, и подменять один другим нельзя. Карта сайта — это заявка на обход, список адресов, которые вы считаете нужными. Внутренние ссылки — это подтверждение важности: страница, на которую ссылаются из меню и из соседних материалов, выглядит частью сайта, а не случайным документом.

Требования к карте простые и почти всегда нарушаются. В ней должны быть только адреса, отдающие код 200. Не должно быть закрытых в robots, неканонических, редиректящих. Дата последнего изменения обязана быть настоящей: если она обновляется у всех страниц при каждой сборке, робот перестаёт ей доверять. Файл должен обновляться автоматически при публикации, а не раз в год руками.

Страницы-сироты — отдельная беда, особенно на сайтах, которые росли годами. Материал опубликован, лежит в базе, доступен по прямой ссылке, но ни одна страница сайта на него не ссылается. В карту он попадает, робот его иногда обходит, но веса не получает и в индексе держится плохо. Находятся сироты сравнением полной выгрузки адресов из базы со списком адресов, найденных краулером при обходе от главной: разница и есть список сирот.

Подробнее об этом — в статье «Как улучшить SEO сайта».

1. Выгрузите все существующие адреса сайта из базы или карты.
2. Прогоните сайт краулером в режиме обхода по ссылкам, начиная с главной.
3. Сравните списки: адреса, которых нет во втором, — сироты.
4. Для каждого решите: нужна ли страница вообще. Если нужна — поставьте на неё ссылки из тематически близких материалов и из раздела, к которому она относится.
5. Если не нужна — удалите с кодом 410 или склейте редиректом с подходящей страницей.

Краулинговый бюджет и дубли

Число обращений робота к сайту за период ограничено. На маленьком сайте это неважно, на большом определяет всё: если робот тратит обходы на технический мусор, до новых карточек он доходит через недели. Дубли — главный пожиратель этого ресурса.

Источник дублей	Как выглядит	Решение
Параметры сортировки и фильтров	Один список товаров под десятками адресов	Канонический адрес на основную категорию, запрет обхода бесполезных комбинаций
Пагинация	Страницы 2, 3, 4 с тем же текстом категории	Уникальные Title, без повтора описания категории на всех страницах
UTM-метки	Адрес с хвостом из рекламных параметров	Канонический адрес без параметров
Со слешем и без, с www и без, http и https	Четыре версии одного адреса	Один главный вариант, остальные — 301
Товар в нескольких категориях	Одна карточка под разными путями	Один постоянный адрес карточки вне категорий
Печатные версии и служебные страницы	Копия содержимого по отдельному адресу	Запрет обхода или noindex

Экономия бюджета делается не только запретами. Полезно убрать из внутренних ссылок всё, что ведёт на редиректы и закрытые адреса: робот идёт по ссылкам, и каждый бесполезный переход — это потраченный обход. На магазинах я обычно нахожу тысячи ссылок на старые адреса категорий, оставшихся после переезда несколько лет назад.

Страница обходится, но в индекс не попадает

Самый неприятный случай: технически всё в порядке, робот заходит регулярно, а адрес в поиске не появляется или появляется и выпадает. В Вебмастере такие страницы попадают в исключённые со статусом о недостаточном качестве. Формулировка расплывчатая, но за ней стоят вполне конкретные причины.

Причина	Признак	Что делать
Нет спроса под страницу	Ни одного запроса, которому она отвечает	Пересобрать под реальный кластер или объединить с другой
Тонкое содержимое	Пара абзацев, шаблонный текст, отличие только в названии	Добавить фактическую информацию: параметры, цены, условия, ответы
Почти дубль соседней страницы	Отличие в одном слове заголовка	Склеить в одну страницу или развести по смыслу
Слабый внутренний вес	Одна ссылка из глубины сайта	Поднять в структуре, добавить ссылки из близких материалов
Содержимое подгружается скриптом	В исходном коде текста нет	Отдавать основной контент в HTML сразу
Общая репутация раздела	Весь раздел индексируется плохо	Чистить раздел от пустых страниц целиком, а не по одной

Если нужна помощь по теме — проверить сайт.

Про последнюю строку скажу подробнее, потому что она объясняет самые упорные случаи. Оценка идёт не только по отдельной странице: если раздел на восемьдесят процентов состоит из пустых карточек, попасть в индекс тяжело и хорошим страницам внутри него. Поэтому массовая генерация страниц «под запросы» без фактического наполнения работает против сайта — сначала не индексируется мусор, потом хуже индексируется всё остальное.

Как ускорить попадание в индекс

Инструменты ускорения не заменяют исправление причин, но экономят недели, когда причины уже устранены.

Тему разбирал отдельно: «Как улучшить ранжирование молодого сайта».

1. Переобход страниц в Вебмастере. Ручная отправка адресов на обход. Лимиты суточные, поэтому приоритет отдаётся новым и существенно изменённым страницам, а не всему сайту подряд.
2. IndexNow. Протокол уведомления о новых и изменённых адресах. Настраивается один раз на стороне сайта и дальше работает автоматически при каждой публикации. Заметно сокращает задержку между публикацией и обходом.
3. Настоящая дата изменения. Заголовок Last-Modified и поле даты в карте сайта должны меняться только при реальной правке. Тогда робот доверяет им и перепроверяет изменённое в первую очередь.
4. Ссылки с уже индексируемых страниц. Новая страница, на которую ведёт ссылка с часто обходимого раздела, попадает в обход быстрее всего. Это самый дешёвый способ ускорения и самый недооценённый.
5. Внешние упоминания. Ссылка с активного стороннего ресурса ускоряет обнаружение, особенно для нового сайта без истории.
6. Порционная публикация. Выкладывать тысячу страниц одним днём хуже, чем частями: при массовом залпе значительная часть уходит в очередь и оценивается по остаточному принципу.

Постоянный контроль индексации

Индексация — не разовая задача, а показатель, который проверяют регулярно, как остаток на счёте. Минимальный набор наблюдений занимает пятнадцать минут в неделю.

• Число страниц в поиске и его динамика. Резкое падение — сигнал технической аварии, плавное снижение — накопление проблем с качеством.
• Соотношение загруженных и включённых в поиск. Большой разрыв означает, что робот тратит обходы на то, что потом отбрасывает.
• Список исключённых с причинами. Смотреть не общее число, а состав: какие типы адресов туда попадают.
• Ошибки обхода и коды ответа. Всплески 5xx и рост времени ответа сервера.
• Разница между числом страниц в карте и числом в поиске. Если карта заявляет пять тысяч, а в поиске полторы, у вас есть конкретный список для разбора.
• Скорость появления новых страниц. Сколько дней проходит от публикации до попадания в индекс. Это самая наглядная метрика здоровья сайта.

Частые вопросы

Сколько времени страница должна попадать в индекс? Для живого сайта с регулярными публикациями — от нескольких часов до нескольких дней. Для нового сайта без истории — недели. Если новые страницы висят месяц и дольше, это не «так работает поиск», а признак проблемы: чаще всего медленный сервер, отсутствие внутренних ссылок или общая слабость раздела.

Помогает ли частая публикация ускорить обход? Помогает, но только если публикуется содержательный материал. Робот подстраивает частоту визитов под темп обновлений. Публикация пустых страниц ради ритма даёт обратный эффект: доля отбракованного растёт, доверие к разделу падает.

Нужно ли закрывать от индексации служебные страницы? Да — корзину, личный кабинет, результаты внутреннего поиска, страницы оформления заказа, версии для печати. Они не отвечают ни на один поисковый запрос и только расходуют обходы. Закрывать лучше комбинацией: обход запрещён в robots для того, что заведомо не нужно, а для уже проиндексированного — noindex с открытым обходом до момента исчезновения из поиска.

Что делать, если страницы выпали из индекса массово? Проверять по порядку: доступность сайта и коды ответа за последние недели, изменения в robots.txt, появление мета-тега noindex после обновления шаблона или плагина, смену канонических адресов, переезд на новые адреса без 301. Массовое выпадение почти всегда техническое, а не «алгоритмическое».

Влияет ли скорость сайта на индексацию? Влияет напрямую, но не через ранжирование, а через объём обхода: чем быстрее ответ сервера, тем больше страниц робот успевает загрузить. На сайтах до сотни страниц разница незаметна, на крупных проектах она решающая.

Стоит ли удалять неиндексируемые страницы? Сначала разберитесь, почему они не индексируются. Если под ними нет спроса и наполнять их нечем — да, удалять или объединять полезнее, чем держать. Сокращение числа пустых страниц нередко улучшает индексацию оставшихся: раздел перестаёт выглядеть свалкой.

Коротко

• Между публикацией и появлением в поиске шесть шагов; диагностика идёт строго сверху вниз — от обнаружения адреса к оценке качества.
• Запрет на индексацию ставится четырьмя способами, и проверять надо все: robots.txt, мета-тег, заголовок ответа сервера, канонический адрес.
• Коды ответа важнее содержимого: мягкие 404, цепочки редиректов и периодические 5xx ломают индексацию системно, а не по одной странице.
• Карта сайта заявляет адреса, внутренние ссылки подтверждают их важность; страницы-сироты находятся сравнением выгрузки из базы с обходом краулера.
• Дубли съедают обходы: параметры, пагинация, метки и разные версии адреса нужно свести к одному каноническому варианту.
• Статус о недостаточном качестве почти всегда означает отсутствие спроса, тонкое содержимое или слабый внутренний вес, а ускорители вроде IndexNow работают только после устранения причин.

Если страницы не заходят в индекс, а причина по этим шагам не находится, приходите на SEO-консультацию: посмотрим Вебмастер и структуру сайта вместе и определим, на каком именно шаге цепочки теряются ваши страницы.