Как поисковики индексируют сайты

Как поисковики индексируют сайты — вопрос, который кажется техническим и далёким от бизнеса ровно до первой ситуации, когда страница с товаром или услугой просто не появляется в выдаче. Не падает в позициях, не проигрывает конкуренту, а физически отсутствует в поиске: её нет. И пока непонятно, на каком именно этапе она потерялась, любые работы по продвижению этой страницы бессмысленны — оптимизировать документ, которого для поисковика не существует, некуда.

В SEO я с 2005 года и вижу, что индексация — самая недооценённая часть работы. Про тексты и ссылки владельцы спрашивают постоянно, а вопрос «сколько ваших страниц вообще в индексе» ставит в тупик почти каждого. Между тем именно здесь чаще всего лежит объяснение, почему сайт с приличным содержанием не растёт. Ниже — весь путь страницы от публикации до выдачи, с разбором, на каком шаге что ломается.

Четыре этапа, которые проходит каждая страница

Поисковая система не работает с сайтами напрямую в момент запроса. Она заранее строит собственную копию интернета и отвечает из неё. Путь страницы в эту копию состоит из четырёх шагов, и на каждом можно застрять.

1. Обнаружение. Поисковик узнаёт, что по такому адресу что-то есть, — из ссылок, из карты сайта, из данных Вебмастера, из счётчиков и браузеров.
2. Обход. Робот приходит по адресу и скачивает содержимое. Здесь важны доступность сервера, скорость ответа и то, отдаётся ли содержимое сразу или подгружается скриптами.
3. Индексация. Скачанное разбирается, очищается и укладывается в индекс — структуру, по которой потом ищут. На этом этапе часть страниц отсеивается как малополезные или дублирующие.
4. Ранжирование. Только теперь страница может участвовать в выдаче, и её место определяется формулой из множества факторов.

Разница между третьим и четвёртым шагами — то, что путают чаще всего. Страница в индексе, но на сотой позиции — это проблема ранжирования, и решается она содержанием, соответствием запросу, коммерческими факторами. Страница не в индексе — это проблема совсем другого класса, и работать с текстами здесь бесполезно.

Обход: как робот вообще узнаёт про ваш адрес

Обнаружение работает по нескольким каналам одновременно, и чем больше их задействовано, тем быстрее появляется новая страница.

• Внутренние ссылки. Основной канал. Робот идёт по сайту, переходя со страницы на страницу. Документ, на который не ведёт ни одной внутренней ссылки, робот может не найти вовсе — это классическая страница-сирота.
• Карта сайта. Файл со списком адресов и датами изменения. Не гарантирует индексацию, но сообщает поисковику о существовании страниц и о том, какие из них обновились.
• Внешние ссылки. Ссылка с чужого посещаемого сайта приводит робота быстрее любых карт.
• Вебмастер. Ручная отправка адреса на переобход — самый быстрый способ для отдельных важных страниц.
• Протоколы мгновенного уведомления. Автоматическая отправка адреса при публикации или изменении, если сайт это поддерживает.

Отдельно про частоту повторных визитов. Робот приходит не по расписанию, а по оценке полезности: сайты, которые часто обновляются и приносят пользователям результат, обходятся чаще. Магазин с ежедневными изменениями цен и статичный сайт-визитка получают принципиально разное внимание. Это не наказание, а распределение ограниченного ресурса.

Бюджет обхода: почему робот не заходит везде

У каждого сайта есть предел того, сколько страниц робот скачает за период. Для сайта на сотню страниц это не имеет значения. Для магазина на десятки тысяч адресов — определяет всё.

Что тратит бюджет впустую	Как выглядит	Что делать
Параметры в адресах	Сортировки, метки, идентификаторы сессий	Закрыть от индексации, указать канонический адрес
Фильтры без спроса	Десятки тысяч комбинаций подборок	Открывать только комбинации с реальным спросом
Дубли одной страницы	Товар доступен по нескольким путям	Один канонический адрес для документа
Цепочки перенаправлений	Адрес ведёт на адрес, тот на третий	Сократить до одного перехода
Служебные разделы	Корзина, сравнение, личный кабинет	Закрыть от обхода
Медленный ответ сервера	Страницы отдаются секундами	Кэширование, оптимизация базы, тариф хостинга
Страницы с ошибками	Массив несуществующих адресов в обходе	Убрать ссылки на них, настроить корректные ответы

Логика тут арифметическая: если из десяти тысяч скачанных за неделю адресов восемь тысяч — мусор, то на реальные карточки товаров остаётся две тысячи. Уберите мусор — и те же десять тысяч уйдут туда, где они нужны. Именно поэтому чистка индекса даёт прирост даже без единой правки в текстах.

Что происходит с HTML внутри поисковой машины

Скачанная страница проходит несколько преобразований, прежде чем попасть в индекс. Понимание этой цепочки объясняет часть требований к вёрстке и текстам.

Смежный материал по теме — «Как продвигать сайты в Гугл».

Сначала документ очищается от всего, что не является содержанием: разметки, стилей, скриптов, служебных блоков. Получается то, что называют чистым текстом. Затем из него выделяются отдельные слова — с учётом пробелов, дефисов, цифр и особых правил для составных обозначений. Дальше идёт лингвистическая обработка: каждое слово приводится к начальной форме. «Диванами», «диванов», «диван» превращаются в одну основу. Это экономит место и позволяет находить документ по любой словоформе запроса.

Обработанные слова укладываются в структуру, которая и называется индексом: для каждого слова хранится список документов, где оно встречается, и позиции внутри документа. Позиции важны — по ним определяется близость слов друг к другу, а значит, встречается ли в тексте нужная фраза целиком или её части разбросаны по странице.

Помогу с продвижением: раскрутка сайта белыми методами — вывожу сайты в топ Яндекса белыми методами.

Если интересно направление с сайтами — базу даю в своём курсе:

8:14

Параллельно вычисляются признаки самого документа: его структура, заголовки, разметка, ссылки внутри и наружу, дата, а также сравнение с уже известными страницами на предмет дублирования. Именно здесь отсеиваются копии: если содержимое почти совпадает с уже проиндексированным документом, в индекс попадает один из них, а остальные помечаются как дубли.

Почему страница может не попасть в индекс

Причины делятся на технические — робот не смог получить содержимое — и качественные: получил, но счёл страницу не заслуживающей места.

Причина	Тип	Как проверить
Запрет в файле правил обхода	Техническая	Проверить правила для нужного адреса
Запрещающий мета-тег на странице	Техническая	Посмотреть исходный код страницы
Указан чужой канонический адрес	Техническая	Проверить, на что указывает тег
Содержимое подгружается скриптом	Техническая	Открыть исходный код без выполнения скриптов
Сервер отдаёт ошибку роботу	Техническая	Отчёт об обходе в Вебмастере
Нет ни одной ссылки на страницу	Техническая	Поиск страниц-сирот по структуре сайта
Дубль другой страницы сайта	Качественная	Статус страницы в Вебмастере
Малополезная страница	Качественная	Статус в Вебмастере, оценка содержания
Пустая или почти пустая страница	Качественная	Объём собственного содержимого

Статус «малополезная» вызывает больше всего вопросов. За ним обычно стоит одно из трёх: страница почти не содержит собственного содержания сверх шаблона; она повторяет другие страницы сайта с точностью до пары слов; либо она не отвечает ни на один осмысленный запрос. Лечится это не переписыванием текста ради объёма, а добавлением того, чего на странице действительно нет: конкретики, характеристик, условий, ответов на вопросы.

Индексация и ранжирование — не одно и то же

Разделение этих понятий экономит месяцы бессмысленной работы. Порядок диагностики всегда такой: сначала выясняем, есть ли страница в индексе, и только потом обсуждаем её позиции.

Если нужны детали, смотрите «Как часто Яндекс индексирует сайты».

Симптом	Что это значит	Куда смотреть
Страницы нет в поиске по её адресу	Не в индексе	Техника: доступность, запреты, ссылки
Находится по точной цитате из текста	В индексе, проблема с ранжированием	Соответствие запросу, конкуренция
Была в индексе, исчезла	Исключена алгоритмом	Статус в Вебмастере: дубль или малополезная
В индексе, но показов почти нет	Ранжируется низко или нет спроса	Проверить частотность запросов страницы
Индексируется чужая версия адреса	Проблема с каноническими адресами	Настройка канонических тегов и перенаправлений
Новые страницы появляются месяцами	Низкая частота обхода	Бюджет обхода, скорость сервера, перелинковка

Проверка на цитату — самый быстрый диагностический приём. Возьмите уникальное предложение из текста страницы, закавычьте и наберите в поиске. Нашлась ваша страница — она в индексе, и разговор идёт про ранжирование. Не нашлась — занимайтесь индексацией, тексты пока ни при чём.

Как ускорить попадание страниц в индекс

Прямой кнопки «проиндексировать» не существует, но набор рабочих рычагов есть, и он даёт заметный эффект.

1. Внутренняя перелинковка. Самый недооценённый инструмент. Новая страница должна получить ссылки с уже индексируемых и часто обходимых разделов — с категории, с главной, из связанных материалов. Страница, до которой можно дойти в два клика от главной, индексируется быстрее той, что лежит на четвёртом уровне.
2. Актуальная карта сайта. Она должна генерироваться автоматически, содержать только индексируемые адреса и корректные даты изменения. Карта, где половина ссылок ведёт на закрытые страницы, скорее вредит.
3. Ручная отправка на переобход. В Вебмастере есть лимит адресов в сутки — тратьте его на действительно важные страницы, а не на всё подряд.
4. Мгновенное уведомление о новых адресах. Если платформа поддерживает автоматическую отправку при публикации, включите — это самый быстрый канал для нового содержимого.
5. Скорость ответа сервера. Чем быстрее отдаются страницы, тем больше их робот успевает скачать за визит. Медленный хостинг напрямую ограничивает индексацию.
6. Чистка мусора. Убрав из обхода служебные адреса и бессмысленные комбинации фильтров, вы освобождаете ресурс для нужных страниц.
7. Внешние ссылки на новые разделы. Упоминание с посещаемого стороннего сайта приводит робота почти сразу.
8. Обновление старого содержимого. Регулярно обновляемый сайт получает более частый обход целиком, а не только по изменённым страницам.

Как проверить состояние индексации своего сайта

Диагностика занимает полчаса и делается в основном в Вебмастере Яндекса — это единственный источник, который показывает картину изнутри.

Первое, что нужно узнать, — соотношение числа страниц в индексе к реальному числу страниц сайта. Возьмите количество товаров или материалов из административной панели и сравните с данными Вебмастера. Расхождение больше чем на треть означает, что часть сайта поисковику неизвестна или отброшена.

Если нужна помощь по теме — курсы SEO-оптимизации.

Второе — разбор исключённых страниц по причинам. Вебмастер показывает, почему каждая страница не в индексе: дубль, малополезная, ошибка сервера, запрет. Это самый информативный отчёт из всех: он превращает расплывчатое «сайт плохо индексируется» в конкретный список задач.

Третье — статистика обхода. Сколько страниц робот скачивает в сутки, какой средний код ответа, растёт или падает активность. Провал в обходе почти всегда предшествует падению трафика и виден раньше, чем позиции.

Подробнее об этом — в статье «SEO-метод Кузнецова: как я вывожу коммерческие сайты в ТОП Яндекса за 90 дней без покупных ссылок».

Четвёртое — поиск страниц-сирот. Выгрузите список всех адресов сайта из карты сайта или из базы и сравните с адресами, на которые есть внутренние ссылки. Разница — это документы, до которых робот доходит только случайно.

Ошибки, которые ломают индексацию

Ошибка	Последствие	Правильный вариант
Запрет обхода остался после разработки	Сайт не индексируется целиком	Проверять правила обхода сразу после запуска
Канонический адрес указывает на главную	Все страницы схлопываются в одну	Каждая страница канонична сама себе
Товары выводятся только скриптом	Категории выглядят пустыми для робота	Отдавать содержимое в исходном коде
Удаление страниц вместо перенаправления	Потеря накопленных позиций и веса	Перенаправлять на актуальный аналог
Закрытие от индексации вместо чистки дублей	Вес теряется, проблема остаётся	Канонические адреса и перенаправления
Карта сайта не обновляется	Новые страницы обнаруживаются с задержкой	Автоматическая генерация при публикации
Массовая публикация сотен страниц разом	Часть отбрасывается как малополезные	Плавный темп и проработка каждой страницы

Вторая строка заслуживает отдельного упоминания: указание главной страницы каноническим адресом для всего сайта — редкая, но катастрофическая ошибка. Внешне сайт работает нормально, а в индексе от него остаётся одна страница, и трафик уходит почти полностью. Проверяется это за минуту просмотром исходного кода нескольких разных страниц.

Частые вопросы

Сколько времени страница попадает в индекс? От нескольких часов до нескольких недель. Скорость зависит от возраста и авторитета домена, частоты обновления сайта, скорости сервера и от того, насколько хорошо страница связана внутренними ссылками. У активного сайта новые материалы появляются в поиске за сутки, у молодого и редко обновляемого — за недели.

Почему страниц в индексе больше, чем на сайте? Признак дублей и мусора: в индекс попали адреса с параметрами, сортировки, версии для печати или служебные разделы. Разберите список исключённых и проиндексированных адресов в Вебмастере по типам и закройте лишнее.

Что делать, если страница помечена как малополезная? Не переписывать текст ради объёма, а добавлять то, чего на ней нет. Для карточки товара это характеристики, условия, отличия от аналогов, отзывы. Для категории — товары, фильтры и полезное описание. Для статьи — конкретика вместо общих рассуждений. После доработки отправьте страницу на переобход.

Помогает ли карта сайта попасть в индекс? Она помогает обнаружению, но не гарантирует индексацию. Страница, попавшая в карту, но не имеющая ни одной внутренней ссылки и не несущая собственного содержания, всё равно будет отброшена. Карта — вспомогательный инструмент, а не замена нормальной структуре.

Индексируется ли содержимое, которое подгружается скриптом? Может индексироваться, но полагаться на это не стоит, особенно если содержимое появляется после действия пользователя. Надёжный вариант — отдавать основной текст и товары сразу в исходном коде, а скриптами добавлять только второстепенные элементы интерфейса.

Как быстро исчезает из индекса удалённая страница? Обычно за несколько недель — робот должен прийти и получить ответ об отсутствии документа. Если нужно убрать страницу срочно, есть инструмент удаления в Вебмастере. Но чаще правильнее не удалять, а перенаправить на актуальный раздел, чтобы не терять накопленный вес.

Влияет ли частота публикаций на индексацию? Влияет, но не сама по себе. Регулярно обновляемый сайт получает более частый обход. При этом массовая публикация большого объёма слабых страниц даёт обратный эффект: часть отбрасывается как малополезные, а доверие к разделу снижается. Работает сочетание регулярности и проработанности.

Коротко

• Путь страницы состоит из четырёх шагов — обнаружение, обход, индексация, ранжирование, — и диагностику всегда начинают с проверки, дошла ли страница до третьего.
• Проверка на цитату решает вопрос за минуту: нашлась закавыченная фраза из текста — проблема в ранжировании, не нашлась — в индексации.
• Бюджет обхода ограничен, и мусорные адреса — сортировки, фильтры без спроса, дубли — съедают его вместо нужных страниц.
• Поисковик работает не с вашим HTML, а с очищенным текстом, приведённым к начальным формам слов, — поэтому важны структура документа и позиции слов относительно друг друга.
• Статус «малополезная» лечится не добавлением знаков, а добавлением конкретики, которой на странице действительно нет.
• Самые опасные технические ошибки — забытый запрет обхода после разработки и канонический адрес, указывающий на главную: обе выносят сайт из поиска почти целиком.

Если часть страниц сайта не появляется в поиске месяцами, а причина по отчётам неочевидна, приходите на SEO-консультацию — разберём обход, индексацию и узкие места вашего сайта по шагам.