То, что Google и Яндекс реально смотрят при индексации (а не то, что пишут в блогах)

То, что Google и Яндекс реально смотрят при индексации, слабо совпадает с тем, что об этом принято писать. В свежих статьях коллег кочуют тезисы пятилетней давности, ссылки на справку, которую автор явно не открывал, и «сто факторов ранжирования», переписанные друг у друга по кругу. Беда не в том, что эти тезисы полностью ложные. Беда в том, что они описывают не действия поисковой системы, а фольклор вокруг неё — и человек, который на них опирается, лечит не ту болезнь.

Ниже — разбор по тому, что видно в логах сервера, в Search Console, в Вебмастере и в поведении реальных проектов. Без «магии алгоритмов»: только те решения, которые системы принимают по вашим страницам, признаки, по которым эти решения принимаются, и способы понять, на каком именно этапе застрял ваш сайт.

Индексация — это не одно действие, а три разных решения

Первое заблуждение, которое мешает почти всем: представление об индексации как о единой кнопке. Робот пришёл, страница появилась в выдаче, всё. На деле по каждой странице принимается минимум три независимых решения, и каждое работает по своим правилам.

1. Краулинг. Стоит ли вообще тратить ресурсы на загрузку этого адреса и как часто к нему возвращаться.
2. Индексация в узком смысле. Загрузили, посмотрели содержимое — добавлять ли его в базу.
3. Ранжирование. Страница в базе есть — на каком месте показывать её по конкретному запросу и показывать ли вообще.

Можно успешно пройти первый этап и застрять на втором. Можно попасть в индекс и никогда не подняться выше пятой страницы. Когда владелец говорит «у меня не индексируется сайт», при разборе в девяти случаях из десяти выясняется, что страницы прекрасно обходятся роботом, но система сознательно отказывается их сохранять. Это разные болезни с разным лечением, и путать их — значит месяцами делать бесполезную работу.

Различить их просто. В Search Console и Вебмастере есть отчёты по статусам страниц: там видно «просканировано, но не проиндексировано», «обнаружено, не просканировано», «страница дублирует другую» и так далее. Первый статус — проблема качества. Второй — проблема бюджета обхода. Третий — проблема структуры. Три разных плана работ.

Что решается на этапе обхода

Робот не скачивает интернет подряд. У каждого сайта есть краулинговый бюджет — сколько адресов система готова загрузить за период. Для блога на двести страниц это не ограничение: всё обходится за сутки. Для магазина с десятками тысяч карточек, фильтров и сортировок бюджет становится узким горлышком, и от того, куда он потрачен, зависит, попадут ли в базу новые товары.

Распределяется бюджет не поровну. Влияют:

• Скорость ответа сервера. Робот следит, чтобы не уронить сайт. Медленный ответ — меньше запросов в секунду — меньше страниц за период. Это самый недооценённый фактор: ускорение сервера иногда даёт больше, чем месяц работы над структурой.
• Доля ошибок. Регулярные пятисотые ответы и таймауты снижают частоту обхода надолго, даже после того, как проблему починили.
• Частота изменений. Разделы, которые меняются каждый день, обходятся чаще, чем те, что не менялись два года.
• Внутренние ссылки. Страница в трёх кликах от главной обходится регулярно, страница на восьмом уровне вложенности — раз в квартал, если вообще.
• Карта сайта и её честность. Sitemap с датами изменений помогает, но только если даты реальные. Файл, где у всех страниц стоит сегодняшнее число, обесценивается системой.
• Общее доверие к домену. Молодой сайт без внешних упоминаний обходится скупо, и это нормально.

Главный практический вывод: бюджет тратится на всё подряд, включая мусор. Фильтры с сортировками, страницы поиска по сайту, календари, бесконечные параметры — всё это съедает лимит, который мог бы уйти на карточки товаров. Поэтому чистка мусорных адресов — не косметика, а прямое высвобождение ресурса обхода.

Подробнее об этом — в статье «Google и Яндекс видят ваш сайт по-разному: как проверить глазами робота».

По каким признакам страницу не берут в базу

Самый частый и самый непонятный для владельцев статус — «просканировано, но не проиндексировано». Он означает: страницу загрузили, посмотрели и решили, что она не заслуживает места в базе. Причины почти всегда из короткого списка.

• Содержимое дублирует другую страницу. Вашу собственную или чужую. Описания из прайса поставщика — классический случай: система уже видела этот текст на сорока сайтах.
• Слишком мало собственного содержимого. Страница состоит из шапки, меню, подвала и трёх строк текста. Формально уникальна, фактически пуста.
• Шаблонная генерация. Сотни страниц, отличающихся одним словом — названием города, размером, цветом. Различия есть, ценности нет.
• Нет входящих ссылок. Страница есть в карте сайта, но на неё никто не ссылается внутри сайта. Для системы это признак второстепенности.
• Общий уровень домена. Если большая часть сайта слабая, планка для новых страниц поднимается. Тот же материал на чистом домене зашёл бы без вопросов.
• Технические сигналы против. Каноникал на другой адрес, noindex в разметке или в заголовке ответа, редирект, закрытие в robots.txt.

Помогу с продвижением: SEO-продвижение от Анатолия Кузнецова — вывожу сайты в топ Яндекса белыми методами.

Отдельно про robots.txt — тут живёт устойчивое заблуждение. Запрет в этом файле не удаляет страницу из базы и не запрещает индексацию. Он запрещает загрузку. Если на закрытый адрес ведут ссылки, он может попасть в выдачу вообще без содержимого — с пустым описанием. Чтобы страницы не было в базе, нужен noindex, а для этого робот должен иметь возможность её загрузить. То есть закрывать в robots.txt то, что вы хотите убрать из индекса, — прямая ошибка.

Чем Google и Яндекс различаются на практике

Различий больше, чем принято думать, и они влияют на порядок работ.

Аспект	Google	Яндекс
Скорость попадания новой страницы	обычно часы-дни	от суток до нескольких недель
Отношение к тонкому контенту	чаще не берёт в базу вообще	чаще берёт, но не показывает
Обработка JavaScript	рендерит, но во вторую очередь и с задержкой	рендерит хуже, часть скриптов не выполняет
Реакция на каноникал	рекомендация, может проигнорировать	ближе к директиве, но тоже не абсолютной
Инструмент ускорения	проверка URL и запрос индексирования	переобход страниц, отдельная квота
Работа с дублями	склеивает и выбирает основную сам	чаще требует явных указаний
Значение региональности	слабое для большинства тем	определяющее для коммерции

Из таблицы следует простая тактика: для Google важнее не плодить пустые страницы, потому что он их просто не возьмёт; для Яндекса важнее явно управлять дублями и региональностью, потому что он ждёт от вас указаний. Универсальный чеклист «для поисковиков» здесь работает плохо — приоритеты разные.

JavaScript: где ломается индексация современных сайтов

Сайт на фреймворке, где содержимое подгружается скриптом, проходит два прохода: сначала загружается голый HTML, потом — если ресурсы позволяют — выполняется рендеринг. Второй проход происходит не сразу и не всегда. На практике это означает, что часть вашего содержимого может месяцами оставаться невидимой.

Как это проверять, не будучи программистом. Откройте страницу, отключите JavaScript в настройках браузера и перезагрузите. Что осталось на экране — то система гарантированно видит. Если осталась пустая заготовка со спиннером, ваша страница для первого прохода пуста. Второй способ — посмотреть сохранённую копию в выдаче: она показывает, что реально попало в базу.

Тему разбирал отдельно: «Google Search Console показывает запросы, которые Яндекс от вас прячет».

Что чинится в первую очередь: основной текст, заголовки, ссылки навигации и цены должны приходить в исходном HTML. Всё интерактивное — фильтры, калькуляторы, отзывы с подгрузкой — может оставаться на скриптах. Отдельная и очень частая поломка — навигация на скриптах вместо обычных ссылок: если переход по каталогу реализован обработчиком клика, а не тегом ссылки с адресом, робот не найдёт внутренние страницы вообще.

Ещё одна деталь, о которой почти не пишут: заголовок ответа сервера может содержать запрет индексации, которого нет в разметке страницы. Такое встречается на сайтах, где настройками занимались разные люди в разное время, и обнаруживается только при просмотре заголовков ответа. Если страница выглядит идеально, но в базу не берётся — проверьте заголовки, это занимает минуту и снимает целый класс необъяснимых случаев.

Мифы, которые кочуют из статьи в статью

• «Есть процент уникальности, ниже которого не индексируют». Порога не существует. Значение имеет наличие собственной информации, а не совпадение символов по антиплагиату.
• «Sitemap заставляет проиндексировать». Карта сайта — приглашение, а не приказ. Она помогает найти адреса, но не влияет на решение о включении в базу.
• «Чем чаще обновлять дату, тем лучше». Переставленная дата без изменения содержимого — сигнал недоверия, а не свежести.
• «Нужно закрывать от индексации технические разделы в robots.txt». Нужно, но не всё: см. выше про разницу между запретом обхода и запретом индексации.
• «Меньше страниц — хуже». Наоборот: сайт из ста сильных страниц индексируется и ранжируется лучше, чем сайт из десяти тысяч пустых.
• «Индексацию ускоряют ссылки с трастовых сайтов». Внешняя ссылка действительно помогает роботу найти адрес, но на решение о включении в базу влияет содержимое, а не источник ссылки.

Общее у этих мифов одно: они предлагают простое действие вместо разбора причины. Поставить галочку приятнее, чем выяснять, почему из пяти тысяч карточек в базе только восемьсот.

Порядок диагностики

Если страницы не попадают в выдачу, разбор идёт по этой последовательности. Каждый шаг отсекает целый класс причин.

Шаг	Что проверяем	Вывод при проблеме
1	Отвечает ли адрес кодом 200 и не стоит ли редирект	чинить сервер и редиректы
2	Нет ли noindex в разметке и в заголовках ответа	снять запрет, дождаться переобхода
3	Не закрыт ли адрес в robots.txt	открыть обход
4	Куда указывает каноникал	исправить на себя или на верную страницу
5	Есть ли внутренние ссылки на страницу	добавить в навигацию и перелинковку
6	Статус в Search Console и Вебмастере	определяет, бюджет это или качество
7	Виден ли текст без JavaScript	выводить основное в исходном HTML
8	Уникальна ли страница по содержанию	переписывать, а не переставлять теги

Первые четыре шага занимают минут двадцать и закрывают большую часть случаев, когда «сайт не индексируется». Оставшиеся — уже про качество и структуру, и там работа считается неделями.

Отдельно стоит завести привычку смотреть логи сервера. Это единственный источник, который показывает не то, что вам говорят панели, а то, что робот делал на самом деле: какие адреса загружал, как часто, какие коды получал. В логах часто обнаруживается, что девяносто процентов обхода уходит на страницы фильтров, а карточки товаров робот навещает раз в два месяца.

Смежный материал по теме — «Ссылки умерли, контент один не спасает: за что Яндекс реально пускает бизнес в топ в 2026».

Что делать, если страницы в базе есть, а трафика нет

Самый неприятный из трёх сценариев: технически всё хорошо, страницы найдены и сохранены, а показов почти нет. Здесь диагностика идёт уже не по статусам, а по данным о запросах.

1. Проверьте, показывают ли вас вообще. В Вебмастере и Search Console есть отчёты по запросам страницы. Ноль показов и ноль позиций означает, что система не считает вас релевантным ни одной формулировке, — проблема в содержании. Показы есть, а кликов нет — проблема в позиции или в сниппете.
2. Сравните намерение. Введите главный запрос страницы и посмотрите, какого типа документы стоят в топе. Если там подборки и рейтинги, а у вас страница услуги, вы вне категории — и никакая оптимизация текста этого не изменит, нужен другой формат страницы.
3. Проверьте внутреннюю конкуренцию. Частая ситуация: под один смысл у вас три-четыре страницы, они делят вес и мешают друг другу. Система выбирает одну, обычно не ту. Лечится склейкой и перенаправлением.
4. Посмотрите на полноту. Откройте пять страниц из топа и выпишите, какие вопросы они закрывают. Отсутствие половины этих вопросов у вас — самая частая причина, по которой страница висит за пределами первой двадцатки.
5. Оцените возраст. Новой странице нужно время на накопление данных о поведении: от нескольких недель до квартала. Если материалу меньше месяца, часть выводов делать рано.

Разделение этих причин экономит месяцы. Технические правки на странице, у которой проблема с намерением, не дадут ничего — и наоборот, переписывание текста бессмысленно, если страница конкурирует сама с собой.

Частые вопросы

Сколько ждать индексации новой страницы? На живом сайте с регулярным обновлением — от нескольких часов до недели. На молодом или редко обновляемом — до месяца. Если прошло больше и статус не меняется, дело не в ожидании, а в одной из причин выше.

Помогает ли ручная отправка на переобход? Помогает ускорить загрузку конкретного адреса, но не влияет на решение о включении в базу. Если страница не берётся из-за качества, хоть двадцать раз её отправляйте — статус не изменится.

Почему в Google страниц в базе больше, чем в Яндексе, или наоборот? Разные критерии и разная скорость. Расхождение в полтора-два раза — норма. Тревожно, когда разрыв в разы и растёт: обычно это означает, что одна система нашла массовые дубли, а вторая пока нет.

Что делать с пагинацией? Страницы второй и далее должны быть открыты для обхода и содержать каноникал на себя, а не на первую. Так робот доберётся до товаров в глубине каталога. Закрытие пагинации от индексации — распространённая ошибка, из-за которой половина ассортимента остаётся ненайденной.

Стоит ли закрывать фильтры? Часть — да, часть — нет. Комбинации, по которым есть спрос, стоит открывать как отдельные посадочные с собственными заголовками. Всё остальное — закрывать, иначе бюджет обхода уйдёт на бесконечные сочетания параметров.

Коротко

• Индексация — это три разных решения: обходить, сохранять, показывать. Диагностика начинается с определения, на каком из них вы застряли.
• Бюджет обхода тратится на всё подряд, включая мусорные адреса, — чистка структуры высвобождает ресурс для важных страниц.
• Статус «просканировано, но не проиндексировано» — почти всегда про качество и дубли, а не про технику.
• Запрет в robots.txt закрывает обход, а не индексацию; чтобы убрать страницу из базы, нужен noindex при открытом доступе.
• Содержимое на JavaScript видно системам частично и с задержкой: основной текст и ссылки должны приходить в исходном HTML.
• Логи сервера показывают реальное поведение робота лучше любых панелей и обычно вскрывают перекос в распределении обхода.

Если хотите понять, на каком именно этапе застревают ваши страницы и куда уходит бюджет обхода, это разбирается по данным панелей и логам за один заход. Приходите на SEO-консультацию: посмотрим статусы страниц и составим план по приоритетам.