Робот видит ваш сайт совсем не таким, как вы: разрыв между картинкой в браузере и реальностью

Робот видит ваш сайт совсем не таким, как вы: в вашем браузере аккуратная страница с картинками, товарами и плавной подгрузкой, а в его распоряжении — то, что сервер отдал до выполнения скриптов. Иногда это половина содержимого. Иногда — пустая заготовка с меню и подвалом. И ранжируется именно эта версия, а не та, которую видите вы.

Разрыв между картинкой в браузере и реальностью для поисковой системы — одна из самых недооценённых причин, по которым сайт не растёт при хорошем содержимом и нормальном бюджете. Ниже — как устроен этот разрыв, из-за каких решений содержимое прячется, как посмотреть на страницу глазами робота за пять минут и что делать с находками.

Почему робот и человек видят разное

Браузер человека — мощная программа с большим запасом терпения. Он загружает страницу, выполняет весь код, ждёт ответа сторонних сервисов, отрисовывает шрифты и анимации, реагирует на прокрутку и нажатия. Если что-то грузится три секунды, человек подождёт.

Поисковый робот устроен иначе. Он обходит миллиарды адресов и на каждый тратит строго ограниченный ресурс. Ждать медленные скрипты, крутить бесконечную ленту и разбираться в логике интерфейса ему некогда — и незачем: следующий адрес в очереди ничем не хуже вашего.

Работа идёт в два этапа. Сначала робот скачивает исходный код страницы — ровно то, что отдал сервер. Этот этап дешёвый и происходит всегда. Затем, если ресурсов хватает, страница ставится в очередь на отрисовку: робот пытается выполнить код и «дорисовать» содержимое так, как это делает браузер. Второй этап дорогой, откладывается на неопределённый срок и случается не для каждой страницы.

Отсюда базовый принцип, вокруг которого строится всё остальное: важное должно присутствовать в исходном коде, а не появляться после работы скриптов. Всё, что появляется только на втором этапе, живёт в режиме «может быть, когда-нибудь» — и на больших сайтах это «когда-нибудь» не наступает для значительной части страниц.

Что чаще всего прячется от робота

Ситуации повторяются от проекта к проекту. Перечислю в порядке частоты находок.

• Товары и текст, подгружаемые по кнопке. Кнопка «показать ещё» — самый массовый случай. Первые двенадцать позиций в исходном коде есть, остальные двести появляются после нажатия, которого робот не делает.
• Бесконечная прокрутка. Технически та же проблема: содержимое подгружается по событию, а робот не прокручивает страницу.
• Вкладки и раскрывающиеся блоки. Если содержимое вкладки лежит в коде и просто скрыто оформлением — всё в порядке. Если оно подтягивается запросом при переключении — робот его не увидит.
• Отзывы, цены и характеристики с внешних сервисов. Данные приходят отдельным запросом уже в браузере. В исходном коде на их месте пустое место, и в индекс попадает страница без цены.
• Отложенная загрузка, настроенная слишком агрессивно. Текст и изображения, которые появляются только при приближении к области видимости, могут не появиться вовсе.
• Навигация без нормальных ссылок. Переход по каталогу, сделанный обработчиком нажатия вместо ссылки с адресом, для робота не существует — он не находит внутренние страницы.
• Содержимое, зависящее от геолокации или согласия. Если страница показывает текст только после выбора города или закрытия баннера, робот остаётся на заглушке.

Опаснее всего то, что владелец сайта об этом не подозревает: в браузере всё прекрасно, менеджеры оформляют заказы, страницы открываются. Проблема всплывает через полгода, когда становится видно, что половина каталога не приносит ни одного перехода из поиска.

Как посмотреть на сайт глазами робота

Хорошая новость: проверка бесплатная и занимает несколько минут. Способы перечислены от самого простого к самому точному.

Если нужны детали, смотрите «Красивый сайт на JavaScript, который робот видит пустой страницей».

1. Исходный код страницы. Именно исходный, а не дерево элементов в панели разработчика — второе показывает состояние после выполнения скриптов. Откройте исходный код и поищите в нём фразу из вашего текста. Нет фразы — робот при первом заходе её тоже не увидит.
2. Отключение скриптов. Выключите выполнение сценариев в настройках браузера и перезагрузите страницу. То, что осталось на экране, гарантированно доступно поиску.
3. Текстовый запрос страницы. Запросите адрес любым инструментом, который не выполняет скрипты, и посмотрите ответ. Так видно ровно то, что получает робот на первом этапе.
4. Инструменты панели вебмастера. Проверка страницы показывает, что робот скачал и что смог отрисовать, какие ресурсы загрузились, а какие оказались недоступны. Самый точный способ, потому что это данные самой поисковой системы.
5. Поиск по фрагменту текста. Возьмите точную фразу со страницы в кавычках и поищите её. Если страница по своей же уникальной фразе не находится, содержимое в индекс не попало.
6. Сохранённая копия. Показывает, какая версия страницы реально лежит в базе поисковой системы.

Проверять нужно не только главную. Карточка товара, страница фильтра, страница категории и страница статьи собираются разными шаблонами, и разрыв обычно возникает ровно в одном из них. Регулярный контроль того, что попало в базу поиска, описан отдельно: индексация сайта в поисковых системах.

Ссылки, по которым робот не пройдёт

Помогу с продвижением: вывод сайта в ТОП Яндекса — вывожу сайты в топ Яндекса белыми методами.

Отдельная категория потерь — не текст, а навигация. Если робот не может пройти по ссылке, он не находит страницу вообще, и тогда неважно, что на ней написано.

Робот проходит по ссылке, у которой есть адрес в атрибуте. Всё остальное для него не ссылка:

• Элемент с обработчиком нажатия. Кнопка или блок, который меняет адрес программно, — робот по нему не пойдёт.
• Ссылка с пустым или служебным адресом. Заглушка вместо адреса означает, что переход выполняется кодом, а не ссылкой.
• Навигация, появляющаяся только после отрисовки. Меню, собранное скриптом, на первом этапе отсутствует, а значит внутренние страницы не находятся при первом обходе.
• Пагинация на скриптах. Частая беда каталогов: первая страница есть, остальные существуют только как состояние интерфейса, без собственных адресов.
• Фильтры без адресов. Если результат фильтрации не отражается в адресной строке, посадочных страниц под запросы у вас нет, даже если товары подобраны идеально.

Проверка простая: пройдите по сайту с отключёнными скриптами и попробуйте добраться до карточки товара из глубины каталога. Если не получилось — робот тоже не доберётся. Про то, как правильно устроена внутренняя структура ссылок, есть отдельный разбор — перелинковка страниц сайта.

Очередь отрисовки и квота обхода

Даже если робот в принципе способен отрисовать вашу страницу, это не значит, что он сделает это скоро и для всех страниц сразу. Отрисовка ставится в очередь, и чем тяжелее код, тем дольше страница ждёт.

Для небольшого сайта услуг разница не критична: тридцать страниц отрисуются в разумный срок. Для каталога на несколько тысяч адресов это превращается в узкое место. Квота обхода конечна, и если каждая страница требует дорогой отрисовки, робот успевает обработать заметно меньше адресов за то же время. Новые товары попадают в поиск с задержкой в недели, а часть каталога не попадает вовсе.

Отсюда прямая связь с производительностью: чем легче страница и быстрее отвечает сервер, тем охотнее робот её обходит. Медленный сайт проигрывает дважды — и людям, и роботам. Как это мерить, разобрано отдельно: скорость загрузки сайта. Механика распределения квоты обхода — в материале про индексацию, robots.txt и sitemap.

Подробнее об этом — в статье «Бизнес есть, сайт есть, а клиентов нет. Угадайте, где разрыв».

Отдельная ловушка: запрет обхода служебных папок со стилями и скриптами. Робот тогда не может отрисовать страницу целиком и оценивает её как сломанную — со всеми последствиями для оценки удобства на мобильных устройствах.

Как устранить разрыв: варианты решений

Задача сводится к одному: важное содержимое и ссылки должны быть доступны без дорогой отрисовки. Способов несколько, и выбор зависит от того, на чём построен сайт и сколько у вас страниц.

Решение	Как работает	Кому подходит	Что учесть
Серверная отрисовка	Сервер отдаёт готовый код с содержимым сразу, и роботу, и человеку	Сайтам на современных фреймворках, где содержимое меняется часто	Требует переработки и нагружает сервер, зато решает проблему полностью
Предварительная отрисовка	Заранее подготовленные статичные версии страниц отдаются по запросу	Каталогам и сайтам, где содержимое меняется редко	Нужно следить за актуальностью версий, иначе робот увидит старые цены
Статическая сборка	Страницы собираются заранее при публикации и лежат готовыми	Блогам, лендингам, документации	Плохо подходит там, где данные меняются ежечасно
Гибрид	Ключевое содержимое в исходном коде, второстепенное подгружается	Большинству магазинов	Требует решить, что считать ключевым: название, цена, описание, ссылки
Обычные ссылки вместо обработчиков	Каждый переход имеет собственный адрес	Всем без исключения	Самая дешёвая правка с самым заметным эффектом
Отдача первого экрана в коде	Заголовок, описание и первые позиции каталога приходят сразу	Каталогам с подгрузкой по кнопке	Не решает проблему глубоких страниц, но снимает половину потерь

Практика показывает, что до дорогих решений дело доходит редко. Две трети находок закрываются двумя дешёвыми правками: превращением псевдоссылок в обычные и выводом первого экрана содержимого в исходный код. Серверная отрисовка нужна там, где сайт целиком построен на скриптах и без неё в коде вообще ничего нет.

Проверка сайта за час: порядок действий

Если хотите оценить масштаб проблемы на своём проекте, вот последовательность, которая укладывается в час.

Шаг	Что делаем	Что означает плохой результат
1	Открываем исходный код карточки товара и ищем описание и цену	Нет в коде — в индекс попадает страница без цены и текста
2	Отключаем скрипты и открываем страницу категории	Пустой каталог — товары не найдутся при первом обходе
3	С отключёнными скриптами пробуем дойти до карточки из меню	Не дошли — навигация построена на обработчиках, а не на ссылках
4	Ищем в поиске точную фразу с ключевой страницы в кавычках	Страница не находится — содержимое не в индексе
5	Проверяем страницу инструментом панели вебмастера	Недоступные ресурсы в отчёте — робот не смог отрисовать страницу
6	Сравниваем число товаров в каталоге с числом страниц в индексе	Разрыв в разы — часть каталога недоступна для обхода
7	Смотрим статистику обхода за месяц	Мало страниц в сутки при большом каталоге — квота уходит не туда

Если нужна помощь по теме — разработка сайта под ключ.

Результат этой проверки полезно сразу превратить в задачу для разработчика: не «сайт плохо индексируется», а «на карточке товара описание отсутствует в исходном коде, приходит запросом после загрузки — нужно выводить на сервере». Такая формулировка занимает у программиста часы, а расплывчатая — месяцы переписки.

Что это значит для видимости в нейросетевых ответах

Генеративные ответы собираются на основе того же содержимого, которое доступно поисковым роботам, и здесь разрыв бьёт ещё сильнее. Алгоритму, который формирует ответ, нужны однозначные факты: цена, характеристика, условие, срок. Если всё это подтягивается скриптами, страница остаётся для него набором общих фраз из шапки и подвала.

Тему разбирал отдельно: «Логи сервера в SEO: что в них видит робот и чего не видите вы».

Практический вывод: содержимое, которое вы хотите видеть процитированным, должно лежать в исходном коде в явном виде и желательно быть размечено — таблицей, списком, структурированными данными. Подробнее про требования такого рода — в разборе про техническую подготовку к выдаче нейросетей.

Второй момент — метаданные. Заголовок и описание, подставляемые скриптом уже в браузере, могут не попасть в обработку, и тогда в выдаче появится то, что сервер отдал изначально: пустой или шаблонный заголовок. Проверяется это тем же способом — просмотром исходного кода. Основы разобраны в материале про метатеги для SEO.

Частые вопросы

Поисковые системы ведь умеют выполнять скрипты. Зачем усложнять?
Умеют, но не обязаны делать это для каждой страницы и не делают это мгновенно. Отрисовка — дорогая операция, она стоит в очереди и достаётся в первую очередь страницам, которые поиск считает важными. Новый сайт или глубокая карточка каталога могут ждать долго. Плюс разные поисковые системы справляются с этим по-разному, и рассчитывать на лучший случай — рискованно.

У нас всё на скриптах, но страницы в индексе есть. Значит, проблемы нет?
Проверьте не факт наличия, а содержимое. Часто страница в индексе присутствует, но в базе лежит её пустая версия: заголовок из шаблона, ни описания, ни цены. Такая страница ранжируется по названию бренда и больше ни по чему. Поиск точной фразы в кавычках показывает это за минуту.

Вкладки и раскрывающиеся блоки — их вообще нельзя использовать?
Можно, если содержимое присутствует в коде и просто скрыто оформлением. Нельзя, если оно подгружается запросом в момент переключения. Разница видна в исходном коде: либо текст там есть, либо на его месте пусто. Интерфейсно оба варианта выглядят одинаково, поэтому проверять надо кодом, а не глазами.

Что делать, если сайт на конструкторе и переделать отрисовку нельзя?
Работать в пределах доступного: выносить ключевой текст в блоки, которые конструктор отдаёт сразу, отказываться от подгрузки по кнопке в пользу обычной пагинации, проверять, что переходы сделаны ссылками. Многие конструкторы отдают базовое содержимое нормально, а ломается всё на сторонних виджетах — их и стоит проверить в первую очередь.

Насколько срочно это чинить, если сайт небольшой?
Для сайта на тридцать-пятьдесят страниц отрисовка обычно успевает отработать, и катастрофы не будет. Но навигацию проверить стоит в любом случае: псевдоссылки ломают обход независимо от размера сайта, и лечатся они за час работы. Приоритет растёт вместе с числом страниц.

Как объяснить разработчику, что это проблема, если у него всё открывается?
Показать исходный код и отсутствие в нём текста. Это проверяемый факт, а не мнение. Второй аргумент — отчёт из панели вебмастера, где видно, что робот скачал и что смог отрисовать. Третий — поиск точной фразы со страницы: если по собственной уникальной фразе страница не находится, спорить не о чем. Разговор в терминах кода идёт продуктивнее, чем в терминах позиций.

Коротко

• Робот работает в два этапа: сначала скачивает исходный код, потом, если хватит ресурсов, отрисовывает страницу. Всё важное должно быть на первом этапе.
• Чаще всего прячутся подгрузка по кнопке, данные с внешних сервисов, содержимое вкладок и навигация, сделанная обработчиками вместо ссылок.
• Проверка занимает минуты: исходный код, отключение скриптов, поиск точной фразы в кавычках и отчёт инструмента панели вебмастера.
• Псевдоссылки без адреса — самая дорогая по последствиям и самая дешёвая по исправлению находка: робот просто не находит внутренние страницы.
• Отрисовка стоит в очереди и расходует квоту обхода, поэтому на больших каталогах тяжёлые страницы попадают в индекс с задержкой в недели.
• Для видимости в нейросетевых ответах требование то же и жёстче: факты, цены и характеристики должны лежать в исходном коде явно и структурно.

Если страницы в индексе есть, а трафика с них нет, и непонятно, дело в содержимом или в том, что робот его не видит, — это разбирается на конкретных адресах: SEO-консультация включает проверку того, что реально попадает в индекс, и техническое задание разработчику с формулировками, по которым можно работать. Отдельно смотрю видимость в нейросетях и AI-поиске.