Поисковые роботы — что это и как они работают

Поисковые роботы ходят по вашему сайту каждый день, и почти всегда — незаметно для владельца. При этом именно их маршрут определяет, какие страницы окажутся в поиске, а какие останутся невидимыми. Пока вы правите заголовки и добавляете тексты, робот может неделями крутиться по страницам сортировки каталога и ни разу не дойти до карточек товара, ради которых сайт делался.

Знать, как устроен этот обход, полезно не из любопытства. Все технические работы по сайту сводятся к одному: убрать препятствия на пути робота и подсказать ему, куда идти в первую очередь. Без понимания механики любая доработка делается наугад — что-то поменяли, что-то стало лучше, почему именно, никто не знает.

Кто именно приходит на ваш сайт

Слово «робот» скрывает целый зоопарк программ с разными задачами. У поисковых систем их несколько, и ведут они себя по-разному.

• Основной обходчик. Скачивает HTML-код страниц и складывает его в очередь на обработку. Именно от его визитов зависит, окажется ли страница в базе поиска.
• Быстрый робот. Приходит за свежим: новости, обновления, только что опубликованные материалы. У живых сайтов бывает по нескольку раз в день.
• Робот изображений. Ходит за картинками отдельно, поэтому картинки индексируются со своим отставанием от текста.
• Мобильный обходчик. Смотрит на сайт глазами телефона. С переходом поисковых систем на приоритет мобильной версии это стало основным вариантом обхода.
• Проверяющие роботы. Приходят по вашей просьбе: при проверке страницы в Вебмастере или при отправке адреса на переобход.

Отдельно на сайт заходят программы, к поиску отношения не имеющие: анализаторы ссылок, парсеры цен конкурентов, сборщики контента, сканеры уязвимостей. На среднем коммерческом сайте они дают заметную долю нагрузки, и разделять эти потоки в статистике полезно — иначе непонятно, кто съедает ресурсы сервера.

Как робот узнаёт, что у вас появилась страница

Источников всего четыре, и все они управляемы.

Ссылки внутри сайта. Основной путь. Робот скачал страницу, нашёл в коде ссылки, добавил адреса в очередь. Отсюда важное следствие: страница, на которую не ведёт ни одна внутренняя ссылка, для робота почти не существует. Такие страницы называют сиротами, и в каталогах их бывают сотни.

Карта сайта. Файл sitemap.xml — список адресов, которые вы считаете важными. Он помогает найти страницы, до которых сложно дойти по ссылкам, но не заставляет их индексировать. Карта, где половина адресов отдаёт 404 или редирект, работает против вас: робот перестаёт ей доверять.

Внешние ссылки. Упоминание вашего адреса на чужом сайте приводит робота напрямую. Для новых доменов это часто самый быстрый способ первого визита.

Прямые сигналы. Отправка адреса на переобход в панели вебмастера и протокол мгновенного уведомления, когда сайт сам сообщает поисковой системе об изменении. Второй вариант надёжнее, потому что работает без ручных действий и без суточных лимитов.

Что происходит со страницей после скачивания

Робот не читает страницу как человек. Он разбирает код на части, и на каждом шаге может потерять то, ради чего вы страницу писали.

1. Проверка кода ответа. Если сервер вернул 404, 500 или увёл редиректом, дальше ничего не происходит.
2. Разбор HTML. Выделяются заголовок, мета-теги, текст, ссылки, разметка. Текст, спрятанный в атрибуты или в подгружаемые блоки, сюда не попадает.
3. Исполнение скриптов. Отдельный, более дорогой шаг. Ставится в очередь и выполняется не всегда сразу.
4. Оценка содержания. Сравнение с уже известными страницами: не дубль ли, есть ли смысл, отвечает ли хоть на какой-то запрос.
5. Решение. Взять в базу, отложить или отбросить.

Самая частая потеря происходит на втором и третьем шаге. Владелец открывает сайт, видит красивый блок с описанием услуги — а в исходном коде на его месте пусто, потому что блок подгружается скриптом. Проверяется это за минуту: в браузере открыть исходный код страницы и поискать в нём кусок вашего текста. Не нашли — робот тоже может не найти.

Тему разбирал отдельно: «Как работают поисковые системы».

Где робот слепнет: скрипты, формы и бесконечная прокрутка

Современные роботы умеют исполнять JavaScript, но с двумя оговорками. Первая: это делается позже основного обхода, иногда с задержкой в дни. Вторая: качество исполнения ниже, чем в вашем браузере, — робот не кликает, не листает и не ждёт долгих ответов.

Отсюда конкретные ловушки:

• Товары, подгружаемые кнопкой «показать ещё». Робот кнопку не нажмёт. Всё, что за первым экраном списка, для него не существует, пока нет обычной постраничной навигации ссылками.
• Бесконечная прокрутка без ссылок на страницы. Та же беда: робот не прокручивает.
• Меню, которое строится скриптом. Если в исходном коде вместо ссылок пустой контейнер, робот не найдёт разделы сайта.
• Ссылки не ссылками. Переход, сделанный на элементе с обработчиком клика вместо тега со ссылкой, роботом не читается.
• Контент за фильтром или вкладкой. Текст во вкладке индексируется, если он есть в коде сразу. Если подгружается по клику — нет.

Помогу с продвижением: продвижение сайтов белыми методами — вывожу сайты в топ Яндекса белыми методами.

Проверка простая и бесплатная: отключите JavaScript в браузере и походите по сайту. То, что осталось видно, робот увидит гарантированно. То, что исчезло, — под вопросом.

Robots.txt: что этот файл может и чего не может

Файл в корне сайта, где перечислено, куда роботу заходить не нужно. Читается перед обходом, поэтому влияет на маршрут напрямую.

Что он делает: запрещает скачивать указанные адреса, указывает адрес карты сайта, может задавать отдельные правила разным роботам.

Чего он не делает: не удаляет страницы из поиска. Это главное заблуждение. Закрытая в файле страница может остаться в выдаче, если на неё ведут ссылки, — просто без описания. Для удаления нужен мета-тег noindex, а чтобы робот его прочитал, страница должна быть открыта для обхода.

Типовые ошибки, которые я вижу при проверках:

• Запрет на весь сайт, оставшийся с этапа разработки. Одна строка, и сайт невидим месяцами.
• Закрытые папки со стилями и скриптами. Робот не может отрисовать страницу и считает её сломанной или неадаптивной.
• Правило, написанное с опечаткой в пути — оно просто не работает, а владелец считает раздел закрытым.
• Разные наборы правил для разных роботов, накопившиеся годами и противоречащие друг другу.

Проверять файл нужно не глазами, а инструментом проверки в панели вебмастера: вставляете конкретный адрес и смотрите, разрешён он или нет. Проверять стоит не один адрес, а по одному представителю от каждого типа страниц: главную, раздел каталога, карточку товара, статью блога, страницу услуги. На большом сайте это пять минут, а находки бывают неожиданные — например, что закрыт весь раздел с товарами одной категории из-за совпадения куска пути с правилом, написанным для служебной папки.

Отдельно держите копию файла где-нибудь вне сайта. Обновление CMS, смена шаблона или переезд на другой хостинг регулярно переписывают robots.txt на стандартный, и обнаруживается это по падению числа страниц в поиске через месяц. Сверка с копией занимает минуту и сразу отвечает на вопрос, техническая проблема или содержательная.

Смежный материал по теме — «Оптимизация сайта под поисковые системы».

Сколько страниц робот берёт за визит

Ресурс обхода не бесконечен. Поисковая система распределяет его между миллионами сайтов, и вашему достаётся доля, зависящая от нескольких понятных вещей.

Что влияет	Как влияет	Что можно сделать
Скорость ответа сервера	Чем быстрее отвечает, тем больше страниц робот успевает взять за визит	Кэширование, нормальный хостинг, оптимизация запросов к базе
Частота обновлений	Сайт, где регулярно появляется новое, обходится чаще	Публиковать по расписанию, а не рывками раз в полгода
Доля мусорных адресов	Фильтры, сортировки и параметры съедают ресурс вместо нужных страниц	Закрыть параметры, настроить canonical, убрать лишние ссылки
Глубина вложенности	Страница в пяти кликах от главной обходится реже страницы в двух	Плоская структура, ссылки на важное с главной и из меню
Ошибки и редиректы	Цепочки переадресаций и битые адреса тратят обход впустую	Убрать цепочки, чинить 404 в ссылках, обновлять карту сайта
Внешние ссылки	Сайт с упоминаниями воспринимается как более значимый	Работать с отраслевыми площадками и справочниками

Проверяется всё это в разделе статистики обхода: там видно, сколько адресов робот взял за день, какие коды ответов получил и на что потратил визиты. Если в списке обойдённых адресов преобладают страницы с параметрами, а карточки товара встречаются редко — вы нашли главную техническую проблему сайта.

Как посмотреть, что делал робот у вас

Три источника с разной точностью и трудоёмкостью.

Панель вебмастера. Раздел статистики обхода показывает динамику, коды ответов и список адресов за период. Данных достаточно для большинства решений, выгрузка делается в файл.

Логи сервера. Самый честный источник. Каждая строка — обращение с временем, адресом, кодом ответа и подписью робота. Запрашиваются у хостинга. Именно в логах видны вещи, которые не покажет ни один отчёт: например, что робот заходит на сайт ночью, когда включается тяжёлая фоновая задача и сервер отвечает по десять секунд.

Собственный краулер. Программа, которая обходит сайт так же, как робот, и показывает, что он увидит: коды ответов, заголовки, дубли, сироты, глубину вложенности. Даёт картину до визита робота, а не после.

Если нужна помощь по теме — заказать сайт.

Быстро увидеть базовые препятствия — недоступные страницы, запреты индексации, ошибки ответа — помогает бесплатный аудит: он проходит по сайту тем же путём и показывает, где обход спотыкается.

Настоящий робот и подделка

Значительная часть нагрузки на коммерческие сайты создаётся программами, которые представляются поисковым роботом, но им не являются: парсеры цен, сборщики контактов, накрутчики поведения. Отличить их важно, потому что решения противоположные — настоящему роботу надо помогать, поддельному закрывать дверь.

Если нужны детали, смотрите «Оптимизация сайта под поисковые запросы».

Признак	Настоящий поисковый робот	Подделка
Обратная проверка адреса	Адрес принадлежит поисковой системе, проверка по имени хоста сходится	Адрес случайного хостинга или домашнего провайдера
Поведение во времени	Плавное, с паузами, не создаёт пиков нагрузки	Сотни запросов в минуту, ровный поток без пауз
Уважение к robots.txt	Читает файл и соблюдает запреты	Игнорирует, идёт в закрытые разделы
Что запрашивает	Страницы, картинки, стили, скрипты — всё нужное для отрисовки	Только страницы товаров с ценами или только формы
Отражение в отчётах	Виден в статистике обхода панели вебмастера	В отчётах поисковой системы отсутствует

Проверка подлинности делается через обратный запрос по адресу: узнаёте имя хоста, затем проверяете, что это имя действительно ведёт на тот же адрес. Совпало — робот настоящий. Не совпало — можно ограничивать.

Что мешает обходу чаще всего

Список по частоте встречаемости на реальных сайтах, от самого распространённого:

1. Страницы-сироты. Есть в карте сайта, но ни одна внутренняя ссылка на них не ведёт. Робот их видит формально, но приоритет им даёт минимальный.
2. Бесконечные адреса. Календари, фильтры с комбинациями параметров, сортировки. Порождают миллионы вариантов, робот честно пытается их обойти.
3. Цепочки редиректов. Адрес ведёт на второй, тот на третий. Каждый шаг — потраченный визит.
4. Медленный ответ. Если страница отдаётся дольше двух-трёх секунд, робот сокращает интенсивность, чтобы не уронить сервер.
5. Одинаковые заголовки. Сотни страниц с идентичным title означают для системы, что смотреть здесь нечего.
6. Разные версии одного сайта. С www и без, по http и https, с косой чертой в конце и без. Каждая версия обходится отдельно, ресурс делится.

Отдельно стоит помнить про приоритет мобильной версии: если на телефоне часть содержимого скрыта или подгружается иначе, робот увидит именно этот усечённый вариант. Подробнее про то, как это устроено, я писал в материале про индексацией с приоритетом мобильных.

Частые вопросы

Как часто робот должен приходить на сайт? Нормы нет, есть соответствие. Магазин, где ежедневно меняются остатки, должен обходиться ежедневно. Сайт услуг из десяти страниц, не менявшийся полгода, робот может навещать раз в неделю, и это нормально.

Можно ли попросить робота ходить чаще? Напрямую — нет, косвенно — да. Ускоряют регулярные публикации, быстрый сервер, подключение мгновенных уведомлений об изменениях и внешние ссылки. Директивы задержки в robots.txt современные системы игнорируют.

Робот нагружает сервер, сайт тормозит. Что делать? Сначала проверьте, настоящий ли это робот — в девяти случаях из десяти нагрузку дают парсеры. Если настоящий, поставьте ограничение скорости обхода в панели вебмастера и параллельно разберитесь, почему сервер не держит десяток запросов в секунду.

Что важнее для обхода — карта сайта или внутренние ссылки? Ссылки. Карта помогает найти адрес, ссылки объясняют, насколько он важен. Страница, на которую ведут ссылки из меню и из соседних материалов, обойдётся быстрее той, что есть только в карте.

Нужно ли закрывать от роботов страницы пагинации? Обычно нет: через них робот доходит до карточек. Закрывать имеет смысл сортировки и комбинации фильтров, которые не несут отдельного смысла и плодят одинаковые списки.

Правда ли, что в топ можно выйти без вложений в платный трафик? Правда, и это обычный сценарий, когда техническая часть в порядке и робот беспрепятственно обходит сайт. Про то, как это работает без ставки на бюджет, есть отдельный материал.

Логику обхода нагляднее один раз увидеть на живых отчётах. В коротком видео ниже показано, как читать статистику обхода и на что смотреть в первую очередь.

8:14

Коротко

• Роботов несколько, задачи у них разные; на большинстве сайтов основной обход давно идёт с приоритетом мобильной версии.
• Адреса робот берёт из внутренних ссылок, карты сайта, внешних упоминаний и прямых сигналов — страница без входящих ссылок для него почти не существует.
• Скрипты робот исполняет позже и хуже браузера: кнопки «показать ещё», бесконечная прокрутка и меню на скриптах прячут от него часть сайта.
• Robots.txt управляет обходом, но не удаляет страницы из поиска; для удаления нужен noindex на открытой для обхода странице.
• Ресурс обхода ограничен, и его съедают фильтры, сортировки, цепочки редиректов и медленный сервер — проверяется по статистике обхода и логам.
• Заметная доля нагрузки на коммерческих сайтах приходится на поддельных роботов; подлинность проверяется обратным запросом по адресу.

Если по отчётам видно, что робот ходит по сайту не туда, а нужные страницы месяцами остаются без внимания, приходите на SEO-консультацию. Посмотрим статистику обхода вашего сайта, найдём, где теряется ресурс, и составим порядок технических правок.