Классификация поисковых систем

Классификация поисковых систем нужна не ради терминологии, а ради простого практического вопроса: откуда берётся список, который человек видит после нажатия на кнопку поиска. От ответа зависит всё остальное — попадёте вы туда автоматически, придётся ли подавать заявку, платить за размещение или готовить отдельный файл с данными. Термином «поисковая система» до сих пор называют совершенно разные механизмы: и робота, который сам обходит миллиарды страниц, и каталог, куда сайт добавляет живой редактор, и надстройку, которая перемешивает чужие результаты. Разница между ними не академическая — она определяет, какие действия дадут результат на вашем сайте, а какие окажутся пустой тратой времени.

В SEO я с 2005 года и застал время, когда регистрация в каталогах считалась обязательным пунктом продвижения, а «добавить сайт в 500 каталогов» продавалось как услуга. Сегодня та же самая работа приносит в лучшем случае ноль. Изменилась не мода — изменился тип систем, которые реально приводят людей. Ниже разберу типы по механизму формирования выдачи, покажу, что осталось от каждого сегодня, и сведу всё в набор действий для владельца сайта.

По какому признаку делятся поисковые системы

Классификаций много, но осмысленная всего одна — по способу, которым в системе появляется запись о вашем сайте и по которому она попадает в список результатов. Остальные деления (по охвату, по типу контента, по языку) вторичны и накладываются сверху.

Тип	Как сайт попадает в базу	Кто определяет порядок	Актуальность сегодня
Краулерные (полнотекстовые)	Робот находит сам по ссылкам и картам сайта	Обученный алгоритм ранжирования	Основной источник трафика
Каталоги (директории)	Владелец подаёт заявку, редактор проверяет	Рубрика и порядок, заданный редакцией	Почти исчезли, остались отраслевые
Гибридные	Смешение собственной базы и данных партнёров	Свой алгоритм поверх чужих результатов	Встречается у небольших систем
Платного включения	Оплата за размещение или за клик	Ставка и качество объявления	Работает как реклама, не как поиск
Метапоисковики	Ничего не хранят, опрашивают чужие системы	Правила слияния и дедупликации	Нишевые сценарии, агрегаторы цен
Вертикальные	Загрузка данных по формату площадки	Собственные правила площадки	Растущий источник трафика

Главный вывод из таблицы формулируется одной строкой: там, где список формирует робот, вы влияете на попадание через сайт; там, где список формирует человек или прайс-лист, вы влияете через заявку, деньги или качество передаваемых данных. Это разные виды работы, и путать их дорого.

Краулерные системы: связка робот — индекс — ранжирование

Полнотекстовые системы на основе робота — то, что сегодня подразумевают под словом «поиск». Яндекс, Google и все крупные национальные системы устроены по одной схеме из трёх независимых этапов, и на каждом этапе сайт может выпасть.

Обход. Программа, которую называют роботом, пауком или краулером, ходит по ссылкам и запрашивает страницы обычным HTTP-запросом — так же, как браузер посетителя. След от посещения остаётся в логах вашего сервера, и по ним видно, когда и какие страницы робот забирал. Новый сайт робот находит тремя способами: по ссылке с уже известной ему страницы, из карты сайта, из подтверждённого аккаунта в панели вебмастера. Скорость обхода не бесконечна: у каждого сайта есть фактический лимит, зависящий от скорости ответа сервера и от того, насколько ценным система считает ресурс.

Индексирование. Полученный HTML разбирается: выделяется текст, заголовки, метаданные, ссылки, определяется язык и тематика, вычисляется, не дублирует ли страница другую. Здесь важнейшее отличие робота от посетителя: человек оценивает картинки и анимацию, робот — код и текст. Страница, содержимое которой появляется только после выполнения скриптов, индексируется хуже и с задержкой. Часть страниц в индекс не попадает вовсе: дубли, страницы с малым количеством содержимого, технические адреса с параметрами.

Ранжирование. Когда приходит запрос, система отбирает из индекса подходящие документы и выстраивает их по оценке. Оценку даёт не написанная руками формула, а модель, обученная на оценках людей. Именно поэтому «список факторов с весами» нигде не опубликован — в таком виде его не существует.

Практический смысл разделения на три этапа в том, что диагностику надо вести по порядку. Нет смысла работать над текстом страницы, если робот до неё не доходит, и нет смысла обсуждать позиции, если страница не в индексе. Проверяется это в панели вебмастера за пять минут: сначала статистика обхода, затем состояние индексирования, и только потом запросы и показы.

Смежный материал по теме — «ТОП самых опасных фильтров поисковых систем».

Каталоги: что от них осталось

Каталог формирует список принципиально иначе. Сайт в него добавляет человек — владелец подаёт заявку с описанием, модератор проверяет и размещает запись в рубрике. Никакого обхода и никакого текста страницы: система знает о вашем сайте ровно то, что вы написали в заявке.

Классические универсальные каталоги ушли по трём причинам. Ручная модерация не масштабируется до миллионов сайтов. Описание, написанное владельцем, всегда рекламное и потому бесполезное для выбора. И главное — рубрикатор проигрывает поисковой строке: человеку проще спросить, чем спускаться по дереву разделов.

Помогу с продвижением: раскрутка сайта в Яндексе — вывожу сайты в топ Яндекса белыми методами.

При этом каталоги как класс не исчезли, они переродились. Живыми остались те, где запись даёт не ссылку, а присутствие в сервисе, которым пользуются люди.

• Карточки организаций на картах и в справочниках. Формально это каталог с ручной модерацией. Фактически — источник обращений для любого бизнеса с адресом, и один из немногих каналов, где заполнение анкеты напрямую конвертируется в звонки.
• Отраслевые справочники и реестры. Профильные площадки, где ищут подрядчиков в конкретной сфере. Их немного, они известны участникам рынка, и попадание туда имеет смысл.
• Агрегаторы и маркетплейсы услуг. Тоже каталоги по механике, но с собственным поиском внутри и с собственными правилами ранжирования карточек.
• Классическое SEO продвижение

Массовая регистрация в универсальных каталогах сегодня не приносит ни трафика, ни пользы для ранжирования, а при неаккуратном исполнении добавляет однотипных ссылок сомнительного качества. Это ровно тот случай, когда работа выполняется, отчёт формируется, а результата нет по устройству канала.

Если интересно направление с сайтами — базу даю в своём курсе:

8:14

Гибридные системы и метапоисковики

Гибридной называют систему, которая совмещает собственный индекс с данными внешних источников. Схема встречается у небольших и региональных поисковиков: собственного робота на весь интернет не хватает, поэтому базовая выдача берётся у крупного партнёра, а поверх накладывается своя логика — приоритет местным сайтам, свои сервисы, свои блоки.

Метапоисковик собственного индекса не имеет вовсе. Он принимает запрос, рассылает его в несколько систем, собирает ответы, убирает дубли и показывает объединённый список. Классические универсальные метапоисковики почти не выжили — они полностью зависят от чужих систем и не могут обеспечить качество. Зато механика прекрасно живёт в узких нишах: сравнение цен на билеты и отели, подбор товаров по магазинам, поиск по объявлениям.

Если нужны детали, смотрите «Как оптимизировать сайт для поисковых систем».

Что это значит для сайта. Отдельно продвигаться в гибридной системе или метапоисковике невозможно — они не имеют своих правил ранжирования вашего сайта, они отражают чужие. Работа над видимостью в основной краулерной системе автоматически даёт видимость в надстройках над ней. Единственное исключение — нишевые агрегаторы, которые берут данные не из поиска, а из вашего фида: там всё решает качество и полнота передаваемых данных.

Платное включение в поиск

Модель платного включения означает, что сайт попадает в результаты за деньги — либо разово за размещение, либо по ставке за клик. Исторически существовали системы, где за плату страницу гарантированно и быстро добавляли в индекс. Сегодня эта модель полностью переехала в рекламу.

Здесь важно развести два соседних заблуждения, которые встречаются постоянно.

• Платное размещение не улучшает органическую выдачу. Рекламные блоки и органические результаты формируются разными механизмами, и оплата рекламы не даёт преимущества в бесплатной части.
• Ускорить индексирование за деньги нельзя. Скорость обхода зависит от технического состояния сайта и его ценности для системы. Инструменты панели вебмастера для переобхода бесплатны и работают лучше любых платных предложений.
• Классическое SEO продвижение

Отдельная категория, которую иногда относят к платным, — товарные площадки с оплатой за размещение или комиссией. Формально это каталог, фактически поисковая система внутри своей вертикали, и правила там свои.

Вертикальные и специализированные поиски

Если нужна помощь по теме — мой курс по SEO.

Самое заметное изменение последних лет — люди всё чаще ищут не в универсальной системе, а сразу внутри площадки, где собран нужный тип содержимого. Универсальный поиск при этом остаётся, но перестаёт быть единственной дверью.

Вертикаль	Что ищут	Как туда попасть
Товарные площадки и маркетплейсы	Конкретный товар с ценой и доставкой	Товарный фид, полнота характеристик, отзывы
Карты и справочники организаций	Ближайшего исполнителя с адресом и часами работы	Заполненная и подтверждённая карточка, фотографии, отзывы
Видеоплощадки	Инструкции и обзоры в видеоформате	Название, описание, обложка, расшифровка
Магазины приложений	Приложение под задачу	Название, ключевые слова в описании, оценки
Поиск по картинкам	Товар или объект по изображению	Уникальные фото, подписи, атрибут alt, микроразметка
Поиск внутри соцсетей	Мнения, отзывы, живой опыт	Регулярные публикации, текст в постах, теги
Поиск внутри сайта	Нужную страницу на уже открытом ресурсе	Свой движок поиска, синонимы, обработка опечаток

Про последнюю строчку стоит сказать отдельно: внутренний поиск по сайту — тоже поисковая система, и она единственная, чьи правила вы задаёте сами. При этом отчёт по внутренним запросам — самый недооценённый источник данных о том, чего людям не хватает на сайте. Если посетители ищут то, чего у вас нет, это готовый список задач и по ассортименту, и по содержимому.

Подробнее об этом — в статье «Ключевые аспекты позиционирования сайта: секреты успешной видимости в поисковых системах».

Деление по охвату: глобальные, национальные, локальные

Второй уровень классификации — территория и язык. Он важен, потому что определяет, чьими правилами вы будете жить.

Уровень	Особенности	Что учитывать на сайте
Глобальные	Работают на десятках языков, единая технологическая база	Языковые версии, разметка языка и региона, скорость
Национальные	Учитывают язык, местные сервисы, региональную привязку	Регион в панели вебмастера, адрес и телефон, местные площадки
Локальные и региональные	Небольшая доля, часто гибридные	Отдельных работ обычно не требуют
Корпоративные	Поиск внутри организации по своим документам	К внешнему продвижению отношения не имеют

Практический смысл: распределение долей между системами в вашей нише лучше не брать из общих обзоров, а посмотреть в собственной статистике за год. Соотношение сильно зависит от тематики, региона и устройств, с которых приходят люди. Бывает, что в целом по стране картина одна, а на конкретном сайте — совсем другая, и приоритеты работ надо строить по своей статистике.

Что из классификации следует для владельца сайта

Свожу всё сказанное в порядок действий. Слева тип системы, справа то, что реально влияет на присутствие.

Тип системы	Что даёт результат	Что не даёт ничего
Краулерная	Доступность для робота, скорость, структура под спрос, содержание страниц	Массовая регистрация, покупка ссылок пачками, подгонка плотности слов
Каталоги и справочники	Карточка на картах, профильные отраслевые площадки	Универсальные каталоги ссылок
Гибридные и метапоисковики	Работа над основной краулерной системой	Отдельные работы под каждую надстройку
Платного включения	Рекламная кампания как отдельный канал с собственным расчётом	Ожидание влияния оплаты на органику
Вертикальные	Полные и актуальные данные в фиде, отзывы, фотографии	Формальное присутствие с пустой карточкой
Внутренний поиск	Настройка синонимов и разбор отчёта по запросам	Установка поиска без последующего анализа

Порядок приоритетов для типичного бизнеса выглядит так. Сначала техническая доступность для роботов краулерных систем — без неё остальное не имеет значения. Затем структура сайта под реальный спрос и содержание страниц. Параллельно — карточка организации на картах, если у бизнеса есть адрес: это самая быстрая отдача из всего перечисленного. Дальше вертикали, релевантные нише: товарные площадки для магазина, видео для сложных услуг, отзывы для тематик, где выбирают по доверию.

Частые вопросы

Нужно ли вручную добавлять сайт в поисковые системы? Достаточно один раз подтвердить права в панели вебмастера каждой системы и загрузить карту сайта. Дальше робот придёт сам. Сервисы «добавления в сотни поисковиков» продают действие, которое не требуется, потому что этих сотен систем не существует — есть несколько краулерных баз и множество надстроек над ними.

Чем каталог отличается от агрегатора? Каталог хранит ссылку и описание, агрегатор хранит сами данные — товары, цены, наличие, отзывы — и имеет собственный поиск. Из-за этого в каталоге вы конкурируете местом в рубрике, а в агрегаторе — качеством данных и репутацией карточки.

Стоит ли заниматься малыми поисковыми системами? Отдельных работ они не требуют. Малые системы либо гибридные, либо работают на чужой базе, и видимость в них следует за видимостью в крупной системе. Исключение — если по вашей статистике конкретный источник даёт заметную долю обращений, что бывает в узких профессиональных нишах.

Почему сайт есть в одной системе и нет в другой? Причины технические и разные: разная скорость обхода, разные требования к дублям, разное отношение к страницам, собираемым скриптами, разная региональная привязка. Начинать разбор надо с панели вебмастера той системы, где сайта нет: там указано, известны ли ей страницы и по какой причине они исключены.

Изменилась ли классификация с появлением поиска с ответами нейросети? Сам механизм остался: чтобы попасть в ответ, документ должен быть в индексе краулерной системы и быть отобранным по запросу. Изменилось поведение людей — часть простых информационных вопросов закрывается без перехода на сайт. Практический вывод не новый: тексты, пересказывающие общеизвестное, теряют трафик первыми, а материалы с собственными данными, расчётами и деталями остаются востребованными.

Коротко

• Осмысленное деление поисковых систем идёт по способу попадания сайта в базу: робот находит сам, редактор добавляет вручную, площадка принимает ваши данные или размещение оплачивается.
• Краулерные системы работают в три независимых этапа — обход, индексирование, ранжирование, — и диагностику ведут строго в этом порядке.
• Универсальные каталоги умерли, но их механика жива в картах, отраслевых справочниках и агрегаторах, где результат даёт качество карточки, а не сам факт записи.
• Гибридные системы и метапоисковики отражают чужие результаты, поэтому отдельных работ под них не существует.
• Оплата размещения или рекламы не влияет на органическую выдачу и не ускоряет индексирование.
• Вертикальные поиски забирают всё больше запросов, и попадание в них зависит от полноты передаваемых данных, а не от текста на сайте.
• Классическое SEO продвижение

Если непонятно, какие из перечисленных каналов дают обращения именно вам, а какие только съедают время, приходите на SEO-консультацию: разберём статистику по источникам за год и определим, куда в вашей нише стоит вкладываться в первую очередь.