Алгоритм стемминга

Алгоритм стемминга отсекает у слова окончание и суффиксы, сводя «окнами», «окна» и «окну» к общей основе «окн». Для английского языка этого хватает, для русского — нет: падежи, чередования и супплетивные формы ломают подход на первом же слове. Знание того, как именно поисковые системы приводят слова к общему виду, снимает половину устаревших требований к текстам — в первую очередь требование вставлять ключевые фразы «в точной форме».

Ниже — как устроено отсечение основ, где оно ошибается, чем поиск пользуется вместо него, и главное: какие практические выводы из этого следуют для страниц вашего сайта, для подбора запросов и для внутреннего поиска по каталогу.

8:14

Как устроено отсечение основ

Задача, которую решает стемминг, называется нормализацией: разные формы одного слова нужно свести к чему-то общему, чтобы запрос «купить окно» находил страницу со словом «окна». Простейший способ — отбросить хвост слова по набору правил, не заглядывая ни в какие словари.

Классический пример такого подхода — алгоритм Портера, придуманный для английского языка и позже адаптированный для русского. Он работает в несколько проходов: сначала ищет и отсекает окончания причастий, деепричастий и глаголов, затем возвратные постфиксы, затем падежные окончания существительных и прилагательных, затем словообразовательные суффиксы. Каждый проход — набор шаблонов «если слово оканчивается так, отбросить столько-то символов».

Главное свойство подхода — он ничего не знает о языке. Ему не нужен словарь, не нужна база форм, не нужно понимать часть речи. Отсюда два следствия. Плюс: скорость и способность обработать любое слово, включая незнакомое, придуманное или с опечаткой. Минус: результат — не настоящая основа слова, а строка символов, которая просто одинакова у похожих форм.

Историческая справка тут важна для понимания, откуда взялись требования к текстам. Первые поисковые системы строили индекс именно по нормализованным строкам: документ считался релевантным, если в нём встречалась та же строка, что и в запросе. Отсюда родилась идея «вхождения» и вся культура подсчёта плотности ключевых слов. Механика давно другая, а требования в технических заданиях местами остались прежними — их переписывают из шаблонов десятилетней давности.

Есть и родственные приёмы, которые встречаются в самодельных системах поиска: обрезание слова до фиксированной длины, поиск по началу строки, разбиение на n-граммы — последовательности из трёх-четырёх букв. Все они решают ту же задачу грубым способом и порождают те же ошибки, только сильнее.

Где отсечение окончаний ломается на русском

Русский язык устроен так, что формы одного слова далеко не всегда имеют общий хвост, а разные слова часто имеют общее начало. Обе беды бьют по стеммингу с двух сторон.

Тему разбирал отдельно: «Алгоритм Яндекса изменился: что нужно сделать на сайте уже сейчас, чтобы не вылететь из ТОПа».

Слово	Что даст отсечение	Настоящая словарная форма	Тип проблемы
бегущий	бегущ	бежать	Чередование в корне
лучше	лучш	хороший	Супплетивная форма
детей	дет	ребёнок	Разные корни у форм одного слова
шёл	шёл	идти	Не сводится правилами вообще
окон	окон	окно	Беглая гласная
мир, мирный, мириться	мир	три разных слова	Слипание несвязанных слов
стекло, стеклянный, стекать	стек	три разных слова	Слипание при агрессивных правилах

Первый тип ошибки называют недостаточным сведением: формы одного слова получают разные основы, и поиск не находит очевидно релевантный документ. Второй — избыточным: разные по смыслу слова получают одну основу, и в выдачу попадает мусор. Настроить правила так, чтобы обе ошибки одновременно ушли, невозможно: ужесточение правил лечит одно и усугубляет другое.

Добавьте к этому омонимию форм. «Стекло» — существительное или глагол прошедшего времени. «Печь» — существительное или инфинитив. «Мыла» — форма слова «мыло» или глагола «мыть». Без разбора предложения различить их нельзя в принципе, а стемминг предложения не видит: он работает с отдельным словом.

Лемматизация: чем пользуются поисковые системы

Помогу с продвижением: SEO-специалист Анатолий Кузнецов — вывожу сайты в топ Яндекса белыми методами.

Поисковые системы решают задачу иначе. Лемматизация приводит слово к словарной форме — лемме: существительное к именительному падежу единственного числа, глагол к инфинитиву, прилагательное к мужскому роду. Опирается она на морфологический словарь и на разбор контекста.

Признак	Стемминг	Лемматизация
Что нужно для работы	Набор правил отсечения	Морфологический словарь и разбор
Результат	Обрубок строки	Настоящая словарная форма
Скорость	Очень высокая	Ниже, требует памяти под словарь
Неизвестные слова	Обрабатывает всегда	Требует правил-догадок для новых слов
Чередования и исключения	Не справляется	Справляется
Омонимия	Не различает	Различает по контексту
Где применяется	Внутренний поиск, массовая обработка	Поисковые системы, обработка языка

На этом обработка запроса не заканчивается. Современная выдача строится не на совпадении лемм, а на смысловой близости: запрос и документ переводятся в векторное представление, и система сопоставляет их значения, а не строки. Именно поэтому по запросу «чем закрыть окно от солнца» находятся страницы про рулонные шторы, где слова «закрыть от солнца» может не быть вовсе.

Лемматизация в этой схеме осталась на нижнем уровне — как способ нормализовать текст перед дальнейшей обработкой и как основа классического индекса. Но требование «слово в запросе должно встретиться в тексте» отпало ещё до неё.

Что из этого следует для текстов на сайте

Практический вывод один, зато он отменяет целый пласт устаревших требований к копирайтингу: подгонять формы слов не нужно. Требование вставить фразу «купить окна пластиковые Москва» именно в таком виде — наследие эпохи, когда поиск сравнивал строки буквально.

Что происходит, когда требование всё-таки выполняют:

• Текст становится нечитаемым. Падежные уродства человек замечает мгновенно, доверие к странице падает, и он уходит обратно в выдачу.
• Ухудшаются поведенческие сигналы: короткие визиты и возвраты в поиск говорят системе, что страница не отвечает на запрос.
• Растёт риск попасть под фильтр за переспам, потому что неестественная плотность одинаковых конструкций — как раз то, что такие фильтры и ищут.
• Теряется охват: пока вы вставляли одну фразу в десяти падежах, вы не написали про соседние формулировки, по которым тоже ищут.

Как правильно. Запрос задаёт тему и словарь страницы, а не шаблон предложения. Ключевую формулировку достаточно один раз употребить в заголовке и один-два раза в тексте в естественном виде, а дальше писать нормальным языком, используя синонимы, уточнения и слова, которые вокруг этой темы существуют. Именно набор смежных понятий, а не повторение одной фразы, показывает системе, что страница действительно про предмет.

Смежный материал по теме — «YATI и нейросети Яндекса: как алгоритм реально ранжирует ваш сайт (а не как пишут в учебниках)».

Полезно понимать и обратную сторону: отказ от точных вхождений не означает, что слова не важны вовсе. Система по-прежнему опирается на текст, просто оценивает его иначе — по составу понятий, по структуре, по тому, отвечает ли страница на вопрос целиком. Поэтому страница из трёх абзацев общих слов не выиграет у подробного разбора только потому, что в ней «нет переспама». Отмена одного требования не отменяет работы над содержанием, а переносит её с уровня строк на уровень смысла.

Отдельно про заголовок и метатеги. Здесь тоже не нужна точная форма, но нужна ясность: заголовок должен читаться как ответ на запрос, а не как склеенная строка из генератора. Пользователь выбирает по нему в выдаче, и кликабельность влияет на позиции сильнее, чем падеж.

Как это влияет на подбор запросов

Из механики нормализации следует важная вещь для сбора семантики: запросы, различающиеся только формой слова, — это один запрос, а не два. «Купить окно» и «купить окна» ведут на одну и ту же выдачу, и создавать под них разные страницы бессмысленно, а иногда вредно.

Порядок работы, который из этого вытекает:

1. Собрать запросы из Вордстата, подсказок и сервисов вроде Rush Analytics или Topvisor, не пугаясь дублей по формам.
2. Свести формы к общему виду — большинство инструментов делают это автоматически, суммируя частотность.
3. Проверить, не различаются ли внешне похожие запросы по смыслу выдачи. Здесь автоматика ошибается: «ремонт окон» и «ремонт окно» — одно, а «окна пвх» и «окна пвх цена» — часто разные интенты.
4. Сгруппировать запросы по общности выдачи, а не по совпадению слов. Если по двум запросам топ состоит из одних и тех же страниц, им нужна одна посадочная.
5. Проверить частотность в точной форме перед тем, как планировать под запрос отдельную страницу: широкое соответствие в Вордстате суммирует всё подряд и завышает картину в разы.

Если нужна помощь по теме — разработка сайта под ключ.

Типичная ошибка, которую даёт непонимание нормализации, — раздувание структуры сайта. Под каждый падежный вариант создаётся своя страница, они конкурируют между собой за один и тот же запрос, система выбирает из них случайную, и позиции скачут. Лечится объединением: одна сильная страница вместо пяти слабых.

Где отсечение основ встречается в вашей работе

Хотя большие поисковые системы давно перешли на словарные методы, стемминг никуда не делся. Он остался там, где важна скорость и не критична точность, — и именно эти места чаще всего портят пользователю впечатление от сайта.

Если нужны детали, смотрите «Яндекс выкинул ваш сайт из выдачи за одну ночь — и это не баг, а новый алгоритм. Что делать прямо сейчас».

• Внутренний поиск по сайту. Большинство встроенных решений в CMS и часть поисковых движков используют стемминг или вообще поиск по подстроке. Отсюда классика: «стеклопакеты» не находятся по запросу «стеклопакет».
• Фильтры и автоподсказки в каталоге. Если подсказка ищет по началу строки, пользователь не найдёт товар, набрав слово в другом падеже.
• Сервисы анализа текста. Часть из них считает «плотность ключей» по обрубкам основ, отсюда странные и завышенные результаты.
• Кластеризаторы и группировщики запросов. Дешёвые инструменты группируют по совпадению строк, а не по выдаче, и склеивают несвязанные запросы вроде «мир» и «мирный».
• Системы модерации и антиспам-фильтры на сайтах. Правила по основам слов дают ложные срабатывания на безобидных словах с общим началом.
• Поиск по базе клиентов и по документам. Внутренние системы компании чаще всего построены на самом простом варианте нормализации.

Как проверить и починить внутренний поиск

Из перечисленного больше всего денег теряется на поиске по сайту: в каталогах через него проходит заметная доля посетителей, и они, как правило, ближе к покупке, чем те, кто листает категории. Проверка занимает десять минут.

1. Возьмите пять товаров или услуг и наберите их название в единственном и во множественном числе, в именительном и в родительном падеже. Отметьте, где результаты расходятся.
2. Добавьте опечатку в одну букву. Хороший поиск исправляет, плохой отдаёт пустую страницу.
3. Наберите название с пробелом и через дефис, латиницей и кириллицей, если в нём есть заимствование.
4. Посмотрите, что показывается при нулевом результате: пустой экран или подборка популярных товаров с формой запроса.
5. Откройте в Метрике отчёт по внутреннему поиску, если он настроен, и посмотрите список запросов с нулевой выдачей. Это готовый список того, что люди ищут и не находят.

Что делать по итогам. Минимальный вариант — добавить словарь синонимов и типовых форм для главных категорий вручную: он закрывает большинство расхождений без замены движка. Средний — подключить поисковый движок с морфологией для русского языка вместо встроенного в CMS. И в любом случае — настроить в аналитике отслеживание внутреннего поиска и раз в месяц просматривать нулевые результаты: там же обнаруживаются и товары, которых у вас нет, а спрос на них есть.

Частые вопросы

Нужно ли вставлять ключевую фразу в точной форме хотя бы один раз?
Не обязательно, но и не вредно, если фраза звучит естественно. Полезнее употребить её в заголовке страницы в читаемом виде — это влияет на кликабельность в выдаче, а не на распознавание темы.

Что важнее для системы: точное вхождение или синонимы вокруг темы?
Набор смежных понятий. Страница про стеклопакеты, где встречаются профиль, фурнитура, монтаж, откосы и энергосбережение, распознаётся как экспертная лучше, чем страница с двадцатью повторами одной фразы.

Считать ли плотность ключевых слов в тексте?
Как контрольную величину — можно, чтобы заметить перебор. Как цель — нет: заданного «правильного» процента не существует, а сервисы считают его по-разному, часть из них как раз по обрубкам основ.

Поисковая система понимает опечатки в запросе?
Да, исправление опечаток и работа с раскладкой встроены в обработку запроса. Поэтому создавать страницы под опечатки бессмысленно, а вот учесть их во внутреннем поиске по сайту стоит.

Влияет ли порядок слов в запросе на подбор страницы?
На выдачу — почти нет, порядок нормализуется. На восприятие человеком — да, поэтому в заголовке пишите так, как говорят люди, а не так, как выглядит строка из сервиса подбора.

Различает ли поиск слова, написанные с ошибкой в корне, а не в окончании?
Обычно да: исправление опечаток работает по частотным моделям и не зависит от морфологии. Но если ошибка превращает слово в другое существующее слово, исправления не будет — система решит, что вы искали именно его.

Нужны ли отдельные страницы под единственное и множественное число?
Нет. Это один запрос с точки зрения системы, а две страницы под него начнут конкурировать между собой, и позиции станут нестабильными.

Коротко

• Стемминг сводит слова к общей строке отсечением хвоста по правилам, без словаря; для русского языка этого недостаточно из-за чередований, беглых гласных и супплетивных форм.
• Ошибки идут в обе стороны: формы одного слова получают разные основы, а несвязанные слова вроде «мир» и «мириться» — одну.
• Поисковые системы используют лемматизацию со словарём и разбором, а поверх неё — смысловое сопоставление запроса и документа.
• Отсюда главный практический вывод: подгонять падежи в тексте не нужно, а неестественные вхождения ухудшают поведение пользователей и повышают риск фильтра.
• Запросы, различающиеся только формой слова, — это один запрос; отдельные страницы под них создают внутреннюю конкуренцию и скачки позиций.
• Стемминг остался во внутреннем поиске по сайту, автоподсказках, дешёвых кластеризаторах и сервисах анализа текста — и именно там портит пользователю опыт.
• Проверка поиска по сайту занимает десять минут: разные падежи, опечатка, дефис, поведение при нулевом результате и отчёт по внутренним запросам в аналитике.

Если тексты на сайте написаны по старым требованиям с точными вхождениями, а страницы конкурируют друг с другом за одни и те же запросы, приходите на SEO-консультацию: разберём структуру и семантику, найдём страницы-конкуренты внутри сайта и составим план, как свести их в сильные посадочные без потери трафика.