Алгоритм Matrixnet Yandex

Алгоритм Matrixnet Yandex закрыл эпоху, когда формулу поиска можно было разгадать экспериментом. До конца 2009 года порядок результатов задавали правилами, написанными руками: набор факторов, набор весов, проверка на выдаче, правка. После — порядок задаёт модель, обученная на оценках живых людей, и выписать её коэффициенты не может ни оптимизатор снаружи, ни разработчик внутри, потому что коэффициентов в привычном смысле там больше нет. Из этого следует всё остальное: почему «точных настроек под алгоритм» не существует, почему позиции меняются без ваших действий и почему список задач у владельца сайта за пятнадцать лет изменился куда меньше, чем список модных приёмов.

В SEO я с 2005 года и застал обе картины мира. В первой работали рецепты: подобрал плотность вхождений, поставил ссылку с сильного донора, получил предсказуемый сдвиг. Во второй те же действия дают то результат, то ничего, то минус — и объяснить разницу «изменением алгоритма» нельзя, потому что менялся не алгоритм, а обученная на новых данных модель. Разница между этими двумя объяснениями определяет, на что уйдут ваши деньги в ближайший год.

Как ранжирование выглядело до Матрикснета

Ранняя формула Яндекса собиралась вручную. Разработчики выбирали факторы, назначали им веса, смотрели, как меняется выдача на тестовой выборке запросов, и правили веса дальше. Факторов было немного по нынешним меркам, и каждый имел понятное человеческое объяснение: слово встречается в заголовке, слово встречается в тексте, на страницу ссылаются, домен старый, страница из нужного региона.

Такая конструкция обладала свойством, которое сегодня трудно вообразить: она была обратима. Раз итог складывается из понятных слагаемых, поведение формулы можно восстановить снаружи, ставя опыты. Оптимизаторы этим и занимались — меняли один параметр на группе страниц, смотрели на сдвиг, делали вывод. Из таких опытов выросли легенды тех лет: про идеальную плотность ключевого слова, про вес заголовка относительно тела текста, про то, сколько ссылок нужно на страницу. Часть этих наблюдений тогда действительно работала, и именно поэтому «секретное знание» имело рыночную цену.

У ручной формулы была и обратная сторона, из-за которой её пришлось оставить. Она плохо масштабировалась: чем больше факторов добавляли, тем сложнее было руками подобрать веса так, чтобы улучшение по одному классу запросов не ломало другой. И она была уязвима: раз правила известны, их можно имитировать. Целая индустрия жила на том, чтобы подделать сигналы, которые формула считала признаком качества.

Что изменил переход на машинное обучение

Матрикснет — метод машинного обучения, построенный на градиентном бустинге над решающими деревьями. Практический смысл для владельца сайта в другом: формулу перестали писать и начали обучать. На вход подают огромный набор признаков страницы и запроса плюс эталонные оценки качества, выставленные людьми. Модель сама подбирает такие комбинации признаков, которые лучше всего предсказывают эти оценки.

Ключевое слово здесь — комбинации. Ручная формула складывала вклады факторов. Обученная модель работает иначе: она находит условия вида «если по этому классу запросов страница выглядит так, а вот этот признак ниже обычного, то оценка падает». Такие связи человек не задавал и часто не смог бы сформулировать. Именно поэтому вопрос «какой вес у фактора X» потерял смысл: у фактора нет одного веса, его вклад зависит от значений остальных признаков.

Что сравниваем	Ручная формула	Обученная модель
Как появляется	Пишется разработчиками	Обучается на оценках людей
Число признаков	Обозримое, каждый объясним	Необозримое, публично не раскрывается
Как учитываются	Сложение вкладов	Сочетания и условия
Единая ли для всех запросов	По сути одна	Разная для классов запросов и регионов
Обратимость снаружи	Отчасти восстанавливалась опытом	Восстановить нельзя
Как обновляется	Редкие ручные правки	Регулярное переобучение на новых данных

Отдельно стоит выделить строку про классы запросов. Возможность строить разные формулы под разные типы запросов и регионы — не побочный эффект, а одна из причин перехода. Коммерческий запрос, информационный и навигационный требуют разного ответа, и универсальный набор весов всегда обслуживал их одинаково плохо. После перехода на обучение поиск получил возможность вести себя по-разному там, где раньше вёл себя одинаково.

Откуда модель берёт представление о хорошем ответе

Модель не знает, что такое «полезная страница». Она знает только то, чему её научили, а учат её на размеченных примерах. Разметку делают асессоры — люди, которые по формальной инструкции оценивают пары «запрос — страница»: насколько результат отвечает на заданный вопрос, от полного соответствия до полного несоответствия.

Если нужны детали, смотрите «Поисковый алгоритм Королёв».

Механика простая по устройству и важная по последствиям. Асессоры дают эталон. Модель ищет, какими признаками этот эталон объясняется. Обученная модель применяется ко всей выдаче, включая запросы, которые никто вручную не оценивал. Накапливаются новые оценки и новые данные — модель переобучают, и порядок результатов меняется, хотя ни один человек не переписывал никаких правил.

Помогу с продвижением: комплексное продвижение сайта — вывожу сайты в топ Яндекса белыми методами.

Из этой цепочки следует вывод, который практичнее любых догадок о весах. Единственный документ, который описывает целевую функцию поиска понятным языком, — это критерии оценки качества, по которым работают асессоры. Они не секретны в своей сути: поиск хочет, чтобы страница отвечала на запрос полностью, не врала, была удобной и заслуживала доверия. Всё, что вы можете сделать со своим сайтом, имеет смысл сверять именно с этим списком, а не с очередным разбором «свежего апдейта».

Если интересно направление с сайтами — базу даю в своём курсе:

8:14

Почему «формулу» нельзя вычислить

Периодически появляются исследования, которые обещают восстановить веса факторов по большим выборкам выдачи. Читать их интересно, опираться на них в работе нельзя. Три причины, каждой из которых достаточно по отдельности.

1. Признаков слишком много, и они взаимозависимы. Корреляция между признаком и позицией не говорит о причине. Классический пример: у страниц из топа в среднем больше входящих ссылок. Это не значит, что ссылки поднимают страницу — сильные страницы одновременно и получают больше ссылок, и лучше отвечают на запрос.
2. Модель не одна. Разные классы запросов обслуживаются по-разному. Замер, усреднённый по тысяче случайных запросов, описывает несуществующую среднюю выдачу и не описывает вашу нишу.
3. Модель меняется. Переобучение идёт постоянно. Даже если бы удалось восстановить зависимость точно, к моменту публикации результата она была бы историей, а не инструкцией.

Есть и четвёртая причина, о которой говорят реже. Даже внутри поисковой системы обученная модель не разбирается на понятные коэффициенты — иначе бы существовал документ «веса факторов», и рано или поздно он бы утёк. Разработчик может измерить, насколько ухудшится качество без конкретного признака, но это не то же самое, что «вес фактора» в старом смысле. Продавать вам «настройку под формулу» может только тот, кто не понимает, о чём говорит, или понимает слишком хорошо.

Что оценивают асессоры и как перевести это в задачи

Критерии оценки описаны для людей и человеческим языком, поэтому переводятся в конкретные работы почти дословно. Ниже — перевод, которым я пользуюсь на проектах.

Подробнее об этом — в статье «Панда — алгоритм Google».

Что оценивает человек	Что смотрит на странице	Что делать на сайте
Соответствие запросу	Тот ли тип ответа: каталог, статья, карточка, форма	Сверить тип страницы с тем, что стоит в топе по запросу
Полнота ответа	Закрыт ли вопрос целиком или нужно искать дальше	Добавить цены, сроки, условия, ответы на возражения
Достоверность источника	Кто автор, есть ли контакты, реквизиты, подтверждения	Подписать материалы, вывести реквизиты и способы связи
Удобство	Скорость, мобильная версия, навязчивость рекламы	Убрать перекрывающие блоки, ускорить загрузку
Честность заголовка	Совпадает ли обещание в сниппете с содержимым	Привести title и первый экран в соответствие тексту
Актуальность	Не устарели ли данные, цены, условия	Датировать и обновлять то, что стареет

Эта таблица не про «понравиться алгоритму». Она про то, чему модель училась. Разница принципиальная: приёмы, найденные подгонкой под текущее состояние выдачи, обесцениваются очередным переобучением, а работа по критериям качества переживает любое обновление, потому что сами критерии и есть цель обучения.

Почему выдача меняется без ваших действий

Самая частая жалоба на консультации звучит так: сайт не трогали месяц, а позиции ходят вверх-вниз, вчера были четвёртые, сегодня девятые. В мире ручной формулы это означало бы, что кто-то что-то поменял. В мире обучаемой модели у колебаний есть штатные причины, и большинство из них к вашему сайту отношения не имеют.

Причина сдвига	Как выглядит	Что делать
Переобучение модели	Сдвиг по многим запросам сразу, у конкурентов тоже	Ничего срочного, наблюдать две-четыре недели
Изменения у конкурентов	Просадка по узкой группе запросов	Сравнить свою страницу с новой страницей соседа
Смена характера запроса	В топе поменялся тип страниц	Пересобрать страницу под новый тип ответа
Накопление поведенческих данных	Медленный дрейф в одну сторону	Смотреть отказы и возвраты в выдачу
Персонализация и регион	Позиция разная у вас и у клиента	Проверять по показам, а не глазами из браузера
Технический сбой	Резкое падение по всему сайту сразу	Проверить доступность, ответы сервера, индексацию

Практический вывод простой. Позиция конкретного дня — это шум, а не показатель. Работать надо с показами и кликами за две-четыре недели: они показывают спрос и видимость по всей группе запросов, а не результат одного замера в одном регионе. Единственный тип колебаний, который требует реакции в тот же день, — резкое падение по всему сайту, потому что это почти всегда техника, а не модель.

Как проверять гипотезы, когда точных правил нет

Отсутствие формулы не отменяет проверяемости. Оно отменяет только один способ проверки — изолированный опыт на одной странице. Раз результат зависит от сочетания признаков и от конкурентной среды, одиночное наблюдение не отличает эффект правки от обычного дрейфа.

Рабочая замена — проверка на выборке. Порядок такой:

• Соберите группу однотипных страниц: одинаковый шаблон, сопоставимый спрос, схожая текущая видимость.
• Разделите её на две части: тестовую и контрольную. Контрольную не трогаете вообще.
• Внесите одно изменение на тестовой части — одно, а не пять.
• Дайте время на переобход и накопление статистики: обычно это от трёх-четырёх недель.
• Сравните динамику показов по группам, а не абсолютные позиции. Если обе группы просели одинаково — это модель, если разошлись — это ваша правка.

Если нужна помощь по теме — мой курс по SEO.

Такой подход требует терпения и достаточного числа страниц, зато даёт ответ, применимый именно к вашему сайту и вашей нише. Чужие исследования отвечают на вопрос «что бывает в среднем по выдаче», а вам нужен ответ на вопрос «что работает у меня». Это разные вопросы, и второй важнее.

Тему разбирал отдельно: «Минусинск — алгоритм Яндекса».

На что тратить силы вместо угадывания алгоритма

Если формулу нельзя просчитать, остаётся работать по её источнику — по тому, что оценивают люди. Ниже направления в том порядке, в котором я их разбираю на проектах, и способ убедиться, что работа сделана, а не имитирована.

Направление	Что даёт	Чем проверить
Техническая доступность	Страница вообще участвует в ранжировании	Индексация и ответы сервера в Вебмастере
Структура под спрос	Под каждую устойчивую группу запросов своя страница	Вордстат, Rush Analytics, отчёт по запросам
Полнота страницы	Человек не уходит дообъяснять запрос в поиск	Сравнение с топ-5, доля возвратов в выдачу
Признаки доверия	Страница проходит проверку на достоверность	Реквизиты, авторство, контакты, подтверждения
Скорость и мобильная версия	Убирает штраф за неудобство	Замеры на реальных страницах, не только на главной
Ссылочное окружение	Подтверждает то, что уже есть на сайте	Мегаиндекс, разбор доноров вручную

Порядок в таблице не случайный. Вложения в нижние строки не работают, пока не закрыты верхние: ссылки на страницу, которая не отвечает на запрос, дают в лучшем случае ноль. Обученная модель оценивает страницу целиком, и провал по одному направлению тянет вниз общую оценку, каким бы сильным ни было остальное. Именно поэтому «сделаем упор на ссылки» или «зальём тексты» перестало работать как стратегия.

Ошибки, оставшиеся от эпохи ручной формулы

Часть привычек пережила формулу, которая их породила, и до сих пор съедает бюджеты. Разберу самые дорогие.

• Погоня за плотностью вхождений. Наследие времён, когда текст оценивался по частоте слов. Сегодня переспам скорее вредит: он ухудшает читаемость, а читаемость входит в критерии оценки.
• Копирование топа один в один. Логика «у лидера так, значит так надо» игнорирует то, что вы видите следствие, а не причину. Копия не даёт того, чего в выдаче ещё нет, — а именно за это страница и получает место.
• Реакция на каждое движение позиций. Правка сайта в ответ на дневной шум делает историю изменений нечитаемой: через месяц вы не сможете сказать, что именно повлияло.
• Вера в универсальный чеклист. Раз формула разная для разных типов запросов, единый список требований ко всем страницам сайта заведомо неточен. Каталог и статья решают разные задачи.
• Ожидание мгновенного эффекта. Модель переобучается на накопленных данных, поведенческие сигналы копятся неделями. Оценка результата раньше месяца — это оценка шума.

Общий знаменатель у всех пяти один: попытка обращаться с обученной моделью как с набором правил. Пока сохраняется эта установка, любая новость про алгоритмы будет читаться как инструкция, а любое колебание — как сигнал.

Частые вопросы

Можно ли где-то узнать веса факторов? Нет. Не потому, что их прячут, а потому, что в обученной модели нет списка коэффициентов, который можно было бы опубликовать. Вклад признака зависит от значений остальных признаков и от класса запроса.

Матрикснет ещё используется? Технологии развивались: у Яндекса появился открытый градиентный бустинг CatBoost, затем нейросетевые модели, которые работают со смыслом запроса, а не только с формальными признаками. Принцип при этом не изменился — ранжирование строится на обучении, а не на написанной руками формуле, и все выводы этой статьи остаются в силе.

Значит, SEO бессмысленно? Бессмысленно угадывание формулы. Работа по критериям, на которых модель обучалась, наоборот, стала предсказуемее: раньше очередное обновление обесценивало найденные приёмы, теперь вложения в соответствие запросу, технику и доверие переносятся из обновления в обновление.

Почему у конкурента страница хуже, а стоит выше? Чаще всего потому, что «хуже» вы оцениваете по одному-двум видимым признакам — объёму текста или дизайну. Модель учитывает совокупность, включая историю домена, поведение людей и соответствие типу запроса. Полезнее не спорить с выдачей, а разобрать, какую потребность закрывает эта страница и чего не хватает вашей.

Есть ли смысл в новостях об апдейтах? Как в наблюдении за погодой — понять, что происходит, полезно, планировать по ним работу нельзя. Ни одно описание апдейта снаружи не даёт инструкции к действию, потому что описывает следствия, а не причины.

Коротко

• Матрикснет заменил написанную руками формулу моделью, обученной на оценках живых людей, — с 2009 года порядок выдачи задают не правила, а результат обучения.
• Признаки учитываются в сочетаниях, а не складываются, поэтому у фактора нет постоянного веса и «настроек под алгоритм» не существует.
• Формула разная для разных классов запросов и регионов: универсальный чеклист по всему сайту заведомо неточен.
• Ежедневные колебания позиций — следствие постоянного переобучения и действий конкурентов; реагировать стоит на тренд за две-четыре недели по показам.
• Единственный публичный ориентир — критерии оценки качества: соответствие запросу, полнота, достоверность, удобство, актуальность.
• Гипотезы проверяются на группе страниц с контрольной выборкой, а не одиночным опытом на одной странице.

Если по вашему сайту непонятно, где именно проседает оценка — в технике, в структуре под спрос или в доверии к страницам, — приходите на SEO-консультацию: посмотрю сайт и статистику Вебмастера вместе с вами и назову те направления, где сейчас теряется больше всего.