llms.txt: файл, который решает, увидит вас ChatGPT или нет

Файл llms.txt обсуждают так, будто от него зависит, увидит вас ChatGPT или нет. Одни называют его «robots.txt эпохи нейросетей», другие — маркетинговым пузырём, который придумали, чтобы продавать услугу «оптимизация под ИИ». За двадцать лет в поиске я видел несколько таких волн — от мета-тега keywords до AMP-страниц, — и почти всегда правда оказывалась посередине. Ниже — что этот файл делает на самом деле, кто его читает, где он даёт эффект, и стоит ли тратить на него вечер прямо сейчас.

Откуда взялся llms.txt и какую задачу он решает

Идею предложил Джереми Ховард, сооснователь Answer.AI и fast.ai, — человек из машинного обучения, а не из SEO-индустрии. Логика была инженерная. Большая языковая модель работает с ограниченным окном контекста. Обычная HTML-страница на восемьдесят процентов состоит из навигации, скриптов, баннеров, форм подписки, футера с сорока ссылками и куки-баннера. Когда модель пытается понять, о чём сайт, она тратит токены на разбор этой каши.

llms.txt — простой текстовый файл в формате Markdown, который лежит в корне сайта по адресу вида вашсайт.ru/llms.txt. В нём вы сами собираете аккуратную карту самого важного: не все страницы подряд, а ключевые, с короткими пояснениями, что за каждой находится. Это не запрет и не полный каталог, а кураторская подборка «вот здесь суть».

Файл	Кому адресован	Что сообщает	Статус
robots.txt	Поисковым и другим роботам	Куда ходить не надо	Общепринятый стандарт, соблюдается
sitemap.xml	Поисковым роботам	Полный список адресов и даты изменений	Общепринятый стандарт, соблюдается
llms.txt	Языковым моделям и ИИ-агентам	Где лежит главное и о чём оно	Предложение, официально не принято никем

Ключевое слово в последней строке — «предложение». Ни OpenAI, ни Google, ни Anthropic, ни Яндекс официально не объявляли, что их системы обязательно читают этот файл. Это важно держать в голове, когда вам продают «настройку llms.txt для попадания в ChatGPT».

Как устроен файл: структура и живой пример

Формат намеренно минималистичный, чтобы файл читался и человеком, и машиной. Основа — обычный Markdown. Начинается с заголовка первого уровня: название сайта или проекта. Дальше короткий абзац-описание в виде цитаты — одно-два предложения о том, чем вы занимаетесь. После этого тематические разделы со списками ссылок, и у каждой ссылки короткое пояснение.

Выглядит это примерно так:

• Первая строка: # Название проекта — как вас зовут и чем вы занимаетесь.
• Вторая: > Независимый специалист по поисковому продвижению, опыт с 2005 года — суть в одном предложении.
• Затем ## Услуги и под ним список: адрес страницы и через тире пояснение из пяти-восьми слов.
• Затем ## Полезные материалы — три-пять статей, которые действительно отвечают на частые вопросы.
• В конце ## Дополнительно — контакты, страница об авторе, условия работы.

Отдельно про длину пояснений. Соблазн написать «лучшие услуги по выгодным ценам» велик, но такая строка не несёт информации. Сравните две записи: «SEO-продвижение — качественно и недорого» и «SEO-продвижение сайтов услуг: сбор семантики, техническая часть, контент, сроки от четырёх месяцев». Вторая говорит машине, о чём страница, первая — ни о чём. Тот же принцип работает и в обычных сниппетах: конкретика вытесняет прилагательные.

Есть расширенный вариант — llms-full.txt, куда кладут не ссылки, а полный текст ключевых страниц в Markdown. Он тяжелее и обновлять его сложнее, но модели, которые файл всё-таки читают, получают из него содержание сразу, без дополнительного обхода. Для сайта на десять-двадцать значимых страниц это реально; для интернет-магазина с тремя тысячами карточек — нет.

Читают ли его нейросети на самом деле

Здесь надо разделить три разных ситуации, которые обычно смешивают в одну.

Обучение модели. Данные для обучения собираются массовым обходом веба, и никакого приоритета вашему llms.txt там не даётся. На то, попадёт ли ваш сайт в обучающую выборку следующей версии модели, файл не влияет никак.

Поиск в реальном времени. Когда ChatGPT, Perplexity или нейропоиск Яндекса отвечают на вопрос со свежими данными, они обращаются к поисковому индексу и подгружают страницы. Приоритет отдаётся тому, что уже хорошо ранжируется в обычном поиске. Отдельного шага «сначала проверим llms.txt» в публично описанных схемах нет.

Если нужны детали, смотрите «Сжатие страниц gzip и brotli: минус 70 % веса, который вы теряете бесплатно».

ИИ-агент, которому дали адрес сайта. Вот здесь llms.txt срабатывает чаще всего. Когда модели или агенту говорят «изучи сайт вашсайт.ru», он делает несколько обращений к домену и может подобрать корневой файл. Это уже не гипотеза: разработчики документации, которые выложили llms.txt, замечают обращения к нему в логах сервера.

Проверить лично проще всего именно по логам. Откройте лог доступа за месяц и поищите обращения к /llms.txt. Если файл есть и его действительно кто-то запрашивает — вы увидите строки с User-Agent вида GPTBot, ClaudeBot, PerplexityBot, OAI-SearchBot. Если обращений ноль, значит, для вашего сайта эффекта пока нет, и это тоже честный ответ.

Где llms.txt действительно работает

По совокупности наблюдений вырисовывается понятная картина: файл даёт эффект там, где содержание сайта структурировано и ценно само по себе.

1. Техническая документация и справки. Разработчики спрашивают у модели, как использовать библиотеку, — и модель идёт к документации. Здесь llms.txt приносит наибольшую пользу, потому что документация огромная, а нужен конкретный раздел.
2. Сервисы с API. Когда агенту нужно понять параметры вашего API, карта с прямыми ссылками экономит ему пять лишних обходов.
3. Сайты экспертов и консультантов. Небольшой сайт с чёткой специализацией: файл помогает модели быстро понять, кто вы, в чём специализируетесь и что можете.
4. B2B-компании с узким предложением. Когда содержание сайта — это описание услуг и условий, а не тысяча карточек товаров.

Где толку почти нет: интернет-магазины с большим каталогом (карточки меняются быстрее, чем вы обновите файл), новостные сайты, сайты-визитки из трёх страниц (там и без файла всё понятно), агрегаторы с пользовательским контентом.

Как составить файл для своего сайта за вечер

Порядок действий, который я использую сам.

1. Выпишите пять-семь страниц, которые действительно отвечают на вопросы вашей аудитории. Не «все услуги», а те, ради которых к вам приходят.
2. К каждой напишите пояснение из шести-десяти слов: что человек там найдёт. Не рекламный слоган, а описание содержания.
3. Сформулируйте одно предложение о себе так, чтобы из него было ясно: специализация, регион, опыт. Это самая важная строка файла.
4. Соберите структуру в Markdown, сохраните в кодировке UTF-8 и положите в корень сайта.
5. Проверьте, что файл открывается по прямому адресу и отдаёт код 200 с типом text/plain или text/markdown, а не скачивается как вложение.
6. Через месяц загляните в логи сервера и посмотрите, обращался ли к нему кто-нибудь.

Типичные ошибки при составлении: свалить в файл всю карту сайта (теряется смысл кураторства), написать пояснения рекламным языком (модель извлекает из них факты, а не эмоции), указать относительные адреса вместо полных, забыть про кодировку и получить кракозябры в кириллице, положить файл в подпапку вместо корня.

Чего llms.txt не делает

Вокруг файла накопился набор ожиданий, которые он не оправдывает, и лучше знать о них заранее.

• Он не заставляет модель вас процитировать. Попадание в ответ определяется тем, насколько ваша страница релевантна вопросу и насколько источник заслуживает доверия.
• Он не влияет на позиции в обычном поиске. Ни Яндекс, ни Google не учитывают его при ранжировании.
• Он не защищает от использования вашего контента. Для этого есть robots.txt с директивами для конкретных ботов и настройки на уровне сервера.
• Он не заменяет разметку. Structured data — schema.org, Organization, FAQPage, Article — работает и в поиске, и при извлечении фактов, и это куда более надёжный инструмент.
• Он не компенсирует слабое содержание. Карта, ведущая к пустым страницам, полезной не становится.

Что на самом деле влияет на попадание в ответы нейросетей

Если цель — чтобы вас цитировали в ответах ИИ, то список приоритетов выглядит иначе, и llms.txt в нём далеко не первый.

Позиции в обычном поиске. Большинство систем при ответе на вопрос подтягивают источники из поискового индекса. Нет вас в топ-10 по теме — нет и в ответе.

Извлекаемость фактов. Страница, где ответ на вопрос дан явно и коротко, попадает в цитирование чаще, чем текст, в котором тот же ответ размазан по трём абзацам. Отсюда практический приём: под каждым подзаголовком-вопросом первое предложение должно быть прямым ответом.

Подробнее об этом — в статье «Screaming Frog за 20 минут: технический аудит сайта, который найдёт битые ссылки и дубли».

Упоминания вне сайта. Модель оценивает сущность целиком: карточки в справочниках, профили, публикации на отраслевых площадках, отзывы. Согласованность данных о вас в разных источниках имеет больше веса, чем любой файл в корне.

Техническая доступность. Если контент рисуется скриптом и без выполнения JavaScript страница пустая — многие сборщики просто ничего не получат.

Разметка и авторство. Указанный автор с подтверждаемой квалификацией, дата обновления, разметка организации — всё это упрощает системе задачу решить, можно ли вам верить.

Как проверить, видят ли вас нейросети сейчас

Прежде чем что-то оптимизировать, полезно измерить исходную точку. Иначе через полгода вы не сможете сказать, изменилось что-то или нет.

Шаг первый — список вопросов. Выпишите пятнадцать-двадцать формулировок, с которыми к вам приходит клиент. Не ключевые фразы из Вордстата, а живые вопросы: «сколько стоит натяжной потолок в двухкомнатной квартире», «как выбрать подрядчика на фасадные работы», «чем отличается имплант от коронки». Нейропоиску задают именно такие вопросы, развёрнутые и с уточнениями.

Если нужна помощь по теме — продвижение в нейросетях.

Шаг второй — прогон. Задайте каждый вопрос в нейропоиске Яндекса, в ChatGPT с включённым поиском и в любом другом сервисе, которым пользуется ваша аудитория. Фиксируйте в таблице: упомянули вас или нет, какой источник процитировали вместо вас, есть ли ссылка. Обязательно делайте это в режиме без сохранённой истории — иначе система подстроится под ваши прошлые запросы и покажет картину, которой не видит новый пользователь.

Шаг третий — разбор конкурентов из ответов. Откройте те страницы, которые процитировали вместо вас, и сравните с вашими по трём признакам: есть ли на странице прямой короткий ответ на вопрос, указан ли автор с квалификацией, есть ли конкретные цифры и условия. В девяти случаях из десяти разница будет именно здесь, а не в наличии файла в корне.

Тему разбирал отдельно: «Битые обратные ссылки: как вернуть вес, который уходит в пустоту».

Шаг четвёртый — логи. Параллельно посмотрите, ходят ли к вам сборщики вообще. Если в логах нет ни GPTBot, ни ClaudeBot, ни PerplexityBot, проверьте robots.txt: часто их закрывают «на всякий случай», а потом удивляются отсутствию упоминаний. Проверьте и защиту от ботов на уровне хостинга — она иногда режет их вместе со спамом.

Повторите этот прогон через три месяца. Таблица из двух замеров скажет вам о происходящем больше, чем любые обещания подрядчика.

Стоит ли тратить время: решение по типу сайта

Тип сайта	Делать ли llms.txt	Что важнее сделать сначала
Документация, база знаний	Да, в первую очередь	Структура разделов и точные заголовки
Сайт эксперта, консультанта	Да, это час работы	Страница об авторе и подтверждение квалификации
B2B-услуги, узкая специализация	Да, после базовых вещей	Разметка организации, условия и цены на страницах
Интернет-магазин	Скорее нет	Карточки товаров, характеристики, отзывы
Новостной сайт	Нет	Скорость обновления и авторство материалов
Сайт-визитка	Не обязательно	Хотя бы одна содержательная страница

Обратите внимание на третий столбец таблицы: почти везде «что важнее» относится к содержанию страниц, а не к служебным файлам. Это не случайность. Системы, которые формируют ответ, извлекают из страницы факты — цену, срок, условие, ограничение, характеристику. Если фактов на странице нет, никакая карта не поможет: агент дойдёт до неё и не найдёт что процитировать. Поэтому порядок работ почти всегда один и тот же: сначала сделать страницы, из которых есть что взять, потом облегчить к ним доступ.

Ещё один аргумент в пользу того, чтобы сделать файл несмотря на неопределённость: сама процедура его составления заставляет вас сформулировать, какие пять-семь страниц на сайте действительно ключевые. Владельцы сайтов на этом вопросе спотыкаются регулярно — выясняется, что продвигается двадцать страниц, а объяснить ценность можно у трёх. Это упражнение полезно само по себе, независимо от того, прочитает файл кто-нибудь или нет.

Итого по трудозатратам: собрать файл для небольшого сайта — час, максимум два. Риск нулевой: неверно понятый llms.txt не навредит ни поиску, ни посетителям, потому что для обычного поисковика это просто текстовый файл. Отдача — вероятная, но не гарантированная. При таком соотношении делать имеет смысл, но ставить его выше базовых вещей — точно нет.

Частые вопросы

Обязателен ли llms.txt? Нет. Это предложение, а не стандарт. Ни одна поисковая система и ни один разработчик модели не заявляли, что его отсутствие чем-то грозит.

Не навредит ли он обычному SEO? Не навредит. Поисковые роботы воспринимают его как обычный текстовый файл в корне и в ранжировании не учитывают.

Как часто обновлять? Раз в квартал или при заметных изменениях на сайте: появился новый крупный раздел, изменились услуги, переехали страницы. Устаревший файл с битыми ссылками хуже, чем его отсутствие.

Нужен ли llms-full.txt? Только если у вас до двадцати ключевых страниц и вы готовы поддерживать их полный текст в актуальном состоянии. Иначе он быстро разойдётся с содержанием сайта.

Как понять, что файл читают? По логам сервера: ищите обращения к /llms.txt и смотрите User-Agent. Никакого другого достоверного способа нет — все «проверялки эффективности» из рекламы такой информации не дают.

Можно ли закрыть сайт от ИИ и одновременно сделать llms.txt? Можно, но это противоречие. Если вы запрещаете сборщикам обход в robots.txt, карта для них смысла не имеет.

Коротко

• llms.txt — кураторская карта важного содержания в Markdown, лежащая в корне сайта.
• Официальным стандартом не является: ни одна крупная компания не подтвердила обязательное чтение файла.
• Чаще всего срабатывает, когда агенту прямо дали адрес сайта; проверяется по логам сервера.
• Максимальная польза — у документации, сервисов с API и сайтов узких специалистов.
• На позиции в обычном поиске не влияет и слабое содержание не компенсирует.
• Час работы, нулевой риск, вероятная отдача — делать стоит, но после базовых вещей, а не вместо них.

Если хотите понять, где ваш сайт реально теряет видимость — в обычной выдаче, в нейропоиске или в самой структуре страниц, — приходите на SEO-консультацию. Разберём ваш случай предметно и определим, что даст эффект первым.