
Вы открыли ИИ-роботов в robots.txt, спросили Алису AI или ChatGPT о своей компании, а ссылки на ваш сайт в ответе так и нет. Частая причина сидит на шаг раньше robots.txt: защита от ботов на хостинге, файрвол, лимит запросов или проверка «вы не робот» встречают робота нейросети отказом, и он уходит ни с чем. В файле написано «входите», а на входе стоит охрана, которая этот файл не читает. Ниже — какие роботы читают сайты для нейросетей, какие слои защиты их отсекают, как увидеть это в логах и Вебмастере и как настроить защиту так, чтобы она резала вредных ботов, а нужных пропускала.
В SEO я с 2005 года, и эту ошибку в октябре 2026 года нашёл на собственном сайте. Поэтому начну со своего случая, а потом перейду к проверке и настройке.
Коротко
- robots.txt только просит роботов. Защита хостинга, файрвол и лимит запросов этот файл не читают и решают сами, кого пустить.
- Робота нейросети отсекают защита от DDoS, файрвол, лимит частоты, капча на весь сайт, блокировка зарубежных адресов и дата-центров, плагины против парсинга. Он получает 403, 429, 503 или заглушку.
- Для Яндекса главный робот — YandexBot: ответы с Алисой опираются на страницы, которые он проиндексировал.
- Проверка: журнал сервера по имени робота и коду ответа, «Статистика обхода» в Вебмастере, запрос с именем робота.
- Исключения делают только для подтверждённых роботов: по DNS для Яндекса и по спискам адресов для OpenAI, Anthropic и Perplexity.
- Защиту снимать не нужно: нужных роботов выводят из-под ограничений, а для остальных лимиты остаются.
Если хотите разобрать настройки своего сайта вместе со мной, а не по статье, приходите на SEO-консультацию: посмотрим журналы, отчёты Вебмастера и решим, каких роботов пускать.
Как я сам закрыл сайт от нейросетей, открыв их в robots.txt
3 октября 2026 года я открыл на своём сайте всех ИИ-роботов в robots.txt. На сервере при этом давно работало ограничение частоты запросов с одного адреса: оно защищает сайт от перегруза, когда кто-то начинает выкачивать страницы пачками. Две настройки жили рядом и ничего друг о друге не знали.
19 октября 2026 года я проверил, что на самом деле получают роботы. При частоте около трёх запросов в секунду половина запросов ИИ-роботов получала отказ с кодом 429, то есть «слишком много запросов». robots.txt роботов пускал, а ограничение частоты разворачивало их на пороге. В браузере сайт открывался нормально, и без проверки журналов я бы этого не увидел.
Исправил так: вывел ИИ-роботов и роботов поисковых систем из-под ограничения, а для остальных защиту оставил. Ботов, которые выкачивают сайт без спроса, лимит держит по-прежнему.
Это же ограничение подводило меня и раньше. 4 сентября 2026 года оно отказывало живым посетителям в загрузке стилей: страница запрашивает сразу много файлов, часть запросов упиралась в лимит, и сайт на телефоне открывался голым текстом. Тоже исправил. Вывод из двух случаев один: защиту, настроенную на глаз, проверяют по фактическим ответам сервера, а не по тому, как сайт выглядит в браузере владельца.
Какие роботы читают сайт для нейросетей
Одни роботы собирают страницы для поиска, другие открывают страницу в момент, когда пользователь задал вопрос, третьи собирают тексты для обучения моделей. Названия сверены с официальной документацией компаний.
| Робот (User-Agent) | Чей и зачем приходит | Где сверить, что он настоящий |
|---|---|---|
| YandexBot | Яндекс, основной индексирующий робот: на его индекс опираются поиск и ответы с Алисой | Обратный DNS: имя на yandex.ru, yandex.net или yandex.com, затем прямой DNS к тому же IP |
| YandexRenderResourcesBot | Яндекс, загружает скрипты и стили для отрисовки страницы | Так же, по DNS |
| YandexAdditional | Яндекс, имя для правил в robots.txt: ограничивает показ контента в быстрых ответах и ответах с Алисой | Сам страницы не запрашивает, в журнале его не будет |
| OAI-SearchBot, ChatGPT-User, GPTBot | OpenAI: поиск в ChatGPT, открытие страницы по вопросу пользователя, сбор для обучения | Списки openai.com/searchbot.json, chatgpt-user.json, gptbot.json |
| Claude-SearchBot, Claude-User, ClaudeBot | Anthropic: поиск, запросы пользователей Claude, сбор для обучения | Список claude.com/crawling/bots.json |
| PerplexityBot, Perplexity-User | Perplexity: поиск со ссылками на сайты, открытие страницы по вопросу пользователя | Списки perplexity.ai/perplexitybot.json и perplexity-user.json |
Отдельного робота, который скачивал бы сайты специально для Алисы, в справке Яндекса нет. Правило YandexAdditional применяется к страницам, которые уже проиндексировал основной робот. Значит, для Яндекса главное, чтобы YandexBot и YandexRenderResourcesBot получали страницы без отказов.
У зарубежных нейросетей на появление сайта в ответе со ссылкой влияют поисковые роботы и роботы по запросу пользователя. Роботов для обучения можно закрыть отдельно, если не хотите отдавать тексты в обучение моделей.
robots.txt — разрешение, а не гарантия доступа
robots.txt — текстовый файл с просьбами к роботам. Но между роботом и страницами стоят программы, которые этот файл не открывают. Они смотрят, с какого адреса и из какой страны пришёл запрос, как часто, что в заголовке User-Agent, выполняет ли клиент JavaScript и хранит ли cookies.
По этим признакам робот нейросети похож на атакующего бота, потому что технически он и есть бот. Он приходит с серверов дата-центра, часто из-за рубежа, запрашивает страницы сериями, не проходит проверку браузера и не решает капчу. Защита видит знакомую картину и отвечает отказом.
По документации OpenAI и Perplexity, роботы, которые открывают страницу по запросу пользователя, правила robots.txt могут не применять. Фактический доступ решает защита сервера. Каких роботов вообще пускать, стоит решить заранее, об этом статья пускать ли ИИ-роботов на сайт.
Что отсекает роботов: семь слоёв защиты
На одном сайте может работать несколько слоёв, и каждый настроен отдельно. Часто владелец знает про один, а отказы идут от другого.
| Слой защиты | Как отсекает робота | Что проверить |
|---|---|---|
| Защита хостинга от DDoS | Промежуточная страница с проверкой браузера, которую робот не проходит | Работает ли проверка постоянно или только при атаке, какой код отдаёт |
| Файрвол (WAF) | Правила по User-Agent, списки «плохих ботов», переключатель «блокировать ИИ-ботов» | Нет ли в правилах GPTBot, ClaudeBot, PerplexityBot |
| Ограничение частоты запросов | После порога запросов с одного адреса отвечает 429 или 503 | Значение порога и исключения |
| Капча на весь сайт | Вместо страницы робот получает форму с задачей | Стоит ли она везде или только на формах |
| Блокировка зарубежных адресов | 403 или обрыв соединения для адресов вне России | Включена ли: зарубежные роботы приходят из-за рубежа |
| Блокировка подсетей дата-центров | Режет адреса облаков, откуда ходят и парсеры, и роботы нейросетей | Какие подсети в чёрном списке и почему |
| Плагин против копирования и парсинга | Пускает только «настоящий браузер» | Режим «только браузеры» и список заблокированных агентов |
Блокировка бывает включена по умолчанию. 1 июля 2025 года Cloudflare объявил, что по умолчанию блокирует ИИ-краулеров на новых доменах. Если сайт подключён к такому сервису, откройте настройку и проверьте её.
Что получает робот и чем это кончается в ответах
- 403 — доступ запрещён: файрвол, геоблокировка или правило по имени робота.
- 429 — слишком много запросов: ограничение частоты. По стандарту ответ может содержать заголовок Retry-After со временем ожидания.
- 503 — сервис временно недоступен: перегрузка или система защиты.
- 200 со страницей-заглушкой — худший вариант. Робот считает, что получил страницу, а в ней «Проверяем ваш браузер».
Поисковый робот после отказа приходит снова, но при регулярных отказах страницы обновляются в индексе медленно или выпадают. Робот по вопросу пользователя работает здесь и сейчас, и нейросеть соберёт ответ из тех источников, которые открылись.
Место в ответе есть, вопрос в том, кому оно достанется. 3–4 ноября 2026 года я задал Алисе AI 834 живых вопроса покупателей из 417 ниш малого бизнеса. Сайты отдельных компаний были в 96% ответов, в среднем 6,4 места из 10,7 источников. Подробности — в исследовании ответов Алисы. Эти места получают сайты, которые робот смог прочитать.
Как проверить по журналам сервера
Журнал доступа записывает каждый запрос, имя клиента и код ответа. На хостинге он лежит в панели управления, в разделе журналов или логов. На своём сервере это файл веб-сервера, обычно access.log.
- Скачайте журнал хотя бы за неделю.
- Найдите строки с YandexBot, OAI-SearchBot, ChatGPT-User, GPTBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User.
- Посчитайте коды ответа по каждому роботу, например:
grep "GPTBot" access.log | awk '{print $9}' | sort | uniq -c. В стандартном формате журнала код стоит девятым полем. - Нормальные коды — 200, 301, 304. Тревожные — 403, 429, 503. Если у робота в одну минуту есть и 200, и 429, это лимит частоты.
Если строк ИИ-роботов нет совсем, роботы либо не приходили, либо их отсекли до вашего сервера: защита хостинга от DDoS часто стоит перед ним, и отброшенные запросы в журнал сайта не попадают. Тогда журнал защиты нужно просить у хостера. Что ещё видно в журналах, я рассказывал в статье логи сервера в SEO.
Как проверить в Вебмастере и запросом с именем робота
Статистика обхода. В Яндекс Вебмастере откройте «Индексирование» → «Статистика обхода». В таблице видны коды, которые сайт отдавал роботу. Отфильтруйте по коду, найдите 429, 403 и 5xx, нажмите на цифру, чтобы увидеть страницы.
Проверка ответа сервера. В разделе «Инструменты» вставьте адрес страницы и посмотрите код и содержимое. Если там заглушка проверки браузера, робот Яндекса видит её же.
Запрос с именем робота. Программа curl или онлайн-сервис проверки ответа позволяют отправить запрос с заголовком User-Agent, например GPTBot. Ответ 403 значит, что есть правило по имени. Но запрос идёт с вашего адреса, поэтому блокировку по стране, подсети и частоте он не повторит, и ответ 200 ничего не доказывает.
Запрос через нейросеть. Попросите ChatGPT или Perplexity открыть конкретную страницу и пересказать первый абзац. Затем найдите в журнале ChatGPT-User или Perplexity-User в эту минуту и посмотрите код.
Фальшивые роботы: как отличить настоящего
User-Agent — строка текста. Парсеры подписываются как GPTBot или YandexBot потому, что такие имена пускают. Исключение по имени открывает дверь всем, от кого вы защищались.
Роботы Яндекса. По справке: найдите IP-адрес в журнале, выполните обратный DNS-запрос. Имя хоста должно заканчиваться на yandex.ru, yandex.net или yandex.com. Прямой DNS-запрос по этому имени должен вернуть исходный IP, иначе имя подделано. Есть и инструмент Яндекса «Проверка IP-адреса».
OpenAI, Anthropic, Perplexity. Компании публикуют списки адресов своих роботов в формате JSON, они указаны в таблице выше. Списки обновляются, поэтому исключения надо обновлять по расписанию. Perplexity прямо рекомендует брать для файрвола актуальные диапазоны из своих списков.
Anthropic не советует закрываться от своих роботов блокировкой по IP: она мешает прочитать robots.txt. Запрет пишут в robots.txt, а защиту оставляют для тех, кто его игнорирует. Запрос GPTBot с адреса не из списка OpenAI — подделка, его можно спокойно блокировать.
Как настроить защиту, не закрывая сайт от нейросетей
- Исключения только для подтверждённых — по DNS и спискам адресов. Распространите их на все слои: лимит, капчу, геоблокировку, блокировку дата-центров.
- Лимиты не ниже разумного. Откройте страницу сайта, в инструментах разработчика на вкладке «Сеть» посмотрите, сколько файлов она загружает. Порог должен с запасом покрывать загрузку страницы со стилями и скриптами.
- Капча только там, где атакуют: формы, вход, поиск, корзина.
- Заглушка не отдаёт 200. При перегрузке — 503 с Retry-After, при лимите — 429, при запрете — 403.
- Геоблокировка с исключениями по спискам роботов, либо осознанный отказ от зарубежных нейросетей.
- Плагины: отключите режим «только браузеры» и переключатель «блокировать ИИ-ботов».
- Обучение и поиск раздельно: роботов для обучения можно закрыть в robots.txt, поисковых оставить.
- Нагрузку от Яндекса снижают в Вебмастере: «Индексирование» → «Скорость обхода», а не жёстким лимитом.
Через неделю после правок снова посчитайте коды в журнале. Как отличать вредных ботов от полезных, я писал в статье про защиту сайта от ботов.
Если доступа к настройкам хостинга нет
На хостинге и конструкторах защитой управляет площадка. Задайте поддержке вопросы письменно и сохраните ответ.
- Какая защита от DDoS и ботов включена и в каком режиме: постоянно или при атаке?
- Есть ли лимит запросов с одного адреса, какой и что получает тот, кто его превысил?
- Блокируются ли зарубежные адреса и подсети дата-центров?
- Есть ли блокировка по именам GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot?
- Можно ли сделать исключения для роботов по их официальным спискам адресов?
- Какой код отдаёт страница проверки браузера?
- Можно ли получить журнал доступа и журнал защиты за неделю?
Если исключений сделать нельзя, просите включать строгий режим только во время атаки.
Доступ для роботов — первый шаг GEO
Видимость в ответах нейросетей строится на ответах на вопросы покупателя, единых сведениях о компании и проверяемых фактах. Всё это не сработает, если робот получает 429 вместо страницы. Поэтому в GEO-продвижении сайта техническую доступность я проверяю первой. Гарантировать место в ответах не может никто, но закрытый сайт его точно не получит.
Чек-лист
- robots.txt открывает нужных роботов.
- В журнале у них коды 200, 301, 304, а не 403, 429, 503.
- В «Статистике обхода» нет всплесков 429 и 5xx.
- «Проверка ответа сервера» показывает текст страницы, а не заглушку.
- Исключения сделаны по DNS и спискам адресов, а не по имени.
- Лимит не режет стили и скрипты у живых посетителей.
- Капча стоит только на формах, входе и поиске.
- Хостер письменно ответил, какая защита включена.
Что я предлагаю
Я занимаюсь SEO-продвижением сайтов и GEO-продвижением напрямую, без агентств, только белыми методами. Смотрю на сайт глазами покупателя и глазами робота: что видит человек, что получает YandexBot и что достаётся роботу нейросети.
Посмотреть, с какими сайтами я работал, можно в 130+ кейсах с адресами сайтов и в видео-портфолио. Если хотите сначала понять, что мешает вашему сайту, начните с бесплатного экспресс-аудита сайта.
А вы смотрели, какие коды ответа получают роботы нейросетей на вашем сайте?
Источники
- Наблюдения автора по работе с сайтами, с 2005 года; проверка ограничения частоты запросов на собственном сайте 4 сентября и 19 октября 2026 года.
- Исследование автора: 834 вопроса Алисе AI из 417 ниш, 3–4 ноября 2026 года.
- Яндекс Справка, Вебмастер: роботы Яндекса в логах сервера и проверка подлинности робота.
- Яндекс Справка, Вебмастер: статистика обхода и скорость обхода сайта.
- OpenAI: роботы OpenAI и списки их адресов.
- Anthropic: роботы Anthropic, robots.txt и список адресов.
- Perplexity: роботы Perplexity и списки адресов.
- RFC 6585: код 429 Too Many Requests и заголовок Retry-After.
- Cloudflare, пресс-релиз от 1 июля 2025 года: блокировка ИИ-краулеров по умолчанию.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе.
Связаться со мной →
Комментарии
Работаю системным администратором и не соглашусь. Ботов надо резать всех, кто не браузер. Каждый лишний робот грузит сервер, а пользы от него владельцу ноль. Открываешь одному, и через месяц под его именем приходит сотня парсеров.
Резать всех, кто не браузер, значит резать и YandexBot, а с ним поиск и ответы Алисы. Про парсеров под чужим именем вы правы, поэтому исключение по имени в статье и названо ошибкой. Исключение делается по проверке: для Яндекса обратный и прямой DNS, для OpenAI, Anthropic и Perplexity их списки адресов. Всё, что не прошло проверку, остаётся под лимитами, как и было. Нагрузку от поисковиков тоже регулируют штатно, для Яндекса это настройка скорости обхода в Вебмастере.
У меня интернет-магазин посуды. Весной хостинг сам включил защиту от DDoS, и теперь при первом заходе на пару секунд появляется экран «проверяем ваш браузер». Покупатели вроде не жалуются. Получается, роботы этот экран не проходят?
Большинство роботов JavaScript-проверку не проходят, так что риск реальный. Начните с Вебмастера: «Индексирование», затем «Статистика обхода», и посмотрите, какие коды получал YandexBot после включения защиты. Потом откройте «Проверку ответа сервера» и проверьте, что видит робот на главной и в карточке товара. Хостеру напишите вопрос, работает ли проверка постоянно или только во время атаки и можно ли сделать исключения для роботов по спискам адресов. Если исключений нет, просите включать строгий режим только при атаке.
Делаю сайты на Битриксе. В проактивной защите есть контроль активности, который ограничивает частоту запросов, и его часто включают с порогом по умолчанию, не глядя. После этой статьи пошёл проверять журналы на своих проектах. На одном нашёл 429 у ClaudeBot, хотя robots.txt там открыт для всех.
У меня онлайн-школа, и капчу на весь сайт я поставила из-за спама в формах заявок: боты сыпали по сотне заявок в день. Снимать её страшно. Неужели нельзя оставить капчу и при этом быть в нейросетях?
Я маркетолог, проверял сайт клиента так, как в статье: попросил ChatGPT открыть страницу услуги и пересказать. Он ответил, что страница недоступна. В журнале в ту минуту был ChatGPT-User с кодом 403. Оказалось, у хостинга включена блокировка всех зарубежных адресов, и о ней никто не помнил.
Сайт у меня на конструкторе, к серверу доступа нет вообще, журналов тоже. Что мне в такой ситуации проверять, если половина советов про логи?
Вебмастер работает для любого сайта, в том числе на конструкторе. Посмотрите «Статистику обхода» и «Проверку ответа сервера»: так вы увидите, что получает робот Яндекса. Для зарубежных нейросетей попросите ChatGPT или Perplexity открыть конкретную страницу и пересказать её. Вопросы из раздела про хостинг отправьте в поддержку конструктора письменно, особенно про блокировку по именам роботов и зарубежных адресов. Если площадка не даёт ни журналов, ни исключений, это повод сравнить её с другими.
Фёдор, понимаю вашу позицию, сам годами так делал. Но проверка по спискам адресов настраивается один раз, а списки подтягиваются по расписанию. Нагрузка от подтверждённых роботов у меня оказалась заметно меньше, чем от поддельных под их именами.
Стоял плагин против копирования текста. Как выяснилось, он заодно отдавал пустую страницу всем, у кого в заголовке нет признаков обычного браузера. Робот Яндекса проходил, потому что был в исключениях плагина, а роботы нейросетей нет.
Про фальшивых роботов подтверждаю. Прогнал обратный DNS по адресам с подписью YandexBot за неделю, и часть из них на имена Яндекса не разрешилась вообще. Эти адреса спокойно отправил в блок.
Юлия, у меня была та же история со спамом. Перенесла капчу только на форму заявки, а на остальных страницах убрала. Спам остался под контролем, страницы открываются без проверки.
Веду новостной сайт, тексты регулярно утаскивают парсеры, поэтому защита у меня злая. А если ИИ потом перескажет мой текст без ссылки? Тогда зачем мне вообще его пускать?
Риск пересказа без ссылки есть, и гарантировать ссылку не может никто. Но роботы делятся по задачам: GPTBot и ClaudeBot собирают тексты для обучения, а OAI-SearchBot и PerplexityBot нужны для поиска, где ответ показывает источники. Обучающих роботов можно закрыть в robots.txt, а поисковых оставить, и это честный компромисс для новостного сайта. Парсеры, которые воруют тексты, robots.txt не читают, против них и работают лимиты и блокировки неподтверждённых адресов. Так защита остаётся злой для воров и не трогает тех, кто может привести читателя.
У нас медицинская клиника. Боимся, что нейросеть начнёт советовать лечение по нашим страницам, поэтому хотели закрыть всё. С другой стороны, пациенты уже спрашивают Алису, куда пойти. Как тут быть?
Если закрыть всё, Алиса всё равно ответит пациенту, только по сайтам других клиник и по площадкам с отзывами. Для Яндекса закрытие YandexBot выключит и обычный поиск, так что этот вариант клинике точно не подходит. Разумнее открыть поисковых роботов и следить, чтобы страницы врачей, услуг и адресов отдавали им нормальный ответ. Капчу оставьте на форме записи, а не на всём сайте. Роботов для обучения моделей можно закрыть отдельно, это решение остаётся за руководством клиники.