
Боты притворяются ChatGPT, и самое опасное решение перед распродажей — открыть им весь сайт, потому что «нейросети должны видеть товары». Название известного сервиса в запросе ещё не подтверждает, кто пришёл. Если защита пропускает любого, кто представился ИИ-краулером, название превращается в пропуск к каталогу, поиску и другим дорогим для сервера страницам. Покупатель в это время видит долгую загрузку, ошибку оплаты или недоступный магазин.
Повод проверить такие исключения есть. В сообщении Retail.ru от 13 ноября 2026 года об исследовании StormWall говорится о росте числа атак на ритейл за 1–11 ноября в 2,5 раза год к году. В 34% наблюдавшихся компанией атак участвовали боты, маскировавшиеся под ИИ-трафик. Это показатели конкретного исследования, а не доля всех посетителей магазинов. В публикации не названы подделываемые идентификаторы и не доказано участие настоящих сервисов OpenAI. ChatGPT здесь — понятный пример чужого имени, которым может прикрыться программа.
Я предлагаю проверить три вещи по отдельности: подтверждён ли оператор запроса, что именно ему разрешено делать и выдерживает ли сайт такую нагрузку. Даже положительный ответ на первый вопрос не заменяет два остальных. Ниже — порядок проверки для владельца бизнеса, который хочет сохранить доступность сайта и не закрыть полезный обход вместе с нарушителем.
Почему имя ChatGPT не удостоверяет посетителя
Когда программа обращается к странице, она передаёт сведения о себе в заголовках запроса. Одна из таких строк называется User-Agent. По ней удобно группировать обращения, но сама по себе она не является доказательством принадлежности к компании. Как вывеска на машине доставки не подтверждает полномочия водителя, так и узнаваемое слово в журнале не подтверждает оператора. Отличие в том, что строку у запроса можно менять автоматически.
Практический риск появляется в правилах защиты. Допустим, ради видимости в нейросетях кто-то сделал исключение: если в имени есть GPT, пропускать запрос без дальнейших проверок. Такое правило проверяет написанное посетителем, а не его принадлежность. Избирательная настройка превращается в общее отверстие, которым может воспользоваться совсем другая программа.
Из этого не следует, что каждое обращение с таким именем вредоносно. Ошибка в обе стороны обходится дорого: можно пропустить лишнюю нагрузку, а можно заблокировать нормальный доступ. Первый вопрос к администратору звучит так: «Что кроме названия подтверждает, что исключение предоставлено нужному оператору?» Ответ «там написано ChatGPT» недостаточен.
Три решения, которые нельзя объединять одной галочкой
Кто обращается. Проверка источника связывает запрос с оператором настолько надёжно, насколько позволяет его опубликованный способ подтверждения. Это задача идентификации. В результате появляется понятная категория: подтверждённый сервис, обычный посетитель или пока неизвестный источник. Последняя категория сама по себе не означает нападение.
Куда ему можно. Публичная статья и операция в личном кабинете требуют разного обращения. Подтверждённому краулеру может быть полезен доступ к описаниям товаров, но это не причина отключать ограничения на вход, оформление заказа и изменение данных. Права задаются по назначению действия, а не по известности имени.
Какую нагрузку допустимо принять. Даже честная программа способна обращаться чаще, чем выдерживает конкретный магазин. Разрешение на чтение не обещает неограниченную производительность. Для бизнеса важен итог: каталог отвечает, покупатель проходит заказ, служебные очереди не растут бесконтрольно. Все три решения должны оставаться раздельными и после настройки исключений.
У GEO-продвижения сайта нет требования снять защиту со всего приложения. Содержимое должно быть доступно для нужной задачи, а критичные действия должны сохранять свои проверки. Обещание «разрешите всё, иначе вас не порекомендуют» не даёт проверяемого обоснования.
Что попросить показать в журналах сервера
Начните с конкретного времени, когда магазин замедлился или выросло число ошибок. Нужен одинаковый промежуток в журнале запросов и в показателях сервера. Если сравнивать утренние обращения с вечерней нагрузкой, связь получится случайной. В записи важны момент обращения, фактический источник, путь страницы, метод запроса, ответ сервера и длительность обработки, если она записывается.
Затем сгруппируйте повторяющиеся пути. Одна группа читает карточки и уходит, другая без конца запрашивает поиск с разными сочетаниями параметров, третья попадает на вход. Это разные ситуации, даже если название программы у них одинаковое. Нельзя принимать решение только по общему количеству строк или по самой заметной марке в отчёте.
Полезный вопрос: «Какие обращения создают работу, которую не видно по числу посетителей?» Одна тяжёлая операция может занимать больше ресурсов, чем несколько простых чтений. С другой стороны, большой объём выдачи картинок не обязательно нагружает базу так же, как фильтры каталога. До ограничения трафика нужно понять, какой ресурс заканчивается и какие запросы с этим совпадают.
Владельцу не требуется забирать полный архив с персональными сведениями. Достаточно обезличенной выборки, названий групп и объяснения, какие факты привели к решению. Исходные журналы передавайте только тем, кому они нужны для работы: в них могут оказаться адреса, параметры и другие данные посетителей.
Как отличать подтверждение источника от догадки
У OpenAI разделены OAI-SearchBot для поиска, GPTBot для сбора материалов, которые могут использоваться при обучении, и ChatGPT-User для действий пользователя. Для них опубликованы отдельные списки сетей. Проверяют актуальный список именно заявленного агента; разрешать весь облачный провайдер по одному совпавшему адресу не нужно. Политики независимы, а разрешение обхода не гарантирует появление в ответах.
Для роботов Яндекса документация описывает другую проверку: обратный DNS, проверка принадлежности имени и прямой DNS с совпадением исходного адреса. Переносить её на любого неизвестного бота без указаний его оператора нельзя. В документации Cloudflare также различаются заявленное имя и проверяемая идентичность: используются опубликованные сети, обратный DNS либо подпись. Это описание принципа, а не рекомендация менять защиту на конкретный сервис.
| Что известно | Чего это не доказывает | Следующий шаг |
|---|---|---|
| В имени запроса есть ChatGPT | Принадлежность OpenAI | Проверить источник по официальным сведениям |
| Источник подтверждён оператором | Право выполнять любые действия | Оставить разрешения только для нужных маршрутов |
| Адрес не найден в проверяемом списке | Наличие DDoS-атаки | Сохранить обычные ограничения и изучить поведение |
| Сервер вернул код 200 | Что получены товар и текст, а не заглушка | Посмотреть содержимое ответа |
| Запросов стало больше | Что обращения создаёт нарушитель | Сопоставить маршруты, задержки и ошибки |
| Полезный робот получил страницу | Индексацию и рост продаж | Отдельно проверять поисковые результаты и обращения |
Попросите назвать источник подтверждения, дату обновления и действие на случай, если проверка временно недоступна. Неудачное обновление списка не должно незаметно превращать правило в «разрешить всем». При этом нельзя считать каждую такую неудачу основанием закрыть магазин обычным покупателям. Нужен заранее описанный вариант работы с неопределённостью.
Прокси может показать не тот адрес, который вы проверяете
Если перед сайтом стоит промежуточный сервер, сам магазин нередко видит адрес этого посредника. Администратор должен понимать, на каком участке устанавливается источник и откуда приложение получает эти сведения. Иначе проверка официального списка проводится не для посетителя, а для собственного защитного узла — и не отвечает на поставленный вопрос.
Обратная ошибка — поверить любому заголовку, где посетитель указал якобы первоначальный адрес. Информация вроде X-Forwarded-For имеет смысл только в настроенной цепочке доверенных узлов. Если такой заголовок принимается от любого клиента, защитное решение опирается на чужое заявление. Одну непроверенную строку тогда просто заменили другой.
В задании администратору достаточно зафиксировать результат: определить доверенные посредники, проверить получение адреса и показать, где правило использует именно этот источник. Копировать универсальный фрагмент конфигурации из статьи опасно: у двух магазинов различаются схема проксирования, хостинг и уже действующие ограничения. Здесь требуется проверка конкретного пути запроса.
Сохраните исходные настройки до изменения. Если после правки все посетители внезапно стали выглядеть как один адрес, ограничения могут начать срабатывать на обычных покупателях. Такой результат нужно обнаружить при проверке и вернуть рабочую конфигурацию, а не ждать жалоб из переписки.
Не выдавайте исключение сразу на весь магазин
Посмотрите, что именно обходится после признания запроса доверенным. Иногда одно исключение отменяет сразу проверку частоты, правила против подозрительных параметров и ограничения входа. Удобно в панели, но слишком широко по последствиям. Для доступа к тексту карточки не требуется автоматически освобождать от всех проверок действия в корзине.
Практичнее составить короткий перечень разрешённых задач. Например, чтение публичного описания должно работать без авторизации; действие с учётной записью требует обычных прав; отправка формы сохраняет ограничения от массового мусора. Это пример разделения, а не готовое правило для любого сайта. Окончательный набор зависит от функций магазина.
Не начинайте с произвольного числа запросов в секунду. У маленького каталога и магазина с тяжёлыми фильтрами разная стоимость обработки. Настройка должна опираться на обычный поток, запас ресурсов и допустимую задержку для покупателя. Проверьте также суммарную нагрузку: ограничение одного адреса не описывает обращения из множества источников.
Если сайт уже недоступен из-за перегрузки сетевого канала, изменения в плагине не освобождают этот канал. Такой случай требует действий на уровне хостинга и инфраструктуры выше приложения. Общий порядок распознавания и первых действий я вынес в отдельный материал про DDoS-атаку на сайт малого бизнеса. Здесь задача уже: не оставить обход защитных правил через чужое имя.
Файл robots.txt не заменяет проверку на входе
Правила в robots.txt сообщают роботам предпочтения владельца по обходу. Они не ставят сетевой барьер перед сервером. Программа, которая намеренно перегружает сайт, может не выполнять эти указания. Поэтому добавление запрета не является способом остановить нарушителя, уже расходующего ресурсы.
При этом не стоит удалять все ограничения ради обещанной видимости в ИИ. Вопрос обхода и вопрос защиты решаются разными средствами. Для пользовательских действий ChatGPT-User правила robots.txt могут не применяться: это отдельно описано оператором. Именно поэтому нельзя строить всю защиту на предположении, что любая программа сначала прочтёт файл и обязательно послушается.
Проверяйте действие конкретной строки на нужных адресах. Публичная карточка, внутренний поиск, служебный раздел и загруженный файл могут попадать под разные настройки. Для самой проверки есть отдельная инструкция как проверить robots.txt на сайте. Не смешивайте изменение политики обхода с аварийным отключением нагрузки.
Что проверить до запуска рекламы и распродажи
Соберите существующие исключения в одном месте: название правила, его назначение, область действия и способ подтверждения источника. Найдите особенно широкие условия — разрешение по части имени, по целому провайдеру или сразу для всех путей. Задача сейчас не в том, чтобы удалить всё подозрительное, а в том, чтобы сделать каждое разрешение объяснимым.
Выберите небольшой набор контрольных страниц: главная, категория, товар, сведения о доставке и контакты. Затем отдельно выпишите действия: поиск, добавление товара, вход и оформление. У чтения и изменения данных разные последствия, поэтому проверять их одной отметкой «сайт работает» нельзя. Для заявки на услугу вместо корзины будет свой путь обращения.
Назначьте, кто смотрит результат и кто возвращает прежние настройки. Особенно неудобно выяснять это после старта рекламы, когда один человек доступ имеет, другой знает причину, а владелец общается с обоими через сообщения. Нужны не многочисленные согласования, а короткая запись: что меняется, по каким признакам проверяется и где лежит рабочий вариант до правки.
Запуск новой защиты одновременно с изменением корзины и включением акции затрудняет разбор ошибок. По возможности разделяйте изменения и оставляйте время пройти контрольный заказ. Не нагружайте рабочий магазин искусственными запросами для проверки устойчивости без отдельного согласованного испытания: так можно самому создать простой перед распродажей.
Как принять работу: покупатель, содержимое и ограничения
Первый проход делайте как обычный посетитель без административного входа. Откройте страницы на компьютере и телефоне, перейдите из объявления или сообщения, проверьте поиск и важные кнопки. Если тестируете оплату, используйте предусмотренный магазином безопасный тестовый сценарий. Не создавайте настоящие списания только ради отчёта о том, что кнопка нажалась.
Второй проход посвящён тому, что сервер действительно отдаёт. Успешный код ответа полезен, но внутри может оказаться сообщение «подождите» вместо описания товара. Сравните заголовок, текст, доступность ссылок и нужных ресурсов. Не делайте из одной проверки заглушки вывод, что весь сайт исключён из поиска; сначала установите, какие ответы получают конкретные посетители.
Третий проход проверяет границы исключения. Попросите администратора подтвердить, что подстановка известного имени сама по себе не даёт привилегий, а подтверждённый источник не отключает ограничения на посторонние действия. Для этого не нужен массовый поток: важно проверить принятие решения, а не положить сервер проверкой.
После публикации правила посмотрите показатели повторно. Сравнивайте сопоставимые интервалы и одинаковые страницы; сезонная посещаемость сама меняется. Результат стоит записать простыми словами: какие маршруты сохранили доступ, что стало с задержками, появились ли ошибки у покупателей. Именно это позволяет отличить полезную настройку от красивой отметки в панели.
Частые вопросы владельцев сайтов
Если адрес отсутствует в официальном списке, его нужно сразу заблокировать? Нет. Сначала он просто не получает специальное доверие по этому основанию. Далее действуют обычные правила сайта и проверка поведения. Сам факт несовпадения ещё не описывает намерения посетителя.
Можно ли разрешить бота только по географии? Страна и принадлежность оператору не одно и то же. Географическое условие может использоваться для отдельной задачи, но не подтверждает имя. Такое разрешение нельзя выдавать за проверку подлинности.
Если поставщик защиты пометил запрос проверенным, нагрузка безопасна? Это не следует автоматически. Сохраните контроль важных действий и ресурсов, посмотрите область исключения. Маркер подтверждения должен помогать решению, а не отменять все остальные условия.
Будет ли сайт после настройки попадать в ответы нейросетей? Доступность чтения лишь снимает одну возможную помеху. Выбор источника и содержание ответа находятся на стороне сервиса. Нельзя обещать рекомендации, позиции и заказы только за открытый доступ.
Кому передать эту задачу, если у магазина нет администратора? Начните с технической поддержки хостинга: попросите объяснить цепочку защиты и доступные журналы. Затем нужен исполнитель, способный проверить действующие правила и путь покупателя. Задача должна включать понятный результат и откат, а не просто «включить защиту от ИИ».
Коротко
- Известное имя в User-Agent не подтверждает оператора запроса.
- Проверку источника, разрешения и допустимую нагрузку нужно рассматривать отдельно.
- Неизвестный адрес и всплеск посещений сами по себе не доказывают DDoS.
- Исключение для чтения публичных страниц не должно снимать защиту важных действий.
- После изменений проверяют содержимое ответа и путь покупателя, а не только код 200.
- Открытый обход не гарантирует индексацию, цитирование или продажи.
Если непонятно, какое исключение действует на вашем сайте и что оно открывает, на консультации по сайту можно сначала определить предмет проверки, а уже затем принимать решение о настройках.
Что я предлагаю
Я занимаюсь SEO-продвижением сайтов для бизнеса и GEO-продвижением напрямую, без агентств, белыми методами. В SEO с 2005 года. В 130+ кейсах с адресами сайтов можно посмотреть разные задачи, а начать знакомство с состоянием своего проекта — с бесплатного экспресс-аудита.
Можете ли вы сейчас объяснить, почему ваш сайт доверяет запросу с именем ChatGPT и где заканчивается это доверие?
Источники
- Наблюдения автора по работе с сайтами, в SEO с 2005 года; практические критерии проверки и приёмки настроек.
- Retail.ru, сообщение об исследовании StormWall, 13 ноября 2026 года. Данные относятся к наблюдениям компании; первичный отчёт отдельно не изучен.
- OpenAI: назначение краулеров и официальные списки адресов.
- Яндекс: проверка принадлежности поискового робота.
- Cloudflare: принципы подтверждения ботов.
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе.
Связаться со мной →
Комментарии и вопросы
Ниже — типовые ситуации и вопросы для обсуждения, а не отзывы о выполненных работах.
Не понимаю одного: если пришёл настоящий робот известного сервиса, зачем ему ещё ограничения? Магазину ведь выгодно, чтобы он прочитал больше товаров. Где тут заканчивается разумная осторожность и начинается препятствие продвижению?
Выгода от чтения не создаёт дополнительную мощность у сервера. Сначала нужно определить, какие публичные страницы действительно нужны для этой задачи. Затем проверить, что их обработка не мешает обычному заказу. Ограничения важных действий при этом сохраняются независимо от того, кто прочитал карточку. Критерий — доступность полезного содержимого при работающем магазине, а не отсутствие любых правил.
В кабинете хостинга есть только общая кнопка «доверенные боты», без объяснения, кто туда входит. Я бы начала с вопроса в поддержку о том, какие именно проверки эта кнопка отключает. Иначе даже сравнить состояние до и после невозможно.
Если официальный список адресов временно не скачался, получается неприятный выбор: либо закрыть полезного робота, либо пропустить любого. Есть ли нормальное промежуточное решение без постоянного дежурства у панели?
Такой случай нужно описать при настройке, до появления ошибки. Можно сохранять ранее проверенные сведения и отдельно контролировать их актуальность, если это предусмотрено выбранным решением. Неопознанный запрос при этом не обязан получать привилегию, но и не объявляется атакой автоматически. Он проходит обычные ограничения сайта. Владелец должен знать, как обнаруживается сбой обновления и кто проверяет его причину.
Меня больше тревожит оформление заказа, чем чтение статей. Если корзина работает отдельным модулем, проверять исключение придётся и там? В отчётах обычно показывают только главную страницу, а до самой покупки никто не доходит.
Не соглашусь, что владельцу достаточно трёх вопросов. В ответ легко получить технические слова, которые он не понимает. Что конкретно должно остаться на руках после такой проверки, чтобы через неделю снова не начинать с нуля?
На руках нужна короткая запись с названием правила, его назначением и перечнем затронутых действий. Рядом — способ подтверждения источника и ссылка на рабочую конфигурацию до изменения. В результате проверки должны быть перечислены просмотренные страницы и пройденные действия покупателя. Если обнаружена заглушка или ошибка, записывают конкретный адрес и время. Непонятные слова без такого результата действительно не помогают владельцу принять работу.
Я бы ещё проверяла заявки с телефона без сохранённого входа. Администратор может видеть сайт нормально благодаря своему исключению, а покупателю всё это время показывается проверка. Из кабинета магазина такой проблемы не заметить.
В примере с поиском по каталогу вижу отдельный риск: можно ограничить автоматические обращения и одновременно испортить подбор товара живому человеку. Значит, после каждого такого правила надо проходить поиск с реальными сочетаниями фильтров, а не только открывать раздел.
А если сайт небольшой и никаких объявлений сейчас нет? Стоит готовиться к распродаже только потому, что в новости написано про рост атак? Не хочется оплачивать лишние работы из-за чужой статистики.
Чужая статистика не доказывает, что вашему сайту прямо сейчас требуется новая услуга. Начать можно с проверки уже действующих исключений и доступности важных страниц. Если избыточного доверия нет, обычная работа стабильна и есть понятный контакт поддержки, это тоже результат. Покупку новой защиты стоит обсуждать после оценки собственной инфраструктуры и последствий простоя. Сам по себе сезонный заголовок не заменяет такого обоснования.
С формулировкой «код 200 ничего не значит» я бы поспорил. Он всё-таки сообщает об ответе сервера. Правильнее, по-моему, говорить, что одного кода недостаточно: дальше надо увидеть именно товар, текст и работающие ссылки.
Если ограничить только один адрес, программа может приходить с других. Но закрывать целую сеть страшно: вместе с ней можно лишиться нормальных посетителей. Поэтому полезнее обсуждать стоимость и повторяемость действий, чем искать одну волшебную строку для блокировки.
Можно ли по результатам такой проверки сказать, что сайт потерял позиции именно из-за защиты? Хочется связать техническую работу с деньгами, но простое совпадение по времени выглядит слабым доказательством.
Вы правы, совпадение по времени не устанавливает причину падения позиций. Сначала подтверждают конкретную помеху: например, нужный робот получал заглушку на проверенных адресах. После исправления отдельно фиксируют, что содержимое стало доступно. Динамику поиска и обращений затем смотрят с учётом других изменений и сезонности. Обещать возврат прежних результатов только на основании исправленного правила нельзя.
Самая полезная для меня мысль — назначить того, кто возвращает прежнюю настройку. Когда защиту меняет один исполнитель, магазин обновляет другой, а доступ к хостингу у третьего, даже небольшая проблема превращается в долгую переписку. Этот вопрос стоит решить раньше любой распродажи.