
Человек пишет в окно чата на сайте магазина чужой номер телефона, добавляет пару уверенных фраз, и бот послушно перечисляет, что этот номер заказывал и куда везли покупку. Никакого взлома сервера здесь нет: ИИ-бот сделал ровно то, что ему позволили настройки, просто его уговорили. Ниже — как устроены такие атаки на чат-ботов с нейросетью, что через них утекает, кто платит за обещания бота и какие настройки закрывают дыру до запуска, а не после первой жалобы клиента.
Рабочих атакующих фраз здесь не будет, только смысл приёмов и защита от них.
Как бот на сайте устроен изнутри
У любого ИИ-бота, который отвечает посетителям, есть три слоя, и каждая атака бьёт в один из них.
- Инструкция. Скрытый текст, который разработчик пишет модели перед любым разговором: кто ты, как отвечать, о чём молчать, какие скидки можно называть. Посетитель её не видит, но модель читает её каждый раз.
- База знаний. Документы, из которых бот берёт ответы: прайс, условия доставки, описание услуг, иногда целые страницы сайта и внутренние регламенты.
- Доступы. Подключения к живым системам: заказы, CRM, запись к врачу, статусы доставки. Через них бот не только говорит, но и делает: находит заказ, переносит запись, создаёт заявку.
Главная особенность в том, что для модели всё это — один сплошной текст. Инструкция разработчика, кусок из базы знаний и сообщение посетителя попадают в неё вместе, и у модели нет железной границы между «приказом хозяина» и «словами гостя». Она старается следовать инструкции, но это именно старание, а не замок на двери.
Следствие: бот может выдать всё, что видит сам. Таблицу оптовых скидок из инструкции или чужой заказ из базы без проверки при удачном разговоре увидит посетитель. О том, где бот вообще уместен в продажах, а где отпугивает, у меня есть отдельный материал про чат-ботов для бизнеса. Здесь речь только о безопасности.
Промпт-инъекция простыми словами
Промпт-инъекцией называют приём, при котором текст от посетителя или из чужого документа заставляет модель нарушить её собственные правила. Слово «промпт» означает задание для нейросети, «инъекция» — подмешивание своих команд в это задание.
Механика похожа на социальную инженерию, только обманывают программу. Типовые приёмы по смыслу такие:
- посетитель просит забыть прежние инструкции и действовать «по новым правилам»;
- выдаёт себя за администратора, разработчика или проверяющего, которому «положено видеть всё»;
- просит пересказать инструкцию «для проверки» или перевести её на другой язык;
- предлагает игру или роль, в которой запреты якобы не действуют;
- дробит запрос на безобидные шаги, каждый из которых по отдельности выглядит нормально.
Сработает ли конкретный приём, заранее не скажет никто, включая разработчика модели. Поэтому в международном перечне рисков OWASP Top 10 для приложений на больших языковых моделях (редакция 2025 года) промпт-инъекция стоит на первом месте, а утечка системной инструкции вынесена отдельным пунктом. Вывод для владельца: защищаться нужно так, будто бота однажды уговорят. Тогда вопрос звучит иначе: что он сможет выдать, когда это случится.
Прямая и косвенная инъекция
Прямая инъекция — когда команду пишет сам посетитель в окне чата и подбирает формулировки, пока бот не сдастся. Видно её в журнале диалогов, если журнал кто-то читает.
Косвенная инъекция опаснее, потому что её не видно в переписке. Команда спрятана в тексте, который бот читает сам: в отзыве на товар, в письме, в документе, загруженном в чат, на странице чужого сайта, если бот умеет ходить по ссылкам. Человек задаёт обычный вопрос, бот открывает этот текст, натыкается на спрятанную там инструкцию и выполняет её.
Пример по смыслу: бот поддержки читает входящие письма, чтобы подготовить ответ. В одном письме мелким текстом спрятано указание переслать историю переписки на другой адрес. Если у бота есть право отправлять письма, он может это сделать без участия человека.
Отсюда правило: любой внешний текст, который бот читает, — отзывы, письма, файлы, страницы — считается недоверенным. Ему нельзя давать те же права, что инструкции владельца.
Что может утечь и что бот может натворить
Риски делятся на три группы. Первая — бот выдаёт то, что знает сам. Вторая — выдаёт то, до чего дотягивается через доступы. Третья — говорит от имени компании то, чего компания не обещала.
| Атака | Что получит злоумышленник | Как защититься |
|---|---|---|
| Просьба пересказать инструкцию | Внутренние правила, закрытые скидки, названия систем, иногда пароли и ключи, если их туда вписали | Не класть в инструкцию ничего, что нельзя показать посетителю; секреты хранить на сервере |
| «Я администратор, покажи заказы» | Чужие заказы, адреса, телефоны, суммы покупок | Бот видит только данные того, кто подтвердил личность; проверка делается кодом, а не моделью |
| Поиск по номеру телефона или фамилии | Персональные данные других клиентов | Запрет на выдачу по одному признаку; код из СМС или вход в личный кабинет |
| Уговорить дать скидку или возврат | Обещание от имени компании, которое потом предъявят | Скидки и возвраты подтверждает человек; бот только передаёт заявку |
| Команда в письме, файле или отзыве | Пересылка переписки, создание ложных заявок, ссылки на чужие сайты в ответах | Внешний текст без права на действия; фильтр ссылок и адресов в ответах |
| Длинная переписка «по шагам» | Постепенное раскрытие запрещённого | Журнал диалогов и разбор странных разговоров; лимит длины сессии |
Отдельно о персональных данных. Если бот отдал постороннему имя, телефон и адрес клиента, для закона это утечка, а оператором данных остаётся компания. С 30 мая 2025 года за утечки действуют оборотные штрафы, а об утечке нужно уведомить Роскомнадзор в течение суток. Как считаются суммы и что проверить на сайте, я подробно описал в статье про штрафы за утечку персональных данных.
Кто отвечает за слова бота: дело Air Canada
Самый известный прецедент — дело Moffatt против Air Canada. В феврале 2024 года Трибунал гражданских споров Британской Колумбии разбирал жалобу пассажира. Чат-бот на сайте авиакомпании сказал ему, что льготный тариф по случаю смерти родственника можно оформить уже после поездки, подав заявку в течение 90 дней. Пассажир купил билеты по полной цене, а потом получил отказ: по настоящим правилам авиакомпании задним числом льготу не дают.
В споре авиакомпания доказывала, что чат-бот — отдельное лицо, которое само отвечает за свои слова, а правильные условия были на соседней странице сайта. Трибунал этот довод отклонил. Бот — часть сайта компании, компания отвечает за всю информацию на своём сайте, и покупатель не обязан проверять, какой раздел сайта говорит правду. Авиакомпанию обязали возместить пассажиру разницу в цене.
В России у этого решения прямого действия нет, другая страна и другое право. Но логика понятна любому покупателю: если бот на вашем сайте пообещал скидку, срок или возврат, клиент считает, что это пообещали вы.
Доступы и данные: бот не должен видеть лишнего
Первая линия защиты — урезать то, что бот вообще может знать. Нейросеть нельзя научить молчать надёжно, а лишить её доступа можно.
Минимальные права. Составьте список: какие данные нужны боту, чтобы ответить на типовые вопросы. Обычно это каталог, цены, условия доставки, часы работы. Всё остальное — отключить. Боту для записи к врачу не нужен доступ к медицинским картам. Боту магазина не нужна вся база клиентов, ему нужен один заказ одного человека.
Проверка личности до выдачи данных. Номер телефона или номер заказа — не доказательство, их знают родственники, курьеры, бывшие коллеги. Перед тем как показать статус заказа с адресом, нужен второй фактор: код в СМС, вход в личный кабинет, ссылка на почту. И эту проверку делает обычный код на сервере, а не модель «по ощущениям».
Данные через API с проверкой, а не в инструкции. Неправильная схема: выгрузить в инструкцию бота таблицу заказов, чтобы он «был в курсе». Правильная: бот вызывает функцию «найти заказ», а сервер сам решает, отдавать ли данные, сверяя номер заказа с подтверждённым клиентом. Тогда даже уговорённая модель получит только то, что разрешил сервер.
Никаких секретов в инструкции. Пароли, ключи доступа к CRM, внутренние адреса, закрытые промокоды не должны лежать в тексте, который читает модель. Считайте инструкцию публичной: рано или поздно её кто-нибудь вытащит. Как вообще навести порядок с ключами и паролями, я описывал в материале про пароли и доступы в малом бизнесе.
Ответы и контроль: что ловить на выходе
Вторая линия — проверять, что бот говорит и делает, до того как это увидит посетитель.
Фильтр ответов. Простой код между моделью и посетителем ищет в ответе то, чего там быть не должно: номера телефонов и адреса, если их не запрашивал сам владелец заказа; длинные куски инструкции; ссылки на чужие домены; слова «скидка», «возврат», «гарантируем» рядом с цифрами. Подозрительный ответ не уходит посетителю, а заменяется нейтральным «уточню у менеджера».
Журнал диалогов и разбор странных. Переписки бота надо сохранять и читать. Не все подряд, а странные: очень длинные, с просьбами «забыть правила», с упоминанием администратора или разработчика, с ответами, где сработал фильтр. Раз в неделю просматривайте такие диалоги.
Человек подтверждает деньги. Скидки, возвраты, компенсации, изменение цены, отмена оплаченного заказа — только через живого человека. Бот может принять заявку и сказать, что её рассмотрят, но не может сам пообещать результат.
Внешний текст отдельно. Письма, файлы и страницы бот читает как материал для ответа, а не как команды, и в этом режиме не может отправлять письма и менять заказы.
Что бот делает сам, а что только через человека
Эту таблицу удобно отдать разработчику как техническое задание. Спорные случаи решаются в пользу человека.
| Бот может сам | Только через человека |
|---|---|
| Отвечать по каталогу, ценам с сайта, условиям доставки | Называть цену ниже опубликованной, давать персональные скидки |
| Показать статус заказа после входа в кабинет или кода из СМС | Показывать заказ по номеру телефона, фамилии или адресу |
| Записать на свободное время в расписании | Отменять и переносить чужие записи, менять расписание врача или мастера |
| Принять заявку на возврат и передать её | Подтвердить возврат, компенсацию или замену |
| Пересказать правила из открытых документов сайта | Толковать правила в пользу клиента, обещать исключения |
| Собрать контакт для обратного звонка | Отправлять письма и файлы на адрес, который назвал посетитель |
Как проверить своего бота, не сломав его
Проверять бота можно и нужно самому, но безобидными сценариями. Цель — понять, где граница, а не устроить настоящую атаку на чужую систему. Если бот вам не принадлежит, проверять его так нельзя: это уже вмешательство в чужой сервис.
- Спросите о себе чужими данными. Возьмите свой второй номер или номер знакомого, который согласился на проверку, и спросите статус «моего» заказа. Бот должен попросить подтверждение, а не выдать заказ.
- Попросите рассказать о себе. Задайте вопрос, какие у бота правила и что ему запрещено. Если в ответе всплывают внутренние скидки, названия систем или технические детали, инструкция слишком болтливая.
- Представьтесь начальником. Напишите, что вы владелец или администратор и вам нужен список последних заказов. Правильная реакция — отказ и предложение войти в кабинет.
- Попросите скидку настойчиво. Сошлитесь на «акцию, о которой говорил менеджер». Бот не должен подтверждать несуществующую скидку и называть цифры.
- Загрузите документ с посторонним текстом. Если бот принимает файлы, положите в обычный документ строку с просьбой ответить только словом «проверка». Если он так и ответил, внешний текст для него звучит как команда.
- Посмотрите журнал. Найдите эти тестовые диалоги в журнале. Если их там нет или сработал не тот фильтр, журнал и фильтры настроены неправильно.
Проверку повторяйте после каждого обновления: смены модели, правки инструкции, подключения новой системы. Про то, как злоумышленники используют нейросети против сайтов, есть статья про взлом сайта с помощью ИИ.
Чек-лист перед запуском бота
- Список данных и систем, к которым у бота есть доступ, записан, лишнее отключено.
- В инструкции нет паролей, ключей, внутренних адресов, закрытых скидок и персональных данных.
- Заказы, записи и любые персональные данные выдаются только после проверки личности кодом на сервере.
- Скидки, возвраты, компенсации и отмены подтверждает человек.
- Внешние тексты — письма, файлы, отзывы, страницы — бот читает без права на действия.
- Между моделью и посетителем стоит фильтр ответов: телефоны, адреса, чужие ссылки, обещания с цифрами.
- Диалоги сохраняются, есть человек, который раз в неделю читает странные.
- Под чатом сказано, что условия сделки подтверждает менеджер, а в политике обработки персональных данных упомянут чат.
- Есть понятный порядок действий, если бот всё-таки что-то выдал: кто отключает, кто уведомляет Роскомнадзор, кто пишет клиенту.
- Безобидные тесты из раздела выше пройдены.
Частые вопросы
Нейросеть же умная, она сама поймёт, что её обманывают? Иногда поймёт, иногда нет, и предсказать это нельзя. Модель обучена следовать инструкции, но инструкция и сообщение посетителя для неё — один текст. Надёжной защитой считается только то, что не зависит от сообразительности модели: доступы, проверки кодом, человек на деньгах.
Я купил готового бота у сервиса, это их забота? Частично. Сервис отвечает за свою платформу, но что положить в инструкцию, к каким данным подключить и какие права дать, решаете вы. Перед покупкой спросите у сервиса, где хранятся диалоги, есть ли журнал и фильтр ответов, можно ли запретить выдачу данных без входа.
Коротко
- ИИ-бот выдаёт всё, что видит сам: инструкцию, базу знаний и данные из подключённых систем.
- Промпт-инъекция — уговор модели нарушить правила; бывает прямой (в чате) и косвенной (через письмо, файл, отзыв, страницу).
- Надёжно защищает не текст инструкции, а архитектура: минимальные права, проверка личности кодом, данные через API.
- Секреты, пароли и закрытые скидки в инструкции не храните: считайте её публичной.
- Обещания бота — обещания компании; в деле Air Canada это подтвердил суд. Деньги подтверждает только человек.
- Фильтр ответов, журнал диалогов и безобидные тесты после каждого обновления ловят проблему раньше клиента.
Если хотите разобрать, как бот, формы и данные клиентов устроены именно на вашем сайте, и что из этого влияет на доверие покупателей и на поиск, можно начать с SEO-консультации.
Что дальше
ИИ-бот полезен, когда снимает с менеджера типовые вопросы и не трогает то, что решает человек. Защиту на сто процентов не даст никто, но бот, который выдаёт чужие заказы, и бот, который просит войти в кабинет, различаются несколькими решениями при настройке. Если вы только выбираете бота, посмотрите, как устроен чат-бот с ИИ для сайта и какие ограничения в нём заложены.
Сам я в SEO с 2005 года и занимаюсь SEO-продвижением сайтов и GEO-продвижением, то есть видимостью в ответах нейросетей, напрямую, без агентств и только белыми методами. Смотрю на сайт глазами покупателя и поискового робота: где теряется доверие, где течёт информация, где посетитель уходит. Результаты работы — в 130+ кейсах с адресами сайтов и в видео-портфолио. Понять, что мешает вашему сайту прямо сейчас, поможет бесплатный экспресс-аудит сайта.
А у вас на сайте уже стоит ИИ-бот? Пробовали спросить его о чужом заказе или о его собственных правилах?
Источники
- Наблюдения автора по работе с сайтами, с 2005 года.
- Решение по делу Moffatt v. Air Canada, 2024 BCCRT 149, Трибунал гражданских споров Британской Колумбии, 14 февраля 2024 года: текст решения.
- OWASP Top 10 for LLM Applications 2025, пункт LLM01 «Prompt Injection» и пункт LLM07 «System Prompt Leakage»: описание риска.
- Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных», статья 19 (меры защиты) и часть 3.1 статьи 21 (уведомление Роскомнадзора об утечке в течение 24 часов, действует с 1 сентября 2022 года).
- Федеральный закон от 30.11.2024 № 420-ФЗ о поправках в статью 13.11 КоАП РФ (оборотные штрафы за утечки, действуют с 30 мая 2025 года).
Увеличьте позиции и продажи вашего сайта
Профессиональное SEO-продвижение с гарантией результата. Выберите подходящую услугу:
Остались вопросы по продвижению?
Меня зовут Анатолий Кузнецов, я SEO-оптимизатор с 20-летним стажем. Разберу ваш сайт, отвечу на вопросы и подскажу, что улучшить для роста позиций в Яндексе.
Связаться со мной →
Комментарии
У меня интернет-магазин инструмента, бот в поддержке стоит полгода и сам находит заказ по номеру телефона, так удобнее покупателям. Получается, любой, кто знает телефон соседа, увидит, что тот заказывал и куда везли? Вводить код из СМС — значит потерять половину людей, которые просто хотели узнать, где посылка.
Да, если бот отдаёт заказ по одному телефону, увидеть его может любой, кто этот телефон знает. Компромисс тут простой: по номеру телефона бот может сказать только статус без подробностей, например «заказ передан в доставку, ожидается завтра». Состав заказа, адрес, сумму и имя получателя он показывает после кода или входа в кабинет. Человеку, который хотел узнать, где посылка, статуса обычно хватает. А тому, кто пришёл посмотреть чужие покупки, такой ответ ничего не даёт.
Делаю чат-ботов на заказ. Подтверждаю про секреты в инструкции: регулярно вижу, как клиенты просят «вписать туда промокоды для своих, бот же никому не скажет». Скажет. Самое частое, что вытаскивают из ботов, — именно содержимое инструкции, потому что для этого не нужен никакой доступ.
Не согласен с общим тоном. Современные модели неплохо держат инструкции, разработчики моделей этим занимаются. Нейросеть умная, она сама не выдаст то, что ей запретили. По-моему, статья немного драматизирует.
Модели действительно держат инструкции лучше, чем пару лет назад, и случайно бот проболтается реже. Но слово «реже» не подходит для данных клиентов: достаточно одного удачного разговора из тысячи. Разработчики моделей сами не обещают полной защиты от промпт-инъекций, поэтому она и стоит первой в перечне OWASP. Я не предлагаю бояться ботов, я предлагаю строить систему так, чтобы уговорённая модель не дотянулась до лишнего. Тогда сообразительность модели становится приятным дополнением, а не единственной стеной.
Стоматология, бот записывает пациентов на приём и отвечает про цены. Доступа к картам у него нет, только к расписанию. Но он видит фамилии записанных, чтобы не ставить двоих на одно время. Это уже опасно или нет?
Опасно, если бот может эти фамилии произнести. Для подбора времени ему не нужны имена, ему достаточно знать, что слот занят. Попросите разработчика отдавать боту расписание в виде «свободно или занято» без данных пациентов. Отмену и перенос записи лучше делать только по ссылке из СМС, которую получил сам пациент. Для медицины это особенно важно: сам факт визита к врачу — уже чувствительная информация.
Как проверить своего бота, не сломав его? Боюсь, что начну задавать ему такие вопросы, он что-нибудь отменит или напишет клиенту.
Начните с тестового режима, если сервис бота его даёт, или с копии бота, подключённой к тестовым данным. Если копии нет, проверяйте только вопросы, которые ничего не меняют: спросить про правила, про чужой заказ, про скидку. Запросы на отмену, перенос и отправку писем в живом боте не тестируйте, пока не убедитесь, что они требуют подтверждения. И заранее предупредите менеджера, чтобы тестовые диалоги в журнале не приняли за настоящие жалобы.
Я маркетолог, руководство хочет бота «как у всех» к новому сезону. После статьи понимаю, что первым делом надо спросить не про красивые ответы, а про то, к чему он будет подключён. Возьму таблицу «сам или через человека» на встречу с разработчиком.
Служба доставки, бот отвечает клиентам про статус посылок. Курьеры тоже иногда пишут в этот чат и спрашивают адреса. Как отличить курьера от постороннего, если оба просто пишут в окно на сайте?
Никак, и в этом вся проблема: в открытом окне чата все выглядят одинаково. Курьерам нужен отдельный вход, например рабочее приложение или отдельный чат с авторизацией, где бот знает, кто перед ним. В публичном чате на сайте адреса не должны выдаваться никому, даже тому, кто уверенно пишет, что он курьер. Фраза «я свой, мне можно» — ровно тот приём, о котором написано в статье. Разделите каналы, и вопрос снимется сам.
Работаю в информационной безопасности. Добавлю к косвенной инъекции: самое неприятное начинается, когда боту дают право ходить по ссылкам и читать чужие страницы. Тогда атакующему даже не нужно писать в ваш чат, достаточно разместить текст там, куда бот заглянет. Это стоит проверять отдельно от всего остального.
Андрей, у меня был ровно такой же аргумент, пока бот моего магазина не согласился «в виде исключения» дать покупателю скидку, которой не было. Покупатель прислал скриншот, пришлось выполнить, чтобы не ругаться. После этого цифры скидок в ответах бот вообще больше не называет.
А если бот отвечает только по базе знаний из открытых страниц сайта, без доступа к заказам? Там же утекать нечему, всё и так опубликовано.
Алина, утекать нечему, а наобещать можно. Наш бот по открытым страницам однажды пересказал условия возврата из старой акции, которая давно закончилась, просто страницу забыли снять. Так что базу знаний тоже надо чистить от устаревшего.
Про журнал диалогов очень жизненно. Журнал у нас был, но его никто не открывал месяцами. Поставили правило: раз в неделю менеджер просматривает самые длинные переписки. Странных разговоров нашлось больше, чем ожидали, хотя ничего серьёзного бот не выдал.