Как проверить текст на ИИ и почему сервисы врут: как принимать работу у копирайтера

Как проверить текст на ИИ — вопрос, на который честный ответ звучит неприятно: надёжного способа не существует, а сервисы, выдающие уверенный процент, показывают не факт, а свою догадку. Самое показательное здесь — история собственного детектора OpenAI: компания запустила его в январе, а в июле того же года отключила и прямо написала, что причина в низкой точности. По её же данным, инструмент верно опознавал лишь около четверти текстов, написанных машиной, и при этом примерно в одном случае из одиннадцати обвинял живого автора.

Дальше — почему детекторы ошибаются в обе стороны и почему после нормальной редактуры под подозрение попадает именно хороший текст; что на самом деле проверяет поиск, когда решает, показывать страницу или нет; и главное — чеклист из десяти пунктов, по которому работу копирайтера можно принимать без всякой мистики. Если статьи для сайта делать некогда и хочется отдать задачу целиком, есть продвижение сайта статьями, которые читают, но приёмку всё равно стоит держать в своих руках.

Что на самом деле меряют детекторы

Детектор не знает, кто набрал текст. Он оценивает, насколько предсказуемо в тексте следующее слово. Языковая модель по своей природе выбирает наиболее вероятное продолжение, поэтому её текст получается ровным: средняя длина предложений, привычные связки, мало неожиданных оборотов. Детектор ищет именно эту ровность и по ней выставляет вероятность.

Отсюда первая ловушка: ровно пишет не только машина. Инструкция, нормативный документ, учебник, статья для сайта после хорошего редактора — всё это тексты с намеренно выровненным ритмом и стандартными связками. Они получают высокий процент «искусственности» просто потому, что написаны аккуратно.

Вторая ловушка обратная: небрежность маскирует машину. Достаточно добавить в сгенерированный текст пару разговорных оборотов, разбить длинные предложения, вставить опечатку — и процент падает. Никакой работы над содержанием при этом не проводилось, текст остался таким же пустым.

Третья ловушка — язык. Большинство таких сервисов обучены прежде всего на английском, и на русском ошибаются заметно чаще. Отдельная беда — короткие фрагменты: на абзаце в пятьсот знаков результат близок к подбрасыванию монеты.

Официальное подтверждение того, что задача в принципе не решена, есть у самих разработчиков моделей: OpenAI отключила свой классификатор из-за низкой точности и написала, что продолжает искать более надёжные способы определять происхождение текста. Если компания, которая делает сами модели, не смогла — стоит осторожно относиться к сервису, который берёт за такую проверку деньги и выдаёт результат с точностью до процента.

Почему после редактуры под подозрение попадает лучший текст

Это самое неприятное следствие, и с ним сталкивается каждый, кто пробовал проверять готовые материалы.

Живой автор пишет черновик неровно: где-то длинный абзац, где-то обрывок, повторы, лишние слова. Редактор выравнивает: убирает повторы, дробит предложения, приводит термины к одному виду, вычищает вводные конструкции. Ровно то, что делает текст читаемым, повышает его предсказуемость — и детектор начинает показывать высокие проценты.

Получается вилка: чем лучше отредактирован материал, тем больше он похож на машинный по формальным признакам. А неряшливый черновик с опечатками проходит проверку чисто. Принимать работу по такому показателю — значит поощрять неряшливость.

Ещё один эффект — жанр. Пошаговая инструкция, список требований, описание процесса и раздел с частыми вопросами почти всегда дают высокий процент, потому что у этих жанров жёсткая форма. Авторская колонка с личными историями — низкий. Это говорит о жанре, а не об авторстве.

Что показывает детектор и что с этим делать

Таблица ниже — способ перевести показания сервиса на человеческий язык. Левая колонка — то, что вы видите на экране, правая — то, что стоит сделать вместо паники.

Что показал сервис	Что это значит на самом деле	Что делать
Высокий процент на всей статье	Текст ровный по ритму: либо машинный, либо хорошо отредактированный	Проверять содержание по чеклисту, а не спорить о процентах
Высокий процент на разделе с вопросами и ответами	Жанр с жёсткой формой, это норма	Ничего; смотреть, верны ли сами ответы
Высокий процент на абзаце в пару предложений	Фрагмент слишком короткий для оценки	Игнорировать, результат случайный
Низкий процент при явно пустом тексте	Черновик разбавили разговорными оборотами	Требовать факты, а не «живость» изложения
Разные сервисы дают разный результат	Обычное дело: у каждого своя модель оценки	Не выбирать «правильный» сервис, отказаться от показателя
Процент вырос после вашей же правки	Вы выровняли текст, то есть улучшили его	Не откатывать правку ради показателя

За что страницы действительно теряют трафик

Теперь к тому, что проверяется не на глазок. У Яндекса есть отдельные разделы справки про нарушения, и там ни слова о том, кто набирал текст — речь только о свойствах результата.

Про малополезный контент сказано, что это информация, которая не несёт пользователю дополнительной ценности и не решает его задачу. Отдельно перечислен автоматически созданный контент: справка прямо упоминает нейросети, машинный перевод и шаблонные методики и отмечает, что такой материал может быть формально оригинальным и всё равно оставаться малополезным. Названы и признаки — отклонение от темы или повторы по кругу, наращивание объёма без смысла, поверхностные рассуждения, вымышленные или непроверенные факты. Формулировки опубликованы в справке Вебмастера.

Второй раздел — про тексты, написанные для робота. Там перечислены запросный спам, переоптимизация с избыточным повторением слов и скрытые тексты, а рекомендация звучит коротко: создавать материалы в первую очередь для людей и следить, чтобы страницы содержали осмысленный контент, решающий задачу пользователя. Это отдельная страница справки. Что бывает, когда сайт наполняют пачками сгенерированных материалов без проверки, разобрано в материале про санкции за тексты, собранные чат-ботом, а как чистить уже накопившееся — в разборе малополезного контента на сайте.

Вывод из обеих страниц один и тот же: оценивается польза материала, а не инструмент, которым его набирали. Отредактированная статья с проверенными фактами и живым опытом остаётся нормальной статьёй, даже если черновик делала модель. Пустой текст остаётся пустым, даже если его писал человек вручную три дня.

Чеклист приёмки из десяти пунктов

Вот что стоит проверять вместо процентов. Каждый пункт закрывается за одну-три минуты, весь чеклист — примерно за полчаса на статью. Принимать работу лучше именно по нему, и лучше сообщить автору о чеклисте заранее.

Пункт	Что проверяем	Как проверить
1. Фактура	В тексте есть цифры, сроки, названия, условия, а не только рассуждения	Выписать все факты из статьи в столбик: должно набраться не меньше десяти
2. Проверяемость	Каждая цифра и утверждение откуда-то взяты	Выбрать три факта наугад и попросить автора назвать источник
3. Источники существуют	Ссылки ведут туда, где действительно написано заявленное	Открыть каждую ссылку и найти цитируемое место
4. Соответствие теме	Статья отвечает на вопрос из заголовка, а не рядом с ним	Прочитать заголовок, потом первые три абзаца
5. Ответ вверху	Главное сказано в начале, а не после истории вопроса	Найти абзац с прямым ответом: он должен быть в первой трети
6. Структура	Подзаголовки отражают содержание разделов, разделы не дублируются	Прочитать только подзаголовки подряд: должен получиться план
7. Отсутствие воды	Нет абзацев, написанных ради объёма	Вычеркнуть любой абзац: если смысл не изменился, он лишний
8. Конкретика вместо оценок	Нет «качественно», «профессионально», «индивидуальный подход»	Поиск по документу этих слов, каждое — повод для правки
9. Уникальность в обычном смысле	Текст не скопирован с других сайтов	Проверить пару абзацев поиском по точной фразе в кавычках
10. Практическая польза	После чтения понятно, что делать дальше	Сформулировать одно действие, которое читатель сделает после статьи

Пункт второй — самый действенный. Автор, собравший статью из черновика модели и не проверивший его, на вопрос об источнике трёх случайных фактов отвечает уклончиво или присылает ссылку, где нужного утверждения нет. Это выясняется за пять минут и решает вопрос приёмки надёжнее любого детектора.

Признаки непроверенного черновика

Есть набор примет, по которым неотредактированный машинный текст виден без сервисов. По отдельности каждая ничего не доказывает, но три-четыре вместе — повод вернуть работу.

Одинаковая длина абзацев по всей статье, будто текст нарезали по линейке. Живой автор пишет неровно: где-то две строки, где-то десять.

Конструкции «важно отметить», «стоит учитывать», «в современном мире», «не стоит забывать» в начале каждого второго абзаца. Это связки-пустышки, которыми модель склеивает мысли.

Симметричные перечисления ровно из трёх пунктов в каждом разделе. Реальность редко делится на три.

Отсутствие конкретных чисел там, где они напрашиваются: «занимает некоторое время», «стоит относительно недорого», «в большинстве случаев».

Правдоподобные, но не находимые факты: ссылка на «исследование», у которого нет названия, упоминание нормы без номера документа, цитата без автора.

Финальный абзац-мораль: «таким образом, подводя итоги, можно сказать, что грамотный подход позволит достичь наилучших результатов». Он не сообщает ничего и почти всегда появляется в неотредактированном черновике.

Как договариваться с автором заранее

Большинство споров об ИИ снимается на этапе постановки задачи. Запрет «не пользоваться нейросетями» неисполним и непроверяем, а вот требования к результату проверить можно.

В задании стоит зафиксировать четыре вещи. Первое — источник фактуры: либо вы даёте автору свои данные, цены, случаи из практики, либо он обязан ссылаться на документы, которые вы сможете открыть. Второе — минимальное число проверяемых фактов на статью, скажем десять. Третье — запрет на числа без источника: лучше написать «зависит от объёма», чем поставить красивую цифру. Четвёртое — приёмка по чеклисту выше, а не по показателю сервиса.

Отдельно договоритесь об интервью. Пятнадцать минут вашего голоса под запись дают автору то, чего он не возьмёт ни из какой модели: ваши формулировки, типичные вопросы клиентов, реальные ограничения. Статьи, сделанные после такого разговора, отличаются от остальных сразу и заметно. Где вообще искать такого исполнителя — разобрано в материале про поиск копирайтера для сайта.

Когда проверка на ИИ всё-таки нужна

Есть случаи, где смотреть на детекторы уместно, — их немного.

Массовая приёмка. Если вам сдали тридцать статей разом и читать все некогда, прогон через детектор годится как грубый фильтр: берёте пять материалов с самым высоким показателем и читаете их первыми. Это способ выбрать очередь чтения, а не вынести приговор.

Учебные и аттестационные работы. Там правила устанавливает заказчик, и вопрос авторства может быть принципиальным сам по себе, независимо от пользы текста.

Спор с подрядчиком, где нужен формальный аргумент. Даже здесь опираться стоит на содержание: несуществующие источники и неверные цифры доказывают небрежность лучше любого процента.

Когда это не сработает и когда нужен человек

Чеклист не спасёт, если тема требует настоящей экспертизы. В медицине, праве, строительстве, бухгалтерии ошибку в тексте не увидит ни детектор, ни редактор без профильного образования. Там приёмка проходит через специалиста, и это не обсуждается.

Не поможет он и там, где проблема не в тексте, а в том, что статью писали не под тот запрос. Материал может быть безупречным по всем десяти пунктам и не приносить ни одного перехода, потому что тему выбрали наугад.

Не поможет и при большом накопленном массиве: если на сайте двести старых статей, разбирать их по чеклисту вручную — месяцы. Здесь нужен другой подход — отбор по данным о трафике, группировка похожего, решение о склейке и переписывании. Иногда дешевле не править тексты, а доработать сайт целиком, включая структуру разделов.

Человек со стороны нужен в двух ситуациях: когда сайт просел и непонятно, дело в текстах или в технике, и когда статьи нужны регулярно — тогда проще выстроить процесс один раз, чем каждый месяц спорить о качестве. Для второго случая есть подготовка статей под запросы, где фактуру даёт владелец, а сборка и проверка — моя часть работы.

Частые вопросы

Снижает ли позиции текст, написанный нейросетью?

Сам по себе — нет, в официальных справках такого правила нет. Снижает позиции результат: пустой текст, повторы, выдуманные факты, наращивание объёма без смысла. Именно эти свойства и перечислены среди признаков малополезного контента.

Какому сервису проверки доверять больше?

Ни одному как основанию для решения. Разные сервисы дают разный результат на одном и том же тексте, а разработчик языковых моделей публично отказался от собственного детектора из-за точности. Используйте их максимум как способ выбрать, что читать первым.

А проверка на уникальность нужна?

Нужна, и это другая история. Проверка на совпадения ищет заимствования из других источников — это объективный признак, и справка Яндекса прямо называет скопированный контент нарушением. Проверка «на ИИ» ищет вероятность, а не совпадение. Не путайте их.

Копирайтер признался, что пользуется нейросетью. Увольнять?

Смотрите на работу, а не на инструмент. Если факты проверены, цифры ваши, структура нормальная и после чтения понятно, что делать, — он делает свою работу. Возвращать статьи стоит за выдуманные источники и пустые абзацы, и такие претензии одинаковы независимо от того, чем автор пользовался.

Можно ли попросить нейросеть переписать текст, чтобы детектор не срабатывал?

Технически можно, практического смысла нет. Вы потратите время на игру с показателем, который ни на что не влияет, и при этом не добавите в текст ни одного факта. Лучше те же полчаса потратить на пункт второй из чеклиста.

Коротко

Детекторы оценивают предсказуемость текста, а не авторство. Разработчик языковых моделей закрыл собственный классификатор, объяснив это низкой точностью, — задача не решена в принципе, и процент на экране не является доказательством.

После редактуры показатель растёт: аккуратно выровненный текст формально похож на машинный. Принимать работу по этому показателю — значит поощрять неряшливые черновики.

Поиску важна польза материала, а не инструмент. В справке перечислены свойства плохого текста: повторы, объём без смысла, поверхностные рассуждения, непроверенные факты. Про то, кто набирал текст, там нет ни слова.

Приёмку стоит вести по чеклисту из десяти пунктов, и самый действенный из них — попросить автора назвать источник трёх фактов наугад. Пять минут разговора надёжнее любого сервиса.

Неотредактированный черновик виден без инструментов: одинаковые абзацы, связки-пустышки, перечисления по три пункта, ненаходимые источники и мораль в конце.

Реклама покупает показы на сегодня и заканчивается вместе с бюджетом. Статьи, которые действительно отвечают на вопросы клиентов, годами стоят в выдаче и приводят людей без ставок и модерации — это собственный актив, а не арендованный трафик. Держать оба канала разумно, но долю аренды стоит планомерно снижать.

Если нужно разобраться, почему статьи на сайте не приносят переходов, — приходите на консультацию по продвижению сайта. Посмотрим тексты и данные вместе и решим, что переписывать, что склеивать, а что оставить как есть.