Об AI-детекции, в частности на Text.ru: как она вообще работает...

Об AI-детекции, в частности на Text.ru: как она вообще работает и стоит ли ей доверять?

Мне пришлось докопаться до сути AI-детекторов и их принципов работы. Ожидается, что они производят какие-то свои расчеты.

Но в большинстве своем, они делают запрос к ИИ с промптом вроде: «Вот текст пользователя, оцени поабзацно на признаки генерации ИИ по следующим критериям; абзацы, не прошедшие AI-детекцию, выдели тегом <em>». А потом на сервере считают, сколько фрагментов ИИ выделил тегом, и выводят процент.

Это очень хорошо иллюстрирует новость о том, что ИИ признал Декларацию независимости США текстом, написанным языковой моделью: https://t.me/NeuralShit/6492. Почему? Потому что в LLM заложили промпт, согласно которому, если текст написан слишком гладко, то его писал ИИ.

Мой любимый пример

Посмотрите на скриншот, прикреплённый к посту. Абсолютно одинаковые тексты, но один я скопировал из LLM без разметки, а другой — с разметкой. А если передать тот же текст в формате JSON (скрин: https://skr.sh/sVrNf6XG85d), то он уже на 65% определяется как текст, написанный ИИ.

Почему это произошло? Потому что в промпт, который анализирует текст, не добавлены исключения из правил.

LLM не глупа. Ход её логики следующий:

— Я вижу характерную для LLM разметку. Но это Markdown-разметка, которую могут использовать и люди. Значит, здесь будет 30% вероятность того, что это текст от ИИ. О, а это Json. Люди редко его используют. Значит это написала ИИ с вероятностью 60%.

Стоит ли использовать?

Да, но... Наша цель — не добиться «чистого» от ИИ текста по мнению какого-то сервиса, а создать более-менее качественный, человечный текст, который понравится людям, что будут его читать. И здесь на помощь приходят AI-детекторы.

Например, в Text.ru, похоже, встроен действительно хороший промпт для определения «человечности» текста. Его можно использовать для того, чтобы собрать правила для генерации текстов. Как, спросите вы, их можно собрать, если он не даёт рекомендаций, а только подсвечивает проблемные места красным?

Я показал это в лекции из закрытого клуба, которую открыл для общего доступа: https://my.seomeat.ru/library/eWR6_Z3Dk0idamdiNNSBAw/O0eG9mhztkiHwwULVNJaDA

Из этого урока вы узнаете, как обходить любой детектор, если это вам важно, а, самое главное, научитесь «очеловечивать» тексты. Там не рыба, там удочка.

Источник новости https://t.me/seokotenkov/540...