Результаты проверки сервиса анти AI детекта текстов

В связи с недавним октябрьским Spam Update и декабрьским Helpful Content System Update Гугла решил проверить тексты в отношении детекта AI контента. Прочекал в эти дни несколько статей на своем новом сайте под бурж этим сервисом https://huggingface.co/openai-detector/ . Инструмент помечает в процентах как Fake (написанное нейросетью) и как Real (написанное человеком). Часть из текстов на сайте написана копирайтером, часть через нейросеть в Jasper

Проверил следующее

— Если закидывать всю статью целиком, то что копирайтерская, что через нейросеть - Real 99%+ , то есть помечает как написанное человеком. Понятно, что нейросеть генерит короткими текстами, поэтому проверяли дальше

— Там, где проверяли отрезками:

В одной статье введение - фейк 99%, заключение - фейк 41%. В другой статье 10% фейк введение, заключение 92%

Затем в составной статье (составленной из небольших текстов нейросети)

первые 10 описаний с плюсами и минусами:

16% фейк, 18% фейк, 18% фейк, 80% фейк, 0% фейк, 0% фейк, 0% фейк, 0% фейк, 0% фейк, 99% фейк

— Заметил небольшую странность - отрывок отображается как фейк 99%, но если убрать одно слово, то процент падает до 6

— Некоторые отрезки текста копирайтера помечались как фейк

— Попробовали переписать фейковый отрезок контента через Рефраз Джаспера. Попробовали на 1 тексте Рефраз для заключения - процент фейка с 99 падает до 0. После исправления ошибок в Граммарли фейк 17%. Проверили ещё 2:

1) изначально фейк 99 - после рефраза 0% - после Граммарли 0%

2) так же 99 - 0 - 0

Краткие выводы:

1. Судя по результатам, большой разницы между текстами копирайтера и рефразом Jasper, сервис не видит

2. Инструмент детектит с немалым количеством ложных срабатываний

3. Можно исправлять отрезки текста, помеченные как фейк, через инструмент Rephrase у сервиса Jasper

4. Возможно Гугл не пессимизирует за сам по себе AI контент - только за спамный автосгенеренный.

5. Информационный сайт, где больше половины контента создано через нейросеть после апдейтов не пострадал