Как генеративные модели (ChatGPT-подобные) могут быть...

Как генеративные модели (ChatGPT-подобные) могут быть использованы для анализа качества страницы?

На Search Engine Land разобрали гугловскую публикацию 2020 года с темой "Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study".

Если в двух словах, то обнаружение машинного авторства (сгенерированного текста) может быть мощным прокси для оценки качества текста.

Для эксперимента авторы использовали:

- 3 датасета:

-- Web500M (случайная выборка из корпуса в 500 миллионов англоязычных веб-страниц, полученных из commoncrawl org)

-- 250 тыс. генераций текста GPT-2

-- Grover-Output: 1,2 млн сгенерированных статей с использованием предварительно обученной модели Grover-Base, которая была разработана для выявления фейковых новостей

- детекторы:

-- детектор GPT-2 на основе RoBERTa от OpenAI

-- модель GLTR

-- The Spam Baseline - классификатор, обученный на датасете Enron Spam Email Dataset для определения вероятности, является ли документ спамом.

На скриншотах постом выше:

1) Относительная оценок детектора OpenAI по разным темам.

Для адалта картина не вызывает вопросов, а в "Литературу" просто попали фермы эссе, в "Здоровье" - всякая виагра :)

2) Облако слов из Web500M для различных диапазонов оценок детектора OpenAI

3) Доля документов с оценками детектора OpenAI в разных диапазонах в зависимости от длины.

Контент низкого качества, как правило, короче и достигает пика в 3000 символов.

Авторы наблюдают всплеск доли низкокачественных документов в начале 2019 года. Одно из объяснений - зрелость технологий для быстрой генерации реалистичных текстов.

Выводы в оригинальном исследовании:

"В статье утверждается, что детекторы, обученные различать текст, написанный человеком и AI-текст, являются эффективными предикторами языкового качества веб-страниц. Они превосходят базовый уровень классификатора спама. Мы подтверждаем это с помощью тщательной человеческой проверки.

Мы заметили интересные тематические и временные закономерности в низкокачественном контенте и обнаружили, что многие правонарушители ("offenders" в оригинале) являются либо 1) машинным переводом текста 2) фермами эссе 3) SEO-текстами ("attempts at search engine optimization" в оригинале) 4) NSFW, т.е. взрослый контент."

Источник новости https://t.me/notjohnmu/236...