​Исследование "Generative Models are Unsupervised...

​Исследование "Generative Models are Unsupervised Predictors of Page Quality: A Colossal-Scale Study" от Google Research исследует, как классификаторы, обученные различать написанный человеком и сгенерированный машиной текст, могут служить неконтролируемыми предикторами качества веб-страниц.

Применив такие модели к 500 миллионам веб-страниц эти детекторы могут эффективно идентифицировать низкокачественные страницы без явной маркировки.

Более того, многие низкокачественные страницы происходят из машинно-переведенного контента, ферм эссе, SEO-манипуляций и NSFW-контента.

Интересно отметить, что Google использует в статье классификацию веб-сайтов под названием NSFW.

NSFW (небезопасно для работы) сайты — это веб-сайты, содержащие контент, считающийся неприемлемым, откровенным или оскорбительным для профессионального или публичного просмотра.

Типы NSFW-контента:

— Контент для взрослых – Порнографический материал, откровенные изображения или видео.

— Насилие и кровь – Графические изображения насилия, травм или тревожные образы.

— Ненормативная лексика и язык вражды – Грубый язык, оскорбительные выражения или экстремистский контент.

— Наркотики и злоупотребление веществами – Контент, продвигающий или изображающий употребление наркотиков.

— Азартные игры и ставки – Онлайн-казино, спортивные ставки или нерегулируемые игровые сайты.

— Мошеннические сайты и вредоносное ПО – Поддельные веб-сайты, созданные для обмана пользователей или распространения вирусов.

Исследование выявляет несколько факторов, которые коррелируют с низкокачественными страницами:

Вероятность машинно-сгенерированного текста – Более высокие показатели указывают на контент плохого качества.

— Читабельность и связность – Бессвязный или непонятный текст является сильным сигналом низкого качества.

— Чрезмерная оптимизация ключевых слов – Злоупотребление ключевиками и SEO-манипуляции.

— Длина документа – Низкокачественный контент часто встречается в более коротких документах (~3000 символов или меньше).

— Тип контента – Высокие встречаемость на NSFW-сайтах, машинных переводах и фермах эссе.

https://research.google/pubs/generative-models-are-unsupervised-predictors-of-page-quality-a-colossal-scale-study/

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4838...