Обнаружение низкокачественных веб-страниц с помощью сжатия

139

Поисковики могут использовать степень сжатия веб-страниц как сигнал качества для выявления некачественного контента.

Сжимаемость показывает, насколько можно уменьшить размер файла, сохранив при этом его основную информацию.

В компьютерных технологиях сжатие работает путем определения повторяющихся паттернов, слов и фраз внутри файла и замены их более короткими кодами.

Этот процесс уменьшает размеры файлов, сохраняя при этом важную информацию.

Для поисковых систем эта возможность служит двойной цели: экономит место для хранения и помогает выявлять проблемный контент.

Важное исследование Microsoft 2006 года подробно изучило эту концепцию.

Исследование показало, что страницы с коэффициентом сжатия 4.0 или выше с вероятностью 70% являются спамным контентом.

При использовании только метода сжатия удалось выявить 27.9% спамных страниц, но при этом было 12.0% ложных срабатываний.

Однако настоящий прорыв произошел при комбинировании анализа сжатия с другими сигналами качества.

Такой мультисигнальный подход показал впечатляющие результаты: 95.4% общей точности в обнаружении спама, при этом правильно определялось 86.2% спамных страниц со значительным снижением фолс-позитивов.

Важно отметить, что только около 1.5% всех страниц показали высокие коэффициенты сжатия, что говорит об эффективности этой метрики для выявления определенных типов проблемного контента.

Этот метод остается актуальным и сегодня для обнаружения распространенных спам-техник, таких как дорвеи, дубли контента и переспам ключевыми словами.

https://dl.acm.org/doi/abs/10.1145/1135777.1135794

@MikeBlazerX