SEO-"эксперты" придают косинусному сходству слишком...

SEO-"эксперты" придают косинусному сходству слишком большое значение для семантического соответствия!

Косинусное сходство - это чисто геометрическая мера, основанная на НАПРАВЛЕНИИ вектора, а не на ВЕЛИЧИНЕ!

Учет только углов между векторами без учета их длин - это ОГРАНИЧЕНИЕ!

Косинусное сходство учитывает только ОРИЕНТАЦИЮ векторов, а не их величину.

Ему важны ПРИСУТСТВИЕ и ЧАСТОТА слов, а не длина документа...

И это еще не все!

Косинусное сходство предполагает, что векторное пространство идеально отражает семантические связи.

→ Понимают ли люди, что эмбеддинги - это аппроксимации, натренированные на конечных данных?

Эмбендинги не всегда могут передать все нюансы...

Возможно, проще всего понять, что косинусоидальное сходство не учитывает порядок слов (или синтаксис), а ведь оба эти фактора очень важны для смысла!

Демонстрация этого:

🟢 Собака гналась за кошкой

⭕️ Кошка гналась за собакой

Несмотря на противоположные значения, в модели bag-of-words (где текст представлен как неупорядоченный набор терминов) эти предложения могут иметь одинаковые векторы и косинусное сходство, равное 1.

Хотите еще один простой пример?

⭕️ Студент оценил учителя

🟢 Учитель оценил студента

Поскольку эти предложения содержат одинаковые слова, их векторные представления очень похожи: у них высокий показатель косинусного сходства...

Но значения ОЧЕНЬ разные!

Представьте себе риск, когда возникает сложная ситуация! 🥲

Да, косинусное сходство - простая концепция, но эта простота приводит к семантическим жертвам!

Косинусное сходство часто упускает СМЫСЛ, игнорируя ВЕЛИЧИНУ и КОНТЕКСТ!

Мы все знаем, что смысл заключается не только в самих словах, но и в их взаимосвязи и ПОРЯДКЕ.

А косинусное сходство, по крайней мере в его базовой форме, упускает эти существенные различия.

В обработке естественного языка КОНТЕКСТ и ПОРЯДОК слов очень важны, но базовое косинусное сходство не учитывает эти факторы!

И даже при использовании эмбеддингов, включающих некоторый контекст (например, трансформаторов), косинусное сходство не сможет полностью отразить структурные различия, которые мы интуитивно понимаем.

Люди, работающие в сфере SEO, придают косинусному сходству слишком большое значение для семантического соответствия, поскольку переоценивают его способность отражать богатство языка.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4839...