Я создал инструмент, который использует векторные эмбеддинги...

Я создал инструмент, который использует векторные эмбеддинги Bert Base Uncased в связке с косинусным сходством и евклидовым расстоянием, делится Кунджал Чохан.

Он измеряет, насколько контент веб-страниц близок к целевому запросу.

Вы вставляете текст, который система конвертирует в векторные эмбеддинги, а затем сравнивает векторный эмбеддинг одной страницы с другими, а также с целевым запросом.

На базовом уровне это помогает оценить разрыв, указывая на неполноту контента.

Это не значит, что одно только это всегда будет работать как сигнал ранжирования, поскольку мы знаем, что существуют сотни факторов; иногда мы видим, как авторитетный сайт ранжируется выше с малоценным контентом.

Тем не менее, полнота контента, его богатство и покрытие сущностей — это тоже факторы ранжирования, и этот инструмент помогает оценить имеющийся разрыв или дистанцию.

Косинусное сходство = Чем выше число, тем вы ближе Евклидово расстояние = Чем ниже число, тем вы ближе

Вот ссылка на инструмент: https://contentvectordistancecorrelation-fe6hxfbywh9tcr2dnvhmdo.streamlit.app/

Видео тут.

Инсайты комьюнити

— Сначала считайте дистанцию эмбеддингов между запросами, а уже потом — от страницы к запросу: в одном списке ключей для школы танго шесть почти идентичных строк схлопнулись в одну страницу, а кластер вокруг 'private dance coach' без основного термина "tango" выделился как самая дорогая услуга, которую сортировка по основному термину скрывала.

— Замер дистанции от всего контента до ключа оказался слишком зашумленным в тестах одной из команд; они остановились на кластеризации запросов в темы/подтемы с помощью графовых алгоритмов, после чего измеряли дистанцию до векторных саммари страниц.

— Стоимость эмбеддингов составляет около $0.00002 за 1000 токенов или вообще бесплатно с sfr-embedding-mistral через Ollama; протестируйте более новую модель эмбеддингов, чем BERT base, на тех же страницах, прежде чем доверять дистанциям.

@MikeBlazerX

📈 "Пушки" — в @MikeBlazerPRO

Источник новости https://t.me/mikeblazerx/6774...