Размеры интернета колоссальны, и задача поисковой машины &mdash...

Размеры интернета колоссальны, и задача поисковой машины — мгновенно найти в этом космосе то, что нужно пользователю. Иначе говоря, необходимо упорядочить документы так, чтобы в начале списка оказались наиболее релевантные. Но как отличить хорошие документы от плохих, а наилучшие от хороших?

Об этом Александр Сафронов (руководитель службы релевантности и лингвистики в Яндексе) рассказал на недавней встрече «Как устроен поиск Яндекса: о чем невозможно прочитать».

🎬 Видео и презентация: https://ln2.in/Pi01uTV

📌 Обзорная статья на сёрче: https://ln2.in/8l6kdeK

Кратко, ранжирование в Яндексе состоит из трёх основных компонентов:

1⃣ Лингвистика

Благодаря лингвистическому анализу, поисковик понимает тематику документа и его контент, а также интент пользователя по короткому запросу и истории поиска. Яндекс лучше других поисковиков понимает морфологию русского языка, оперирует большой базой синонимов, а также учитывает так называемые "связанные расширения" (слова, подчеркивающие тематику, либо LSI-фразы). На изображении выше приведен пример связанных расширений по запросу "достопримечательности праги".

2⃣ Факторы

На данный момент в Яндексе около 1500 факторов. Их можно разделить на несколько групп:

▪️ Статические документные (например, размер и возраст документа, его pagerank и посещаемость)

▪️ Запросные (например, длина запроса, язык, тематика и тип)

▪️ Текстовые (текстовая релевантность разных участков текста, близость нужных фраз к началу документа)

▪️ Ссылочные (количество и качество ссылок, ведущих на страницу)

▪️ Пользовательские (поведение пользователей на выдаче и на сайте)

▪️ Персональные (язык браузера, регион поиска, личные настройки)

▪️ Метафакторы (под этим термином, скорей всего, яндекс подразумевает совокупность других типов сигналов, а не данные мета-тегов)

3⃣ Машинное обучение

Теперь, из 1500 факторов Яндексу нужно получить одно число, на основе которого отсортировать документы. Этим занимается система MatrixNet, использующая машинное обучение асессорами и нейронные сети.

Всю эту красоту, конечно портит "Многорукий бандит", создавая рандом выдачи https://ln2.in/HybM7Ys

Источник новости https://t.me/devakatalk/88...