Большинство людей фокусируются на том, как LLM сканируют страницы

Mike Blazer

Большинство людей фокусируются на том, как LLM сканируют страницы.

Меня всё больше интересует, что они на самом деле сохраняют после сканирования, пишет Акарш.

Взгляните на этот ответ от системы ИИ-поиска.

Вместо того чтобы хранить весь HTML целиком, одной из ключевых извлекаемых частей информации становится сниппет.

Этот сниппет — не просто мета-дескрипшн.

Это сгенерированное ИИ краткое содержание страницы, которое захватывает:

✅ Главную тему

✅ Важные сущности

✅ Ключевые выводы

✅ Контекст, помогающий определить релевантность

А теперь подумайте о том, что происходит дальше.

Когда кто-то спрашивает: "What's the best laptop for gaming"?

LLM не читает тысячи веб-страниц с нуля каждый раз.

Она сначала ищет по таким репрезентациям, как эти сниппеты, чтобы определить релевантные документы, прежде чем решить, какие страницы извлечь, проанализировать или процитировать.

Подумайте об этом так.

Прежде чем LLM решит, использовать ли ваш контент...

Ей сначала нужно понять, о чём ваша страница.

Это понимание в конечном итоге превращается во что-то вроде сниппета, который вы видите ниже.

Если в этой репрезентации отсутствует ключевой контекст, сущности или выводы...

У LLM может никогда не появиться повода вернуться на вашу страницу.

Возможно, новая проблема оптимизации заключается не только в том: "Может ли Google просканировать мой контент"?

Но и в том: "Может ли LLM точно представить мой контент"?

Инсайты комьюнити

— Сохранённые репрезентации страниц в системах ИИ-поиска обычно составляют около 1080 символов; сниппет заметно длиннее этого — редкость.

— Показанный сниппет создаётся в процессе живого извлечения RAG во время запроса, а не вызывается из обучающих данных модели.

@MikeBlazerX