Экспериментальный Javascript-инструмент для Screaming Frog...

104

Экспериментальный Javascript-инструмент для Screaming Frog оценивает оптимизацию веб-страниц для LLM через интеграцию с API Gemini 1.5 Flash.

В основе его логики — недавние исследования поведения LLM при ранжировании.

Основной принцип: Пакетная поточечная оценка (Batched Pointwise Scoring)

Скрипт основан на исследовании из статьи мая 2025 года, показывающем, что "пакетная поточечная оценка (Batched Pointwise Scoring)" повышает точность ранжирования LLM.

— Standard Pointwise (Стандартная поточечная оценка): Оценивает один документ за раз по отношению к запросу.

— Batched Pointwise (Пакетная поточечная оценка): Оценивает несколько документов по одному запросу, создавая сравнительный контекст для более надежных оценок релевантности.

Исследование с GPT-4o выявило, что пакетная поточечная оценка (Batched PW scoring) повысила точность ранжирования (NDCG@10) с 43.8% до 51.3%.

Этот прирост в 7.5 процентных пункта подтверждает, что пакетная обработка (batching) улучшает способность модели различать релевантность.

Функционал и выходные данные скрипта

Инструмент запускается в Screaming Frog и имитирует пакетную поточечную оценку, отправляя несколько сегментов контента (включая взвешенные H1, списки, абзацы и микроразметку ld+json) в одном структурированном промпте в Gemini API.

Промпт из пяти частей дает API команду:

1. Определить целевые запросы.

2. Предоставить оценку LLMO (от 0 до 5).

3. Проанализировать контент на уровне пассажей.

4. Сообщить о пробелах в контенте.

5. Дать рекомендации по оптимизации.

Скрипт возвращает JSON-отчет с анализом в интерфейс Screaming Frog.

Позиция контента vs. Оптимизация

Исследование "C-SEO Bench" показывает, что незначительные оптимизации контента слабо влияют на ранжирование в LLM.

В нем у 61% оптимизированных страниц позиции не изменились.

Данные указывают, что позиция документа в контекстном окне LLM решающее.

Занятие более высокой позиции в ответе LLM эффективнее, чем мелкие правки в текст, поскольку ранние документы получают больше видимости.

Ключевые ограничения

Этот инструмент экспериментальный и предлагает только общее направление анализа.

— Имитация пакетной обработки: Скрипт отправляет несколько пассажей в одном промпте, но не выполняет полноценного сравнительного ранжирования нескольких документов, нативно поддерживаемого API.

— Отсутствие самосогласованности: Он делает единственный запрос к API, тогда как в эталонных исследованиях для стабильности усредняли данные нескольких запросов.

— Ограничения по токенам: Анализ ограничен бюджетом токенов Gemini (~4096), что может привести к потере контекста на длинных страницах.

— Специфика модели: Результаты от Gemini 1.5 Flash и будут отличаться при работе с другими LLM.

— Отсутствие анализа внешних факторов: Скрипт не оценивает внешние ссылки или сущности.

https://metehan.ai/blog/llm-optimization-analyzer-screaming-frog/

@MikeBlazerX