​Стоит ли блокировать бот google-extended?

​Стоит ли блокировать бот google-extended?

ОТВЕТ: Скорее всего, нет.

Если вы это сделаете, то не сможете участвовать в Grounded Search.

ЧТО ТАКОЕ GOOGLE-EXTENDED?

— Это бот, который теперь есть в официальном списке краулеров Google

— Это не бот в привычном нам понимании.

— У него нет отдельной строки user agent в HTTP-запросе.

— Краулинг происходит с использованием существующих user agent'ов Google.

— Это директива user-agent, которую можно использовать в robots.txt, чтобы разрешить или запретить использование вашего контента для обучения будущих поколений моделей Gemini. Эти модели лежат в основе приложений Gemini, Vertex AI API for Gemini и для "заземления" (grounding).

— Блокировка Google-Extended НЕ является фактором ранжирования.

— Блокировка Google-Extended НЕ повлияет на попадание страниц в индекс Google Search.

ЧТО ТАКОЕ ЗАЗЕМЛЕНИЕ

— На самом деле, это широкий термин, а не только гугловский.

— Это способ "привязать" LLM к реальным источникам при генерации ответа.

— Вместо того чтобы "галлюцинировать", модель в реальном времени обращается к набору проверенного и достоверного контента — вашему сайту, страницам продуктов, документации.

— Заземление делает ответы модели более точными и обоснованными.

— Если вы не участвуете в заземлении, то вас просто нет в игре, когда клиенты задают вопросы в Gemini.

ПРИМЕРЫ ПРИЧИН, ПО КОТОРЫМ ВАШ САЙТ МОЖЕТ НЕ ПОПАСТЬ В ЗАЗЕМЛЕНИЕ:

— Запрет в robots.txt

— Низкокачественный контент

— Вы не входите в набор данных, на котором дообучалась модель для заземления.

— LLM не знают о вашем сайте/бренде.

ВАЖНО ЗНАТЬ:

Даже если ваш сайт проиндексирован в Google Поиске, Gemini может не "видеть" его или не отдавать ему предпочтение на уровне заземления.

Блокировка Google-Extended — это не блокировка бота.

Вы блокируете разрешение на использование контента.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5262...