Обновленный список блокировок роботов генеративного ИИ в robots.txt

Обновленный список блокировок роботов генеративного ИИ в robots.txt

User-agent: CCBot

User-agent: Google-Extended

User-agent: GPTBot

User-agent: ChatGPT-User

User-agent: Omgilibot

User-agent: Omgili

User-agent: FacebookBot

User-agent: anthropic-ai

User-agent: cohere-ai

Disallow: /

anthropic-ai (Claude) & cohere-ai пока не подтверждены.

На сайте darkvisitors.com есть обновленный список всех AI-краулеров, и сколько крупнейших сайтов в настоящее время их блокируют.

Педро Диас рекомендует использовать директиву disallow для каждого UA вместо одной директивы disallow для всех.

Это более безопасный подход, поскольку мы не знаем, распознают ли эти боты новые способы группировки.

Я предложил: как насчет того, чтобы предоставлять кастомный robots.txt для каждого бота по user-agent?

Олеся Коробка говорит, что единственный способ отказаться от Google AI (SGE, Bard) - закрыть сайт на noindex, но они могут проигнорировать и это, если им нужны ваши данные для обучения.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/2819...