Используя robots.txt, вы можете контролировать как ваш контент...

Используя robots.txt, вы можете контролировать как ваш контент отображается в поиске ChatGPT, одновременно предотвращая его использование для обучения ИИ.

Чтобы контент отображался в результатах поиска ChatGPT:

— Разрешите краулинг вашего сайта ботам OAI-SearchBot и Bingbot

— Не блокируйте IP-адреса, используемые этими ботами

— Никаких дополнительных действий не требуется, так как OpenAI использует данные Bing и OAI-SearchBot

Чтобы заблокировать обучение ИИ, сохранив при этом видимость в поиске, добавьте в robots.txt следующие строки:

User-agent: Amazonbot

User-agent: Anthropic-ai

User-agent: Applebot-Extended

User-agent: AwarioRssBot

User-agent: AwarioSmartBot

User-agent: Bytespider

User-agent: CCBot

User-agent: ChatGPT-User

User-agent: ClaudeBot

User-agent: Claude-Web

User-agent: Cohere-ai

User-agent: DataForSeoBot

User-agent: FacebookBot

User-agent: Google-Extended

User-agent: GPTBot

User-agent: ImagesiftBot

User-agent: Magpie-crawler

User-agent: Omgili

User-agent: Omgilibot

User-agent: Peer39_crawler

User-agent: Peer39_crawler/1.0

User-agent: PerplexityBot

User-agent: YouBot

Disallow: /

Такая конфигурация гарантирует, что ваш контент будет отображаться в результатах поиска ChatGPT, при этом не позволяя компаниям, разрабатывающим ИИ, использовать его для обучения своих моделей.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4368...