Вы же знаете, что вам не нужно гоняться за всеми новыми...

Вы же знаете, что вам не нужно гоняться за всеми новыми AI-ботами, чтобы включить их в свои файлы robots.txt?

Вместо того чтобы использовать подход "черного списка", просто переключитесь на подход "белого списка".

Просто перечислите все ваши UA + директивы и завершите файл фразой:

User-agent: *

Disallow: /

Таким образом, вы сможете контролировать только тех ботов, которые вы хотите, чтобы краулили ваш сайт.

Это правило действует на моем личном сайте уже десять лет, говорит Педро Диас: https://pedrodias.net/robots.txt.

Напоминание:

Если вы используете подход "блочить по умолчанию", вам не нужно беспокоиться об исключении новых систем ИИ и UA - за исключением случаев, когда вы хотите их разрешить.

И да, учитывая все это, соблюдайте стандарты robots.txt.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/3621...