robots.txt всегда предназначался для ботов/краулеров

robots.txt всегда предназначался для ботов/краулеров.

ИИ-агенты в эту категорию не попадают.

ИИ-агенты просматривают сайты от имени людей.

Не вижу причин, почему они должны подчиняться robots.txt, — говорит Мальте Ландвер.

В чем разница между тем, как я поручаю стажеру посетить 10 статей в блоге, чтобы сделать по ним краткое изложение, и тем, как я поручаю это Perplexity?

(Краулеры, собирающие большие объемы данных для обучения, конечно, должны подчиняться robots.txt.)

Если я запускаю браузер, в котором настроено всегда открывать 10 вкладок, это человеческий визит или визит бота на каждый из этих сайтов?

Если я использую Comet browser, то кто заходит на сайт — человек или бот?

Если я использую плагин в Chrome, чтобы получить краткое содержание сайта вместо того, чтобы читать его, это визит человека или бота?

Думаю, границы здесь гораздо более размыты, чем утверждают сторонники агентского подхода.

---

К слову, у Cloudflare тоже есть свое решение для автоматизации браузера / парсинга, которое любой может использовать для парсинга веб-страниц, запрещенных в robots.txt, — говорит Маркус Гилл Гринвуд.

https://developers.cloudflare.com/browser-rendering/

---

Perplexity постоянно модифицирует свой user agent, меняет IP и ASN, чтобы скрыть свою краулинговую активность, что прямо противоречит явным запретам на обход, установленным сайтами?

Но ведь браузеры Google Chrome у пользователей не блокируются, почему Perplexity чем-то отличается от обычного браузера?

Все начинается с реального запроса пользователя, это просто другой способ доступа к контенту.

Perplexity ДОЛЖЕН игнорить robots.txt, так же, как его игнорирует мое приложение Chrome, — говорит Илиас Исм.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5532...