​🚨🤖 ChatGPT-User больше НЕ обходит файл robots.txt

​🚨🤖 ChatGPT-User больше НЕ обходит файл robots.txt...

По крайней мере, именно это я наблюдаю в лог-файлах на нескольких сайтах, сообщает Жером Саломон.

Похоже, это изменение произошло примерно 17 июня.

Как видно на скриншоте одного из примеров, оба других бота OpenAI по-прежнему обращаются к файлу robots.txt с обычной частотой.

Это не обязательно означает, что ChatGPT-User перестанет следовать правилам в robots.txt (если он вообще когда-либо им следовал).

Мое предположение: теперь он полагается на OAI-SearchBot, чтобы определить, можно ли краулить страницу.

Интересно, что в заметках к релизу OpenAI от 13 июня упоминается обновление функции поиска.

Примерно в это же время я заметил большой всплеск активности OAI-SearchBot.

Такая оптимизация была бы вполне логичной, если цель — сократить расходы на краулинг.

А вы наблюдаете ту же картину в своих логах?

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5494...