У ChatGPT нет времени на ваши медленные страницы ⏱️

135

Анализируя ботов OpenAI в логах сервера, я наткнулся на то, что нечасто встретишь у Гуглобота: множественные хиты от ботов с кодом ответа HTTP 499, — пишет Жером Саломон.

Что такое 499-я ошибка?

Код ответа HTTP 499 означает, что клиент закрыл соединение до того, как сервер успел ответить.

В нашем случае клиент — это бот, отправленный ChatGPT, который прерывает запрос из-за задержки ответа сервера.

🔍 Углубившись в анализ, я обнаружил:

— 99% этих хитов с 499-й ошибкой приходится на бота ChatGPT-user.

— Эта ошибка встречается не на всех сайтах.

— Ее доля может достигать 5% от всех хитов бота ChatGPT-user.

— Некоторые страницы могут на один запрос отдавать код 200, а на другой — 499.

Почему это важно?

ChatGPT-user — это бот, которого ChatGPT Search отправляет в режиме реального времени, чтобы получить контент и использовать его в качестве цитаты в ответе.

Он всегда краулит несколько источников одновременно, чтобы собрать самую релевантную информацию и на лету сформулировать исчерпывающий ответ.

Если ChatGPT-user закроет соединение до того, как ваш сервер успеет ответить, ваша страница не будет использована в ответе.

Вы упускаете возможность быть процитированным и, возможно, даже получить реферальный трафик.

🧠 Теории:

Учитывая, что поиск ChatGPT работает в реальном времени, он не может позволить себе ждать медленные страницы.

Если ваш сервер отвечает медленно или страница грузится слишком долго, ChatGPT прервет запрос, что и приведет к ошибке 499.

1. Вероятно, ChatGPT Search использует правила таймаута, чтобы обеспечить быстрые ответы и хороший пользовательский опыт.

2. Боту ChatGPT-user больше не нужно ждать вашу страницу — возможно, потому что процесс краулинга останавливается, как только X страниц успели ответить вовремя.

Это объясняет, почему одна и та же страница иногда отдает 200-й код, а иногда — 499-й.

Это значит, что ваш сайт конкурирует с другими по времени ответа сервера и скорости загрузки страниц.

Растущая важность Bot Experience

Это подчеркивает критический сдвиг: одной лишь оптимизации под пользовательский опыт уже недостаточно.

И дело не только в скорости.

Бот ChatGPT не рендерит JavaScript.

Если показ контента на вашей странице сильно зависит от JS, она будет невидима для бота.

Ему нужен быстрый, чистый, хорошо структурированный HTML.

В меняющемся ландшафте поиска с использованием ИИ приоритизация опыта взаимодействия с ботами становится критически важной.

Быстрый, доступный и хорошо структурированный контент не только улучшает вовлеченность пользователей, но и повышает вероятность того, что ваши страницы будут процитированы в ответах, сгенерированных ИИ.

@MikeBlazerX