Гуглобот упорно краулит сайт Даррена на Next.js только по...

Гуглобот упорно краулит сайт Даррена на Next.js только по HTTP/1.1, в то время как другие боты (например, Bing) используют HTTP/2+.

Это приводит к гораздо более медленному среднему времени ответа (776мс против 91мс на других сайтах), что влияет на эффективность краулингового бюджета.

Несмотря на наличие Cloudflare, HTTPS, HSTS-хидера, поддержки HTTP/2 и HTTP/3, а также TLS 1.2, Google делает около 25,000 краулов в день, но всегда по HTTP/1.1.

Дейв Смарт:

1. Метрики времени ответа в GSC не эквивалентны TTFB - они показывают время до последнего байта

2. Сетевой уровень гуглбота работает иначе, чем браузеры:

- Браузеры фокусируются на быстром отображении страницы

- Гуглбот приоритизирует эффективный краулинг в масштабах интернета

- Ресурсы ставятся в очередь и краулятся не обязательно одновременно

3. Преимущества HTTP/2 вроде мультиплексирования не критичны для краулинга/рендеринга/индексации

4. HTTP/2 создает дополнительную нагрузку как для сайта, так и для клиента

5. Для сайтов с менее частым краулингом или сильно кэшируемых сайтов HTTP/1.1 может быть эффективнее

6. Нет корреляции между HTTP/2 и улучшением позиций в выдаче

Джон Мюллер:

1. Google регулярно проверяет хосты на поддержку и эффективность HTTP/2

2. Для гуглбота основные преимущества HTTP/2:

- Мультиплексирование

- Сжатие хидеров

3. Критерии для перехода на HTTP/2:

- Сервер должен отвечать достаточно быстро

- 900мс для HTTP-страницы считается медленным

4. Главный фокус должен быть на улучшении скорости сайта

5. Более быстрое время ответа может привести к переходу на HTTP/2

6. Увеличение краул-способности не обязательно означает увеличение краулинга

7. Рекомендуется проверить SSR (Server Side Rendering) и отдачу кэша как возможные причины колебаний времени загрузки

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4218...