Критический анализ данных серверных логов показывает, что Google...

Критический анализ данных серверных логов показывает, что Google Indexing API больше не является надежным методом для запуска краулинга обычного веб-контента.

Хотя когда-то API был эффективным, почти мгновенным способом запросить индексацию, его поведение кардинально менялось поэтапно, что в итоге привело к полному разрыву связи с системой краулинга Google для большинства сайтов.

Детальный анализ, сравнивающий активность в логах сервера до и после ключевых дат, иллюстрирует это изменение.

До начала декабря 2022 года запрос, отправленный через Indexing API, действовал как приоритетный сигнал для краулеров Google.

Это предсказуемо запускало последовательность заходов ботов, включая бота Fetcher (не на базе Chrome) для проверки файла robots.txt, за которым следовал полный набор мобильных и десктопных Googlebot-ов для обработки страницы, что приводило к быстрой индексации.

Однако примерно с 5 декабря 2022 года эффективность системы резко снизилась.

Вызов API приводил лишь к одному заходу мобильного Гуглобота, что является значительным ухудшением по сравнению с предыдущим комплексным краулингом.

Окончательное изменение произошло в конце 2023 года.

Теперь связь между API и системой краулинга, по-видимому, полностью разорвана.

Это можно подтвердить с помощью окончательного теста.

При отправке URL событие успешно регистрируется в дашборде соответствующего сервисного аккаунта Google Cloud.

Это создает видимость того, что запрос получен и обрабатывается.

Однако проверка серверных логов целевого домена показывает полное отсутствие каких-либо соответствующих заходов краулера от Googlebot.

Фронтенд-система регистрирует пинг, но бэкенд-инфраструктура краулинга больше не задействуется.

Это создает обманчивую ситуацию, когда с точки зрения дашборда пользователя система выглядит работающей, но на самом деле никаких действий по краулингу или индексации не инициируется.

Единственный способ проверить этот разрыв — владеть сайтом и сравнивать данные из дашборда Google Cloud с серверными логами.

Таким образом, хотя Indexing API все еще может функционировать для заявленных целей, таких как вакансии и прямые трансляции, для всего остального веб-контента он больше не отправляет бота и должен считаться фактически нерабочим для запуска нового краулинга.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5461...