ChatGPT Atlas триггерит хиты от Googlebot?

Мы копнули эту тему, пишет Пенни Мэри.

После нескольких постов в LinkedIn (от Жан-Кристофа Шуинара) мы заметили, что Googlebot приходит хитануть наши страницы, как только их открываешь в Atlas.

Когда мы это увидели, мы сразу захотели абьюзнуть этот хак...

и он отлично пашет.

Откройте 100 URL вашего сайта в Atlas, и Googlebot придет к вам 200 раз.

Да, он заходит и десктопным, и мобильным ботом!

Разумеется, мы пробили диапазон IP: он действительно соответствует гугловскому → 66.249.

Тогда мы задались вопросом: как и почему Googlebot приходит на наши страницы после их открытия в Atlas?

Первая мысль была, что Atlas работает на Chromium.

Но мы затестили с другими браузерами, типа Brave, и такого поведения не обнаружили.

Потом мы полезли в DevTools (вкладка Network), чтобы посмотреть серверные обмены...

опять ничего.

Тогда мы пошли еще дальше, с помощью небольшой проги Little Snitch, которая позволяет видеть все внешние соединения, которые софт устанавливает во время работы.

И тут мы обнаружили, что Atlas обращается к нескольким сервисам Google: → google.com → gstatic.com → cdn.google → googleapis.com

Когда мы увидели googleapis.com, мы сразу подумали, что он, возможно, шлет урлы в API indexing.googleapis.com.

Но при детальном рассмотрении, никаких вызовов к этому домену не было.

Тогда мы начали по одному блокировать доступ к каждому домену, принадлежащему Google, чтобы воспроизвести то поведение, которое мы засекли.

И когда мы отключили gstatic.com, мы поняли, что Googlebot больше не приходит.

К сожалению, все, что отправляется на этот домен, зашифровано, и поэтому содержимое не видно.

Так что мы не можем знать, что именно Atlas отправляет на gstatic.com, что триггерит визит Googlebot, но мы знаем, что именно этот вызов является причиной.

Копаясь в логах, мы видим, что два бота, которые приходят на наши страницы, похожи на тех, что мы часто видим на наших сайтах:

→ десктопный бот: тот же user-agent и IP, что и у хитов бота, который обходит наши страницы после посещения одного из наших сайтмапов.

→ мобильный бот: тот же user-agent и IP, что и у хитов бота, который приходит посмотреть наши вакансии через API индексации.

Мы также заметили, что проанализированное поведение не является систематическим на наших сайтах, которые отправляют большие объемы вакансий в API индексации.

Есть связь?

@MikeBlazerX

Но самое "мясо" — в @MikeBlazerPRO