Краулер Google-Safety и "поцелуй смерти" для дроп-доменов

Краулер Google-Safety и "поцелуй смерти" для дроп-доменов

Я заметил, что краулер под названием "Google-Safety" заходит на мои сайты сразу после Googlebot, и всегда на одну и ту же страницу, — говорит SEOwner.

Согласно документации, этот юзер-агент выполняет специальное сканирование на предмет злоупотреблений со ссылками на ресурсах Google, но сайты, на которые он заходит, не являются ресурсами Google.

Похоже, это заявление — вранье.

Судя по моим наблюдениям, любой сайт, который сканирует юзер-агент "Google-Safety", не будет ранжироваться.

Похоже, что чаще всего он встречается на дроп-доменах.

Они также одновременно сканируют сайт с помощью "Google-InspectionTool", хотя ни инструмент для проверки рич сниппетов, ни другие инструменты не использовались.

Одновременно с этим они заходят с IP-адресов Virgin Media с хостнеймом "googlecdn", используя стандартный юзер-агент Chrome.

У меня есть другие дроп-домены, которые отлично ранжируются, и этот юзер-агент их не сканирует.

Ни один из моих новых или старых доменов, у которых не истек срок регистрации, также не подвергается его сканированию.

После проверки около десяти дроп-доменов стало ясно, что только те, которые посещал этот юзер-агент, нигде не ранжируются.

Кто-то может предположить, что это просто люди или вредоносный бот-трафик, но нет.

Я на 100% уверен, что это боты Google.

Все они сканируют сайт одновременно с другими подтвержденными юзер-агентами Google.

Юзер-агент "Google-Safety" игнорирует robots.txt, что соответствует его документации.

Многие IP-адреса принадлежат классу A/B Google (66.249), а в хостнейме IP-адресов Virgin Media буквально указано "googlecdn".

Паттерн стабильный.

Сначала краулер заходит на robots.txt.

Сразу после этого "Google-InspectionTool" сканирует страницу, затем "Google-Safety" сканирует ту же самую страницу, и, наконец, ее посещают с IP-адресов Virgin Media с хостнеймом "google-cdn".

Вот некоторые из задействованных IP-адресов, все они заходят одновременно: 62.252.170.135 с http://gate-google-cdn-04.network.virginmedia.net, 62.252.169.135 с http://basl-google-cdn-04.network.virginmedia.net, 213.143.10.197 с http://cache.google.com, и IP-адреса Google-Safety 66.249.83.100 и 74.125.217.102.

Это та же самая схема, которую вы наблюдаете при использовании инструмента проверки рич сниппетов, но этот инструмент не отправляет "Google-Safety" или IP-адреса Virgin Media одновременно.

Я подумал, что, возможно, какой-то индексатор пытается обмануть инструмент проверки, но я трижды перепроверил, и никакие индексаторы на страницу не были направлены.

Я обнаружил это, просто быстро проверив вручную раздел посетителей в cPanel на сайтах, которые, по моему мнению, могли быть затронуты, и довольно быстро заметил эту закономерность.

Затем я проверил более 20 своих самых успешных сайтов, и ни один из них не сканировался таким образом.

Для всех, кому это нужно, у меня также есть список плохих ботов, которых я блокирую на своем сервере.

Он также блокирует базовые парсеры на curl/python.

Вы можете найти его по адресу https://github.com/seowner/blocked-bots/blob/main/blocked-bots.txt.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5364...