Рене Жирар: В последнее время атаки скрейперов просто зверские...

Рене Жирар:

В последнее время атаки скрейперов просто зверские - хуже, чем когда-либо!

Мой домен буквально бомбардируют с 2001:4860:7:622::ff.

Кто-нибудь ещё сталкивается с подобным от IPV6 из диапазона префиксов 2001:4860:7?!

Мы их блокируем, но есть подозрения, что это может быть гуглобот, хотя при проверке через верификатор юзер-агента он так не определяется.

Дэйв Смарт:

Похоже, это может быть один из префетч-прокси. По сути, Google предварительно загружает некоторые результаты выдачи, чтобы ускорить навигацию, подробнее тут.

Если проверить IP через ipinfo.io, должен показать ASN AS15169 (хотя я не уверен, что это универсально).

Если записывать все хедеры запросов в логах:

— purpose будет prefetch

— referer будет https://www.google.{thetld}

— sec_fetch_mode будет no-cors

То есть, это не скрейпер и не гуглобот, а префетч для ускорения загрузки вашего сайта при клике пользователя (кстати, обычно это признак того, что вы хорошо ранжируетесь хотя бы по каким-то запросам!).

Есть опубликованный список IP для этих прокси здесь (изначально для геолокации, но подойдет и для этого!). Позже добавлю их в свой инструмент проверки реальных IP гуглбота.

Вы можете контролировать объем или даже полностью отключить эту функцию для своего сайта, как описано здесь.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4709...