​Я делаю тонкую настройку нашего WAF, и мы столкнулись с 3...

​Я делаю тонкую настройку нашего WAF, и мы столкнулись с 3 НОВЫМИ юзер-агентами из действующего диапазона GOOGLE, резолвящегося по адресу google.com:

— GoogleProber,

— GoogleProducer,

— Google-Safety,

— Google-AMPHTML.

Все они отсутствуют в документации. Это официальные юзер-агенты, или фейковые, спрашивает Эрнан Марсили?

Джон Мюллер:

Вы можете проверить IP-адреса, если вам интересно. В документации сказано: "В этой таблице перечислена информация о распространенных краулерах Google, которые вы можете увидеть в логах сервера".

Эрнан Марсили:

Мы получаем много трафика с таких IP, как 107.178.194.6 или 107.178.194.212, которые отсутствуют в GSC JSON https://gstatic.com/ipranges/cloud.json, но используются GOOGLE APP ENGINE.

Крис Сильвер Смит:

Интересно, что эти IP-адреса резолвятся на серверы Google. Похоже, что это внутренние пользователи компьютеров Google.

Один из канонизированных IP-адресов: 212.194.178.107.gae.googleusercontent.com.

Похоже, что их следует добавить в список IP-адресов и т.д.

——

На сайт, которым я занимаюсь, поступают запросы с IP-адреса Google, но пользовательский агент никак не идентифицирует себя как бота, говорит Роберт Ротенберг.

Просто обычный браузер.

Возможно, это просто люди из Google посещают сайт, но просмотров очень много, а агент пользователя идентифицирует себя как Chrome 81.0.4044, который был выпущен в 2020 году.

(Разве шоколадная фабрика позволит сотрудникам использовать старые браузеры?)

Когда мы замечаем ботоподобное поведение, которое идентифицирует себя как обычный бот, мы стараемся блокировать его или иным образом вводим более строгие ограничения скорости.

Мы не возражаем, когда боты сканируют наш сайт, если они идентифицируют себя, ведут себя прилично и соблюдают robots.txt.

Джон Мюллер:

Мы заботимся о том, чтобы документировать все краулеры Google тут, и предлагаем способы их проверки тут (там также есть список IP-адресов). Может быть, это исходит от кого-то, кто запускает что-то на Google Cloud?

Роберт Ротенберг:

Я знаю об этом методе. Это адрес "google-proxy-*.google.com", поэтому я не уверен.

Часть проблемы в том, что мы используем тупое ограничение скорости по блокам IP. Иногда он включает пользователей Google или Bing, не являющихся ботами.

У нас также есть ежедневное оповещение, которое выделяет любые веб-ошибки из сетевых блоков Google, так что мы можем поймать любые проблемы с Googlebot.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/1311...