привет всем, любителям блокировать ботов посвящается

привет всем,

любителям блокировать ботов посвящается:

Fake bots, scrapers - что это и что с этим нужно делать?

Fake bots - это боты которые используют user-agent Googlebot или других search bots, при этом не проходят проверку по reverse DNS запросу, как описано в мануале https://developers.google.com/search/docs/advanced/crawling/verifying-googlebot

Scrapers (парсеры) - это боты со своими user-agent, которые краулят ваш сайт, как и fake bots, для разных целей, как анализ страниц, цен, воровство контента и т.п.

Что делать с такими ботами? Все зависит от вашей ситуации - если запросов от таких ботов не много, то просто забейте и не блочьте ничего.

Часто такие боты дают существенную нагрузку, например в ecommerce мы видели ситуации, когда 50% трафика - это scrapers.

В таком случае можно блокировать их по IP/subnet. Из практики, нужно очень и очень внимательно это делать, и смотреть на whois по каждому IP.

Мы видели случаи, когда блокировка подсети вроде бы какого то хостинга отключила доступ к сайту для района города.

Также недавно клиент нам сообщил, что он заблокировал IP не связанные с google по whois, но при этом получил сообщения от GSC, что страницы сайта не доступны. Мы анализируем этот кейс и сообщим о результатах.

Помните, что все не заблокируешь и скрейперы все равно будут. Контролируйте нагрузку на сайт.

Источник новости https://t.me/jetoctopus/132...