Кейс Сергея Безбородова из Jet Octopus: как Googlebot чуть не...

Кейс Сергея Безбородова из Jet Octopus: как Googlebot чуть не убил сайт интернет-магазина чрезмерным сканированием

Благодаря боту, сайт стал загружаться 2-5 сек. Как пытались тормознуть бота:

Добавили в robots.txt Disallow: *PageSpeed=noscript* – это частично решило проблему, но бот все равно сканировал много лишних страниц.

Робот ходил пересечениям фильтров, добавили еще строчку в robots.txt Disallow: *?*.

Выводы

1. Метатег noindex, follow работает как follow, и Googlebot нужно достаточно много времени, чтобы он стал трактоваться как nofollow. В данном случае 40 дней было недостаточно.

2. Googlebot потребовалось около 17 часов, чтобы применить новые правила robots.txt для блокировки PageSpeed=noscript, и в то же время блокировка “?” сработала в течение часа.

3. Cобирайте логи. Это в дальнейшем может очень помочь в поиске проблем и анализе сайта. Современные хранилища весьма дешевы, можно складывать данные даже в Dropbox стоимостью 10 USD/mo за 2 ТБ данных. Если же у вас большой сайт с огромными объемами трафика, напомните вашему devops про Amazon Glacier, где за те же 10 USD/mo можно хранить 25 TБ данных.

Статья: https://m.seonews.ru/analytics/keys-kak-googlebot-chut-ne-ubil-sayt-internet-magazina-chrezmernym-skanirovaniem/

Источник новости https://t.me/seospecialist/144...