Сколько нужно редиректов, чтобы скрыть конечный URL цепочки от...

Сколько нужно редиректов, чтобы скрыть конечный URL цепочки от Googlebot / YandexBot / Bingbot?

По мотивам предыдущей публикации, решил проверить, а как далеко зайдут поисковые боты по цепочке редиректов.

Для этого сгенерировал цепочки 301 редиректов из 100 URL для 3 сайтов и отправил запрос на обход 1 URL цепочки в Google, Yandex и Bing:

▫️Googlebot - через мой тул

▫️YandexBot - в панели для вебмастеров Яндекс ("Индексирование - Переобход страниц")

▫️Bingbot - в панели для вебмастеров Bing ("Настройки сайта - Отправить URL-адреса")

Отправил, подождал... и полез в серверные логи👀

На всех 3 сайтах поведение ботов было идентичное:

🔸Googlebot - дошел до 21 URL в цепочке, соответственно, бот может обработать цепочку из 20 редиректов.

🔸YandexBot - дошел до 6 URL в цепочке в большинстве случаев и несколько раз до 7 URL, может обработать цепочку редиректов длиной 5-6 URL.

🔸Bingbot - дошел до 6 URL в цепочке, может обработать цепочку редиректов длиной 5 URL.

Но это не все, Yandexbot оказался самым жадным к новым ощущениям ботом, поэтому "постучался в цепочку" 530+ раз на каждом сайте за сутки. Googlebot и Bingbot прошлись по цепочке за сутки по одному разу. А еще это плавающее значение в 6-7 URL...

Странные дела, друзья, творятся в нашем курятнике. Чирик🐥

#seo #log_analysis #insights

@drkwng

Источник новости https://t.me/drkwng/29...