молаШ🖖 Интересные факты про Googlebot🤖, которые можно почерпнуть...

молаШ🖖 Интересные факты про Googlebot🤖, которые можно почерпнуть из логов сервера:

1️⃣ Доля ботов, сканирующих изображения и видео ("Googlebot-Image/1.0" и "Googlebot-Video/1.0"), критично мала на фоне обращений обычного "Googlebot/2.1". Даже у сайтов с большим количеством медиафайлов. Есть основания полагать, что на скан картинок/видео выделяется очень маленькая квота (оно и понятно, никаких претензий), так что лучше сразу корректно прописывать alt атрибуты к картинкам, а то потом еще ждать... 💤

Не уверен, что метод быстрой индексации через API Google (описание тула и результаты эксперимента) сработает для изображений (но можно будет попробовать, если кому интересно, поделитесь результатами в комментах).

2️⃣ Не все Googlebot в логах являются реально ботами Google (писал про это в предыдущей публикации). Можно проверить через Reverse DNS основной домен, привязанный к IP. Перед анализом лучше предварительно чистить выборку от лже-Googlebot, чтобы потом не пришлось бежать менять трусы делать правильные выводы.

3️⃣ Googlebot переходит по всем ссылкам, даже если там нет атрибута href, даже если они реализованы через js и даже если вы "зашифровали" их base64 кодом. Тут рассмотрим более подробно:

- по <a> ссылкам бот переходит, даже если там нет href атрибута;

- часто frontend-разработчики любят делать js ссылки с "data-link / data-href " атрибутами - это тоже съест бот, даже если они будут внутри <div> / <span> тегов;

- классы, содержащие слова-маркеры ссылки (всякие *link* в моем случае) могут привести к переходу ботом по ссылке.

💥 И напоследок приведу не совсем очевидный пример на основе сделанных выше выводов:

Есть кнопка, которая попадает под один из "признаков ссылки" выше, которая открывает popup окно. Это popup окно содержит нежелательные ссылки или контент (например, это popup корзины). Googlebot увидит ссылки и контент из этого popup окна, даже если изначально до клика по кнопке HTML код popup отстуствовал в DOM отрендеренной страницы.

Полезная ссылка: Список ботов Google и их User-Agent

Дисклеймер: Информация, изложенная на этом канале не является непреложной истиной. Это всего лишь результат моих наблюдений при работе с данными. Поэтому буду рад узнать, где не прав, кто по жизни и на какой стул мне садиться в комментариях 🤓 Гав!

#seo #log_analysis #insights

@drkwng

Источник новости https://t.me/drkwng/21...