Что я узнал, проанализировав 7 миллионов записей логов

Что я узнал, проанализировав 7 миллионов записей логов

Прошло почти три года с тех пор, как я начал интенсивно работать над анализом лог-файлов для целей SEO, пишет Роман Адамита.

Единственный пользовательский агент, который я отслеживал во время этого исследования, - это Googlebot, который имел 124 различных юзерагента и несколько тысяч реальных IP-адресов.

Сайт, который я анализировал, - это сайт электронной коммерции, имеющий более 100 000 проиндексированных страниц, и, изучив и поняв файлы логов сайта, я нашел множество возможностей для оптимизации бюджета на сканирование и положительного влияния на доходы бренда.

Из исследования вы узнаете:

— Как часто Googlebot просматривает файл robots.txt?

— Есть ли способ увидеть в лог-файлах, откуда приходит Googlebot?

— Сколько различных IP-адресов имеет Googlebot?

— На какие страницы Googlebot заходит чаще?

— Страницы с кодом состояния 404 просматриваются более трех раз?

— Сколько раз Googlebot проползает 301-редирект?

— Как часто Googlebot просматривает страницы с пагинацией?

— Должен ли Googlebot чаще просматривать страницы с большим трафиком?

— Важно ли иметь много товаров в категории, чтобы привлечь больше внимания Googlebot?

— Насколько важна скорость страницы в контексте событий краулинга?

— Ускоряет ли перезагрузка машины анализ лог-файлов?

https://www.screamingfrog.co.uk/what-i-learnt-from-analysing-7-million-log-file-events/

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/879...