💻 Вопрос: Какие проблемы сайта можно выяснить с помощью анализа...

💻 Вопрос: Какие проблемы сайта можно выяснить с помощью анализа логов, о которых другими способами не узнать (Google Search Console, Яндекс Вебмастер, Google Analytics, Яндекс Метрика)? [Игорь, Уфа]

Сегодня в рубрике #askshakin участвует приглашенный эксперт Виктор Дюбуа, автор канала @drkwng. Благодарю Виктора за уделенное время и привожу его ответ:

Большую часть можно все же достать из консолей, но:

1. Часто эта информация появляется там с сильной задержкой;

2. Может быть представлена не в полном объеме (все мы помним, как GSC любит обрезать отчеты до 1000 строк);

3. Выгружать или фильтровать ее может быть не совсем удобно.

Метрика и Analytics же покажут только отчеты просмотрам URL, где установлен счетчик, причем без учета ботов в большинстве случаев.

Поэтому самое здравое применение access логов для SEO специалиста - анализ обхода сайта ботами.

1. Мы можем посмотреть, какие типы файлов сканирует бот. Из недавнего - YandexBot целый месяц "стучался" к MP3 файлу длительностью 2 сек 259 тысяч раз.

https://telegra.ph/file/6a985c051937cb2242a88.png - код 206 на графике

2. Можем делать срезы по коду ответа или делать ретроспективное представление этих данных, чтобы понимать реальную картину. Результат, который мы получаем при краулинге и который получается при нагрузке на сервер - часто разный.

3. Можем оценить, на что расходуется краулинговый бюджет бота и может даже сделать предположения, от чего он зависит. Например, если бот встречает много технических проблем при обходе, то можно предположить, что резонно было бы снизить бюджет для данного сайта или раздела в будущем или вообще не заходить на такие страницы (только не YandexBot - этот будет стучаться в бесконечную цепочку редиретов сотни раз несколько дней).

Для анализа делаем классификацию URL в датасете по какому-то паттерну, а далее строим линейные графики / диаграммы с параметром "типа страницы".

https://telegra.ph/file/3b3be2b0a8b458e5adc5e.png

https://telegra.ph/file/a33454f90d5e7c8975e8d.png

Сопоставив с нашими приоритетами в продвижении, можно понять, где копать дальше. Например, может стоит сместить краулинг какого-то раздела, который почти не обновляется, скорректировав xml карту сайта.

4. Узнать, кто краулит наш сайт под фейковым User-Agent. Или кто создает избыточную нагрузку (тот же AhrefsBot может быть довольно прожорливым). Ну и часто можно найти и заблокировать наглецов, которые тащат контент с сайта в промышленных масштабах на регулярной основе.

5. Вы ограничены своей фантазией. Можно проверять свои SEO гипотезы более точными данными, а не предполагать. Например, вы знали, что Googlebot ищет robots.txt почти в каждой подпапке вашего сайта? А что Facebook представляется фейковым User-Agent Googlebot (предположительно, проверка публикуемого контента)?

В заключение хочу порекомендовать лезть в логи с конкретной целью и вопросами. Иначе это просто поклонение данным или, иначе выражаясь, "наяривание на статку" 😋

Виктор Дюбуа, @drkwng

Источник новости https://t.me/shakinru/1384...