Анализируем логи nginx по ответам, которые получают поисковые...

❓Вопрос 2412

Анализируем логи nginx по ответам, которые получают поисковые боты Google и Яндекса. Боты Google видят страницы с 404 ответом. Проверили сайт всеми возможными парсерами. Парсеры не видят ссылки на 404 станицы. В коде также нет ссылок на страницы с 404 ответами, которые видят боты Google. Как найти ссылки на страницы с 404 ошибками, которые видит Google?

❗️Ответ

💡Битые ссылки могут быть как следствием неправильной настройки CMS, так и результатом человеческих ошибок:

▫️Товар снят с продажи или закончился на складе.

▫️Адрес страницы изменился и не был настроен 301 редирект.

▫️Пользователь ошибочно скопировал ссылку на страницу.

▫️Удален медиа-файл (изображение, видео) не проверив, есть на него ссылки или нет.

👉 Почему в log-файлах находятся битые страницы:

▫️На момент сканирования сайта страницы отдавали 404-тую ошибку, поэтому попади в log как битые.

▫️Проблемные страницы отвечают 404-той ошибкой только для роботов Google и Яндекс.

👉 Как найти битые страницы, которые видит Google:

▫️Используя User-agent Google (из log-записей), просканируйте сайт парсером.

▫️Кроме, User-agent стоит максимально снять ограничения из парсинга

⚠️ В целом 404-страницы периодически проверяются поисковыми системами на работоспособность, но со временем 404-тые удаляются из базы поисковых систем.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...