Подскажите плиз такой вопрос: если я жабой нахожу на сайте...

❓Вопрос 5126

Подскажите плиз такой вопрос: если я жабой нахожу на сайте внешние ссылки, которые якобы 403, но по факту по ним открываются нормальные страницы - это типа сайт по ссылке блочит краулер и поэтому такой код отдается? И это сильно плохо вообще или можно забить на такие ссылки и жить спокойно?

❗️Ответ

Если вы с помощью краулера находите внешние ссылки, которые отдают код 403, но при этом страницы по этим ссылкам открываются нормально в браузере, то, скорее всего, сайт действительно блокирует доступ для краулеров. Это довольно распространенная практика. У многих сайтов стоит защита от ботов и они фильтруют User Agent, IP, частоту запросов и т.п. Соответственно популярные краулеры, часто попадают в блэклисты.

⚠️ Тут важно понимать, какой реальный статус у этих страниц:

✅ Попробуйте сменить эмулятор бота (“сканировать, как Googlebot”) в вашем краулере, иногда это помогает.

✅ Наиболее точно проверить статус страницы, как ее “видит” Google можно только через GSC.

✅ Если же у вас нет доступа к консоли сайта акцептора, то определить можно и косвенным образом, например, через оператор site проверить несколько таких ссылок.

Если страница есть в выдаче, то сайт, скорее всего, нормально индексируется Google и ничего делать не надо.

Если страниц действительно нет в индексе, то, скорее всего, они могут быть закрыты от Google, и лучше такие ссылки удалить, если они не играют важной для вас коммерческой роли.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...