Парсил сайт недавно, некоторые страницы в итоге были с 403 и 429...

❓Вопрос 5015

Парсил сайт недавно, некоторые страницы в итоге были с 403 и 429 ответом сервера. Проверил в консоле - все нормально, ответ 200 и страницы в индексе. Подскажите, откуда может взяться проблема? И если страницы в консоли проиндексированы - значит беспокоиться не о чем?

❗️Ответ

Проблема при которой во время парса страницы имели 403 и 429 код ответа сервера, но при проверке в GSC все нормально, может иметь несколько причины:

1️⃣ Сервер может по-разному реагировать на запросы от различных программ (например, парсеров) и поисковых ботов (например, Googlebot). Он может блокировать или ограничивать доступ для парсеров, чтобы предотвратить чрезмерную нагрузку или нежелательное использование данных, но при этом корректно отдавать контент Googlebot.

2️⃣ Ошибки 403 и 429 могли быть временными проблемами, возникшими в момент парсинга. Например, кратковременная перегрузка сервера или сбой в системе безопасности. К моменту проверки в консоли проблема могла быть уже решена.

3️⃣ Ошибка 429 (Too Many Requests) прямо указывает на то, что ваш парсер отправлял слишком много запросов за короткий промежуток времени. Сервер мог временно заблокировать его для защиты от DoS-атак.

В целом, если страницы отображаются в Google Search Console как проиндексированные и имеют статус "Действительная", это означает, что Googlebot успешно получил доступ к этим страницам и обработал их содержимое. В таком случае, беспокоиться, скорее всего, не о чем с точки зрения индексации и видимости в поиске.

Ну и в следующий раз при запуске парса попробуйте запустить парсинг с меньшей интенсивностью или с другим User-Agent, чтобы понять, меняется ли ситуация.

⚠️ Однако, чтоб полностью разобраться в проблеме, рекомендуем проанализировать логи Вашего сервера во время парса сайта. логи сервера могут предоставить более подробную информацию о причинах возникновения ошибок 403 и 429, включая IP-адреса запросов и точное время возникновения ошибок.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...