Screaming Frog не парсит товары и страницы бренда. Сайт на...

❓Вопрос 3475

Screaming Frog не парсит товары и страницы бренда. Сайт на 1С:Битрикс. Другие сайты Screaming Frog парсит, проблема не в настройках парсера. Подскажите, в чем может быть проблема?

❗️Ответ

Если Screaming Frog парсит другие сайты, но не может проанализировать товары и страницы бренда на сайте, который работает на 1С:Битрикс, возможно, проблема связана с особенностями структуры и генерации контента на этом конкретном сайте.

👉 Причины, по которым возникает такая проблема:

1️⃣ 1С:Битрикс может использовать AJAX или JavaScript для динамической загрузки контента на странице. Если Screaming Frog не выполняет JavaScript или не может обрабатывать AJAX-запросы, то он может упустить некоторый контент, включая товары и страницы бренда. В таком случае, попробуйте включить опцию "Render JavaScript" в настройках парсера Screaming Frog.

2️⃣ Возможно, сайт на 1С:Битрикс имеет такие механизмы, которые блокируют запросы от Screaming Frog. Проверьте, есть ли на сайте какие-либо анти-парсинговые меры. Также можно попробовать сменить скан-бота.

3️⃣ Если Screaming Frog отправляет слишком много запросов на сайт за короткий промежуток времени, сервер может временно заблокировать доступ. Убедитесь, что скорость сканирования в Screaming Frog установлена на адекватное значение и не превышает ограничения, установленные сайтом.

4️⃣ Если страницы товаров и брендов имеют ограниченный доступ или требуют аутентификации, Screaming Frog может не иметь достаточных прав для доступа к ним. Проверьте, есть ли общий доступ для этих страниц, или предоставьте дополнительные учетные данные в Screaming Frog.

5️⃣ Убедитесь, что URL-адреса страниц товаров и брендов на сайте соответствуют ожидаемому формату и не содержат каких-либо уникальных параметров или хешей, которые могут затруднить парсинг.

⚠️ Если после описанных действий проблема остается, тогда стоит обратиться к команде поддержки Screaming Frog для дополнительной помощи в решении проблемы.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...