🙈 «Проблемы» парсинга Есть в работе крупные порталы...

🙈 «Проблемы» парсинга

Есть в работе крупные порталы. Спарсить их довольно проблематично. Нехватку ресурсов можно решить, а вот блокировки со стороны сервера или защитных сервисов уже сложнее. Пробовали заранее разрешать парсинг определенный пул IP-адресов, которые будут парсить сайт в течение долгого времени, но IP-адреса могут меняться и каждый месяц заниматься этим вопросом не очень интересно.

В итоге, нашли интересное решение. В лягушке же можно целиться по юзер-агенту? Вот так (как на скриншоте) можно ходить на сайт как мобильный Googlebot, но с нашим собственным названием и, соответственно, на стороне клиента разрешаем этот юзер-агент по любым IP-адресам и спокойной парсим сайт неделями.

@seosekretiki

Источник новости https://t.me/seosekretiki/965...