SEO-лайфхак! Как обойти блокировку краулинга от Cloudflare в...

128

SEO-лайфхак!

Как обойти блокировку краулинга от Cloudflare в Screaming Frog.

Вот крутой лайфхак, который можно использовать, ДАЖЕ ЕСЛИ Cloudflare блокирует вас при стандартных настройках краулинга, т.е. с самой низкой скоростью обхода / количеством запросов URL и настройками user-agent.

Вот как это сделать:

1. Зайдите на сайт, который нужно просканировать, в своем браузере, например, в Chrome.

2. Откройте Devtools (F12) и перейдите на вкладку NETWORK.

3. Обновите страницу и дождитесь завершения всех запросов.

4. Найдите основной запрос (document), кликните по нему правой кнопкой мыши, затем выберите COPY > Copy all as cURL (bash).

5. Перейдите на https://curlconverter.com/ и вставьте скопированные данные cURL в поле.

6. Под полем, куда вы вставили текст, найдите вкладку HTTP и нажмите на нее.

7. Теперь откройте Screaming Frog, перейдите в Configuration > Crawl Config, затем нажмите на HTTP Header.

8. Установите USER AGENT точно такой же, как в выводе из cURL-конвертера (он находится почти в самом низу — скопируйте и вставьте его).

Это покажет Cloudflare, что запрос исходит от того же "user agent", что и ваша активная сессия в Chrome.

9. Установите значения ACCEPT, Accept Encoding, Cache Control, Pragma (некоторые можно оставить без изменений).

10. Теперь нажмите ADD, в текстовом поле введите Cookie, а затем скопируйте COOKIE из нижней части вашего вывода cURL.

11. Установите Accept-Language, скопировав его тоже.

12. Перейдите к настройкам SPEED и установите:

— MAX Threads: 1

— MAX URL/s: 0.1

13. В Screaming Frog перейдите в User-Agent, измените его на CUSTOM, а затем снова вставьте строку User-agent из вывода cURL-конвертера в поле HTTP-запроса user agent.

Теперь, перед запуском краулинга, вы ОБЯЗАТЕЛЬНО должны открыть сайт в Chrome / вашем браузере и ОБЯЗАТЕЛЬНО поддерживать сессию активной перед началом обхода (медленно походите по нескольким страницам в течение минуты или двух).

Затем запускайте краул :)

Это работает ДАЖЕ при агрессивной блокировке.

Больше скриншотов по ссылке.

@MikeBlazerX