Crawling December: про использование CDN и сканирование...

Crawling December: про использование CDN и сканирование поисковыми ботами

Последний выпуск рубрики.

— инфраструктура сканирования Google поддерживает любой из вариантов без проблем - отдельное имя хоста (cdn.example.com) или когда СDN поддерживает основное имя хоста или одновременно и то и другое

— убедитесь, что поисковые роботы не заблокированы защитой CDN - в документации есть ссылки на диапазоны IP, используемые различными типами роботов Google

— используйте ответ 503 или 429 при временной непреднамеренной блокировке поисковых роботов

— если показываете капчу или иную проверку на робота - отдавайте 503

— избегайте ошибок Soft 404 (т.е. ответ 200 ОК по несуществующим урлам)

— пользуйтесь инструментом проверки URL в Search Console для проверки корректности рендеринга.

Источник новости https://t.me/notjohnmu/1749...