Гуглоиды опубликовали справочный документ о том, как...
Гуглоиды опубликовали справочный документ о том, как разрешить Google-Agent доступ к вашему сайту.
"Если ваш сервис не выполняет автоматическую проверку запросов от Google-Agent, вы можете проверить и разрешить такие запросы, руководствуясь следующими правилами:
• Убедитесь, что заголовок User-Agent содержит Google-Agent.
• Убедитесь, что IP-адрес присутствует в файле user-triggered-agents.json.
• Если предоставлен подписанный запрос, проверьте его, сверив заголовки Signature и Signature-Input (для Signature-Agent: g="https://agent.bot.goog") в соответствии со спецификацией Web Bot Auth.
• Для проверенных запросов пропустите проверки на «человечность» (bot challenges)."
Ссылки из поста:– https://developers.google.com/crawling/docs/crawle...
Источник новости https://t.me/sealytics/6175...
8 
