​Google может кэшировать ваш robots.txt до 24 часов или меньше...

​Google может кэшировать ваш robots.txt до 24 часов или меньше, если вы ограничите кэширование:

Cache-Control: no-cache

Если вы внесете изменения, все равно может потребоваться до 24 часов, чтобы они были учтены.

Цепочки редиректов robots.txt могут привести к его игнорированию.

Ошибки клиента 4xx

Что произойдет, если Google больше не сможет получить ваш robots.txt?

REP (Robots Exclusion Protocol" (Протокол Исключения Роботов)):

- Статус-коды 400–499

- МОГУТ быть обработаны как разрешить все

Документация Search Central:

- Для всех 4xx, кроме 429 - рассматривать как разрешить все

- 429 (слишком много запросов) будет рассматриваться как 5xx

Справка Search Console:

- Первые 12 часов: остановить краулинг домена

- <= 30 дней: использовать последнюю закэшированную версию

- > 30 дней: проверить доступность сайта в целом, рассматривать как разрешить все

Если у вас есть информация, чувствительная к времени, она может не быть получена вовремя.

Код ответа 429 может привести к деиндексации вашего домена!

Ошибки сервера 5xx

Что произойдет, если Google больше не сможет получить ваш robots.txt?

REP, Документация Search Central:

- Рассматривать как полный запрет

- > 30 дней: предпочтительно использовать последнюю закэшированную версию, если она доступна - в противном случае рассматривать как 4xx (= разрешить все)

Справка Search Console:

- Рассматривать 4xx и 5xx одинаково: разрешить все

Противоречия между известными источниками:

- REP, Документация Search Central: ЗАПРЕТИТЬ ВСЕ

- Справка Search Console: РАЗРЕШИТЬ ВСЕ

- Гари Иллиес: ДЕИНДЕКС ВСЕГО

Ошибки DNS и тайм-ауты подключения будут обработаны аналогично!

Чему же верить???

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/4076...