Кайл Раштон Макгрегор постанул о проблеме в GSC, где...

Кайл Раштон Макгрегор постанул о проблеме в GSC, где показываются ошибки получения robots.txt на множественных поддоменах, которых на самом деле не существует.

Основной вопрос был: "Почему Гугл внезапно начал краулить robots.txt, которых не существует?"

Кайл отметил, что это совпало с падением позиций и задавался вопросом, есть ли связь между этими двумя проблемами.

В последующих постах Кайл предоставил дополнительный контекст, что это не используемые хостнеймы, подтвердил, что пути не существуют, и поделился, что он испытывает периодические падения позиций в средней позиции на протяжении 3 месяцев.

Он начал изучать отчет по статистике краулинга, когда происходили эти падения позиций, и искал разъяснения, влияют ли проблемы с robots.txt на колебания ранжирования.

Советы и инсайты сообщества:

— Согласно документации Гугла, robots.txt должен существовать для всех доменов/поддоменов - по своей природе это 404, если его не существует

— Если Гугл недавно обнаружил эти поддомены, по природе вещей они сначала проверят файл robots.txt, чтобы получить инструкции

— Если они не получают эти инструкции, они могут просто краулить всё (при условии отсутствия других ограничений - например, если контент защищен паролем, или если статус-коды хидера Forbidden (403) - это тоже заблокирует их)

— Запросы robots.txt не будут связаны с какими-либо проблемами ранжирования

— Это просто технические проверки перед любым краулингом нового хостнейма / версии протокола

— "Краулинговый бюджет" работает на основе хостнейма, поэтому новый контент с новых хостнеймов не должен быть проблемой с этой точки зрения

— Однако, если контент на этих новых хостнеймах странный (например: когда кто-то взламывает сайт, создает поддомен и заполняет его спамом), тогда контент может быть проблемой (проблема в спаме, а не в новом хостнейме / файле robots.txt)

— Для основного домена проблемы с robots.txt не обязательно влияют на колебания ранжирования, если только не было БОЛЬШОЙ проблемы

— Проблемы раздувания краула на поддомене (например, открытый API-эндпоинт) не крадут краулинговый бюджет у других хостнеймов домена

— Но это может повлиять на ранжирование основного сайта, если поддомен взломан

@MikeBlazerX