Гуглобот игнорит HTTPS-редиректы из-за забытых disallow в HTTP...

Гуглобот игнорит HTTPS-редиректы из-за забытых disallow в HTTP robots.txt

Какой Robots.txt побеждает, если версии HTTP и HTTPS отличаются?

Ни один не получает приоритета.

Каждый протокол тянет свой собственный robots.txt: HTTP-файл управляет HTTP-урлами, HTTPS-файл — HTTPS-урлами.

Вероятно, система видит разные протоколы как разные URI, и применяемый файл зависит от запрашиваемого урла.

Когда HTTP редиректит на HTTPS, Гугл идет по редиректу, и HTTPS-версия становится актуальным пунктом назначения, однако эти два файла всё равно могут содержать разные правила.

Именно в этом расколе и кроется ловушка.

Если сайт полностью переехал на HTTPS и HTTP-урлов больше нет, HTTP-версия robots.txt особой роли не сыграет.

Но если старые HTTP-урлы всё ещё живы и редиректят на HTTPS, забытое правило disallow в HTTP-файле блочит Гуглу краулинг этих урлов, а Гуглу этот краулинг жизненно необходим, чтобы увидеть редирект на HTTPS.

В итоге редирект тупо не считывается.

В одном кейсе на HTTPS-сайте казалось, что для Гугла срабатывает HTTPS-файл.

Фикс оказался простым: нужно привести оба файла к паритету, пока оба протокола остаются доступны.

Джон Мюллер называет главную ошибку, которая чаще всего бьет по сайтам: HTTP-версия отдает дефолтную страницу сервера, из-за чего сайт выглядит мертвым.

Если на HTTP нечего краулить и индексировать, HTTP robots.txt в любом случае ни на что не повлияет.

В треде не ответили, как Bing и AI-краулеры разруливают конфликтующие файлы; все наблюдения выше касаются исключительно Гугла.

Инсайты комьюнити

— HTTP-страница, которая отдает 302 на HTTPS-версию — это отдельная аномалия: возможно, промах в правилах редиректа.

— Гипотеза о том, какой файл выигрывает: если нет жесткого сигнала, что HTTP можно обходить, системы ставят в очередь и запрашивают HTTPS-версию robots.txt по умолчанию. Если не с первого захода, то она в итоге побеждает, когда выбирается и подтверждается каноникал, а количество не-TLS урлов со временем должно падать. Настроенный HSTS на документах — это, скорее всего, сильный сигнал, особенно если домен был отправлен или автоматически добавлен в preload-список.

@MikeBlazerX

🚀Схемы — в MikeBlazerPRO.com / @MikeBlazerPRO