Уилл Критчлоу обнаружил, что Google, похоже, исправили ошибку...

178

Уилл Критчлоу обнаружил, что Google, похоже, исправили ошибку, связанную с тем, как googlebot обрабатывал файлы robots.txt, содержащие ссылки на карты сайта.

Они исправили эту проблему в конце 2021 года, но пока не удалось найти никаких сообщений или обсуждений.

Официальная спецификация robots.txt и документация Google утверждают, что строка sitemap НЕ ДОЛЖНА завершать группу, что означает следующее (опять же, от Google) (скрин 2).

Люди заметили, что веб-инструмент Уилла для тестирования robots.txt realrobotstxt.com ведет себя неправильно в этой ситуации, и написали ему письмо, чтобы сообщить об ошибке.

Уилл был озадачен - разве парсер с открытым исходным кодом не совпадает с тем, который Google сам использует для googlebot?

По их данным, настоящий googlebot НЕ был (сейчас, в середине 2023 года) подвержен этой ошибке.

Первой мыслью было, что это означает, что они ушли от открытого исходного кода, но когда Уиллу удалось собрать последнюю версию, он обнаружил, что ошибка исправлена.

В репозитории github видно, что исправление было сделано в ноябре 2021 года (скрин 3).

Уилл не обновил свой инструмент до последней версии, поэтому в его инструменте все еще была эта ошибка (как и в других, которые полагаются на инструмент с открытым исходным кодом.

Последствия:

1. До фикса googlebot, предположительно, был неисправен и краулил там, где не должен был, и наоборот.

2. После фикса поведение гуглобота неожиданно изменилось - особенно для тех, кто тестировал его с помощью инструмента с открытым исходным кодом.

Если вы подозреваете, что можете быть подвержены этой проблеме, проект realrobotstxt.com теперь обновлен самой последней версией парсера, так что вы можете проверить это там.

@MikeBlazerX