Почитал на выходных кейс, как из-за одной незаметной ошибки в...

Почитал на выходных кейс, как из-за одной незаметной ошибки в robots.txt Google не индексировался весь сайт

https://vc.ru/seo/151384

Проблема была в символе BOM, который не виден во многих редакторах. Screaming Frog тоже не показывал ошибок при сканировании сайта. Единственное, где оптимизатор заметил BOM это в инструменте тестирования robots.txt от Google.

Как этот символ туда попал? Скорей всего при copy-paste или редактировании содержимого файла в специфических текстовых редакторах.

Интересно, что в спецификации Google написано, что BOM символ исключается при обработке файла robots.txt

https://developers.google.com/search/reference/robots_txt?hl=ru#file-format

Но оказывается, игнорируется не символ, а вся строка с этим символом. Что приводит к ошибкам распознавания файла.

Лучше BOM-символы избегать. Но эксперимент с ошибкой повторить у меня не удалось. Для одного из сайтов я добавил в начало robots.txt символ BOM, сохранил его и переотправил в консоли. Ошибки в инструменте он показывает, но сайт по-прежнему в индексе, за 2 дня ничего не изменилось. Киньте советов, что сделать, чтобы повторить кейс автора?

Источник новости https://t.me/devakatalk/2427...