Знаете ли вы, что невидимый символ, известный как UTF-8 BOM...

185

Знаете ли вы, что невидимый символ, известный как UTF-8 BOM, может нарушить функциональность файла robots.txt?

Этот символ - маркер последовательности байтов или метка порядка байтов (BOM), присутствующий в начале файла robots.txt, может побудить поисковые системы неправильно его интерпретировать, в результате чего первая строка файла robots.txt, часто содержащая директиву user-agent, будет проигнорирована.

В результате все последующие директивы, включая те, которые запрещают или разрешают просмотр определенных URL-адресов, будут рассматриваться как ошибки и игнорироваться поисковой системой.

Такое ошибочное восприятие означает, что каталоги и URL-адреса, которые, по замыслу владельца сайта, запрещены к краулингу и индексации, могут быть прокраулены и проиндексированы, что потенциально может привести к огромному количеству всяческих проблем.

https://www.gsqi.com/marketing-blog/utf-8-bom-robots-txt/

Именно это и случилось с личным сайтом Джона Мюллера johnmu.com, который, как было недавно замечено, был деиндексирован в Гугле.

Джон рассказал об этом в своем посте, чтоб вы не делали подобных ошибок:

https://www.linkedin.com/posts/johnmu_my-sites-robotstxt-file-was-making-the-activity-7173795365844865024-6kKM/

@MikeBlazerX