Почему страницы, закрытые в robots.txt, попадают в индекс Google...

Почему страницы, закрытые в robots.txt, попадают в индекс Google и могут появляться в поиске? Потому как этот файл является инструкцией для краулера, а не для индексатора. Поисковый бот (краулер) не будет сканировать закрытые страницы, так как это запрещено в robots.txt. Но индексатор, это отдельный алгоритм, и Google важно показать страницу в индексе, если на нее ссылаются. При закрытии этой страницы в роботсе, он просто сформирует сниппет из других сигналов. Стоит отметить, что в Яндексе, в отличие от Google, robots.txt это также инструкция для индекатора. Все что тут закрыто, не попадет в индекс Яндекса.

Если говорить о мета-теге robots, то здесь содержатся инструкции для обоих алгоритмов. Например,

<meta name="robots" content="noindex, follow" />

noindex — четкая инструкция для индексатора.

follow — инструкция для краулера, стоит ли дальше сканировать сайт по новым ссылкам с этой страницы.

Обратите внимание, что если вы добавите мета-роботс noindex, и при этом закроете страницу в robots, то индексатор о noindex никогда не узнает. Поэтому, чтобы удалять страницы из индекса Google, robots.txt не очень подходит. А что же подходит? Смотрите об этом в новогоднем видео от Игоря Шулежко: https://youtu.be/Zt5VnJu3Ibs

Источник новости https://t.me/devakatalk/829...