🤦‍♂️ 3 популярные ошибки при работе с файлом robots.txt

🤦‍♂️ 3 популярные ошибки при работе с файлом robots.txt

Наверное, каждый SEO-специалист не раз заполнял служебный файл robots.txt, но почему-то ошибки в нём я встречаю регулярно даже на крутых сайтах. Давайте разберём самые популярные.

1. Закрыты страницы, которые уже в индексе

Файл robots.txt регулирует сканирование сайта, а не индексацию. Это значит, что, закрыв в нём страницу, вы оставляете за поисковой системой выбор включать её в индекс или нет.

Если на эту страницу есть внешние ссылки, то она наверняка попадет в поисковый индекс. В Google она получит сниппет с пометкой, что информация об этой странице недоступна. А в Яндексе сниппет будет содержать текст "Владелец сайта предпочёл скрыть описание страницы" или "Ссылки на страницу содержат: ...".

Проверьте не только ссылки, но и карту сайта на наличие упоминаний закрытых страниц. Это ещё один сигнал для включения закрытой страницы в индекс.

От индексации страницы закрываются либо мета-тегом robots, либо HTTP-заголовком X-Robots-Tag.

2. Не закрыта пользовательская информация

Часто на сайте генерируются доступные всем страницы с пользовательской информацией: личными данными, заказами и квитанциями об оплате.

Лучше всего сразу закрывать такие страницы от сканирования. В противном случае пользователь, введя свой номер телефона или инициалы в поиске, может увидеть такую страницу, и вашей компании прилетит судебный иск, который выльется в штраф. И нет, даже если вы всего лишь подрядчик по SEO, вопросы будут именно к вам. Только уже от компании, которая заплатит за эту ошибку.

3. Закрыты версии страниц с параметрами

Указав директиву "Disallow: /*?", вы закрываете от сканирования страницы со всеми GET-параметрами. А ведь GET-параметры могут быть и во внешних ссылках (например, некоторые сайты ставят ссылки с UTM-метками).

Гораздо лучше открыть страницы с параметрами для индексирования, но на тех страницах, что не должны оказаться в индексе, разместить noindex. Да, ваш краулинговый бюджет будет расходоваться больше, но зато в индексе не окажется ненужных страниц, а продвигаемые страницы будут аккумулировать больше ссылочных и поведенческих показателей.

Какие ещё ошибки при работе с robots.txt вам встречались?

Источник новости https://t.me/seo_rocket/27...