Ответ на SEO-задачу ⬆️. Проект на 500К страниц. Для экономии...

Ответ на SEO-задачу ⬆️.

Проект на 500К страниц. Для экономии краулингового бюджета было решено унифицировать запрет индексации дублей/мусорных страниц директивой X-Robots-Tag в http-заголовке.

В итоге из robots.txt были удалены все директивы. И, неожиданно, Google стал выкидывать страницы из индекса. Конструкцию:

User-agent: *

Sitemap: https://site.ru/sitemap.xml

Clean-param:utm_source

User-agent: AhrefsBot

Disallow: /

Он воспринимает, как 😱:

User-agent: *

User-agent: AhrefsBot

Disallow: /

В Яндексе, все ок. Добавление Allow: / после User-agent: * решило проблему (еще вариант - убрать User-agent: * в принципе).

В общем, пришло откуда не ждали 🙂. А кто-нибудь реализовывал запрет только в X-Robots-Tag? Помогло улучшить индексацию?

P.S. Отчет на скриншоте был выбран из-за наглядности (“Заблокировано в файле robots.txt” не такой “красивый”).

Источник новости https://t.me/sosnovskij/299...