🤖 Можно ли в robots.txt сначала перечислить юзер-агенты, а потом...

🤖 Можно ли в robots.txt сначала перечислить юзер-агенты, а потом правила для них?

Анализировал конкурентов англоязычного проекта и встретил такую интересную конструкцию (на скриншоте).

Сначала идет перечисление юзер-агентов, а потом правила для них. Удобно, чтобы каждому юзер-агенту не писать одни и те же правила.

Были сомнения об эффективности такого использования (как-то по старинке для каждого юзер-агента свои правила) - задал вопрос в поддержку Яндекса. Ответили:

"Да, при таком указании запрет будет обрабатываться корректно."

В общем, можно пользоваться 🙂. Использовал кто-нибудь?

P.S. А еще были сомнения в использовании такой конструкции, потому что в том же robots.txt было такое 😁:

User-agent: Baiduspider

User-agent: 360Spider

User-agent: Yisouspider

User-agent: PetalBot

User-agent: Bytespider

User-agent: Sogou web spider

User-agent: Sogou inst spider

Disallow: /

Allow: /

То же самое, если бы всего этого в robots.txt в принципе не было.

Источник новости https://t.me/sosnovskij/212...