Вы - SEO-эксперт? Вот 3 примера Robots.txt, которые вы будете...

Вы - SEO-эксперт?

Вот 3 примера Robots.txt, которые вы будете интерпретировать неправильно, 100%.

Вопрос 1:

Будет ли Googlebot сканировать папку secret?

---

User-agent: *

Disallow: /secret/*

User-agent: Googlebot

Allow: /coolgooglestuff/*

User-agent: Spacebot

Allow: /*

---

ДА или НЕТ? Объясните почему.

Вопрос 2:

Будет ли Googlebot сканировать папку userfiles?

---

User-agent: *

Disallow: /

Allow: /style/

Allow: /userfiles/

---

ДА или НЕТ? Объясните почему.

Вопрос 3:

Блокировка бота

---

# block this bot

User-agent: Somebot

Disallow: /

# don't block this bot, but slow him down

User-agent: Googlebot

Crawl-Delay: 1800

# block this bot

User-agent: Someotherbot

Disallow: /

---

Googlebot:

A) Заблокирован?

B) Не заблокирован, но замедлен?

C) Не заблокирован?

Объясните, почему.

Ответы пишите в комментариях.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/1412...