Обход по Яндекс.Метрике в Яндекс.Вебмастере помогает...

198

Обход по Яндекс.Метрике в Яндекс.Вебмастере помогает индексировать страницы, доступные только после авторизации

Всегда отключаю (или не включаю) обход страниц по счетчику в Яндекс.Вебмастере - из-за него в индекс лезет много мусора.

Но недавно попался особенный случай. В Вебмастере Яндекс “ругался” на дубли заголовков (Title) страниц, доступных только после авторизации (URL редактирования топиков).

Страницы для гостя не доступны - 403-ответ, но через обход по Метрике (пользователи/редакторы заходят на эти страницы) Яндекс видит и индексирует эти страницы.

Баг или фича?

P.S. Не исключаю случаев, когда “Обход по счетчикам” может помочь индексации больших сайтов со +100500 страницами, но часто ли ли с такими приходится работать? 🙂