Забавная недвно случилась история. На одном сайте есть урлы...

Забавная недвно случилась история.

На одном сайте есть урлы фильтров вида:

/category/moyki/#filter=alveus/algranit/

Программисты решили их закрыть от индексации и добавили строчку в robots.txt

Disallow: /#filter=*

Сайт перестал индексироваться и тянуть соответствующие проблемы. 😮

Вы уже догадались где ошибка?

1. Такие страницы не надо закрывать от индексации, так как поисковик еще на этапе сканирования канонизирует урлы и отбрасывает все, что находится после хеша (вместе с ним). Для поиска это одинаковые адреса:

/category/moyki/

/category/moyki/#filter=alveus/algranit/

2. В robots.txt хеш используется для добавления комментария (см. пример) и при обработке этого файла комментарии удаляются. Для поиска это одинаковые записи в роботсе:

Disallow: /

Disallow: /#filter=*

Получается, проблемы не было, но ее создали 😬 Не повторяйте таких действий. Плюс еще раз перечитайте книги по основам SEO, как раз на праздники будет время!

via @devakatalk

Источник новости https://t.me/devakatalk/1300...