Нужно ли скрывать страницу фильтра /filter в robots.txt? Может...

❓Вопрос 3957

Нужно ли скрывать страницу фильтра /filter в robots.txt? Может ли поисковый краулер сгенерировать все страницы, который может выдать фильтр? Или пока на эти страницы не будет внешних ссылок, ПС их не увидит?

❗️Ответ

В большинстве ситуаций необходимо закрывать страницы фильтров от индексации поисковыми системами. Также, как и страницы корзины, поиска по сайту, регистрации и другие, они не несут смысловой нагрузки для поисковых систем, если они стандартные и обладают стандартным функционалом.

Обычно такие страницы могут быть проиндексированы только при наличии внутренней или внешней ссылки на них. И если внутренние ссылки вы можете контролировать сами, то проконтролировать появление внешних ссылок не всегда возможно. К примеру, человек в своей соцсети может поделится ссылкой на вашу страницу фильтра.

Однако, если ваш фильтр также реализован через внутренние ссылки, то в любом случае такие страницы будут периодически попадать в индекс.

👉 Оптимальный способ скрыть страницы от индексации - использовать соответствующие директивы в файле robots.txt.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

🚨 via @siteclinic_doctor 🚨

Источник новости https://t.me/siteclinic_doctor...