Как закрыть на сайте определённые страницы от краулеров типа...

❓Вопрос 2134

Как закрыть на сайте определённые страницы от краулеров типа Ahrefs и т.д.?

❗️Ответ

💡Закрыть на сайте страницы от краулеров можно двумя способами:

▫️В robots.txt.

▫️В файле .htaccess.

Для того чтобы закрыть страницы от ботов в robots.txt, нужно работать с директивой Disallow: https://i.imgur.com/8RyEln5.png

Для более детального ознакомления с файлом robots.txt рекомендуем прочесть нашу статью: «Гайд по robots.txt: создаём, настраиваем, проверяем».

Вариант запрета в robots.txt не является 100%, так как некоторые боты игнорируют его. Чтобы наверняка заблокировать страницы для проверки обратных ссылок, рекомендуем также добавить следующий код в файл .htaccess:

👉https://i.imgur.com/8Xfi9xl.png

Этот файл не виден никому, кроме Вас.

При использовании этих методов вместе Вы гарантированно закроете доступ определённых страниц от краулеров типа Ahrefs.

‼️Прокомментировать ответ или задать уточняющий вопрос можно у нас в блоге. Делитесь мнением и опытом в комментариях!

Источник новости https://t.me/siteclinic_doctor...