Все же видели обновление в справке Яндекса об использовании...
Все же видели обновление в справке Яндекса об использовании файла robots.txt?
Теперь робот Яндекса работает по аналогии с Гуглботом, воспринимая установки из директив Disallow как рекомендации по сканированию документов (а не индексированию).
Важное замечание. Для Яндекса это касается только директивы Disallow. Clean-Param работает также как и раньше. Поэтому обычные страницы (не на GET-параметрах) теперь эффективнее всего открывать для сканирования (убирать запрет из директив Disallow) и добавлять в HTML-коде запрещающий мета-тег robots. А для страниц на GET-параметрах, которые нужно исключить из индекса все также отлично работает Clean-Param.
🔥 Ставь огонёк, если нужно записать короткую видео-инструкцию как эффективно работать со страницами дублей, где поэтапно объясню, как работаем с этим мы.
@seosekretiki
Ссылки из поста:– https://yandex.ru/support/webmaster/controlling-ro...
Источник новости https://t.me/seosekretiki/762...