Clean-param В этом опросе SEO-спецы отвечали, используют ли они...

Clean-param

В этом опросе SEO-спецы отвечали, используют ли они в своей работе директиву Clean-param при составлении файла robots.txt или нет. Ответы вы можете посмотреть в самом опросе, ну а в этом посте будет немного теории по теме. С радостью выслушаю дополнения, возможно, где-то я не прав.

Clean-param (далее клины) — если сравнивать с другими методами деиндексации документов, то основным преимуществом будет то, что за счет них можно полноценно учитывать показатели страниц. Последняя фраза не очень понятна, но именно это каждый раз говорит поддержка Яндекса.

Сейчас будет текст, он сложный, но постарайтесь понять.

Давайте разберемся, каким методом можно закрыть от индексации страницы дублей (в понимании сеошника). Директива Disallow в файле robots.txt просто закроет от индексации документ и робот не пойдет даже её сканировать (речь только про Яндекс). При получении запрещающего мета-тега robots (noindex), робот сначала потратит ресурсы на сканирование страницы, только потом увидит запрещающий мета-тег и не будет её добавлять в индексную базу. В случае с тегом каноникал тут вообще все просто. Если содержимое страниц отличается (по мнению робота), то страницы не будут склеены тегом каноникал в Яндексе и соответственно не будут исключены из индексной базы. Например, SEO-специалист может думать, что страницы пагинации не представляют какой-либо ценности (для роботов), поэтому они не должны находиться в поиске и просто добавляет тег каноникал на первую страницу (так часто делают), думая, что это просто дубли. Тоже самое и с элементами сортировки, например, в интернет-магазинах. Для сеошника в классическом понимании это дубли, но для робота Яндекса наличие тега каноникал будет служить лишь рекомендацией. И, скорее всего, на практике из индекса эти страницы не будут удаляться, так как робот Яндекса будет думать, что содержимое на них отличается, так как на них меняется раскладка товаров. Разные товары на странице, хоть и при совпадении других элементов (мета-теги и тексты — их наличие или отсутствие), будут свидетельствовать роботам Яндекса, что это разные страницы (так как показываются разные товары) — ответ от Яндекса.

Учитывая, что директива Disallow просто исключит дальнейшее сканирование документов, мета-тег robots noindex запретит её индексировать (уже после сканирования), теги каноникал, скорее всего, не отработают так как вы хотели, то остается хороший метод сохранить “полноценный учет показателей страниц” — это директива Clean-param в файле robots.txt. Поэтому лучше всего использовать этот метод при закрытии от индексации дубликатов.

К слову, не забудьте, что клины можно писать в одну строку, перечисляя сразу все GET-параметры, которые мы хотим исключить из поиска. Сам синтаксис представлен в официальной инструкции: https://yandex.ru/support/webmaster/robot-workings/clean-param.html

Обратите внимание на то, что в данной директиве (Clean-param) учитывается регистр — источник.

Не забудьте про то, что клины могут конфликтовать с другими методами деиндексации документов, в частности с директивой Disallow в файле robots.txt и запрещающим мета-тегом robots (noindex), но с тегом каноникал конфликтов не будет (так как это рекомендация) — источник, источник, источник. Плюс эта же рекомендация будет работать для роботов Google. По поводу заголовков ответов сервера (X-Robots-Tag) тестов не было и нигде не встречал, поэтому добавить по этому поводу ничего не могу.

Под “полноценным учетом показателей страниц”, скорее всего, имеется ввиду их возраст и самое главное, набранные поведенческие факторы (это не точно, но подтверждающей информации ни у кого нет и не может быть) — ответ от поддержки.

Выводы: дубли на GET-параметрах для Яндекса лучше всего закрывать через клины.

Данный пост является дополнением к официальной справке Яндекса. Больше информации приходилось получать именно в переписке с Платонами. Надеюсь, вам данный пост был полезен. Спасибо, что дочитали до конца. Не забудьте поделиться этим постом со своими коллегами! Надо набрать 1к подписчиков до 31-го декабря 2021 года. 😂

@seosekretiki

Источник новости https://t.me/seosekretiki/394...