Яндекс зачем-то решил новостью напомнить нам про существование в...

Яндекс зачем-то решил новостью напомнить нам про существование в панели Вебмастера раздела диагностики сайта.

🔗 https://webmaster.yandex.ru/blog/diagnostika-saytov-ot-yandeks-vebmastera-vozmozhnye-problemy-rekomendatsii-fatalnye-i-kriticheskie-oshibki

Этот раздел в панели существует уже очень давно и все про него знают. Понятно, что там постоянно что-то новое появляется, например: рекомендация про favicon в формате SVG или 120х120 пикселей (это прям совсем свежее) или возможная проблема "Не включен обход по счётчикам" и некоторые другие.

Я хочу поговорить про обход по счетчикам: «Робот Яндекса может узнавать о новых страницах вашего сайта из данных Метрики, если вы разрешите обход страниц, на которых установлен счетчик.»

У меня периодически спрашивают, а стоит ли включать обход по счетчикам. Раньше аналогичная опция была в настройках Метрики, не помню, как называлась, но что-то типа заперта на отправку данных из метрики индексирующему роботу Яндекса при настройке кода счетчика. То есть по умолчанию метрика пинговала все url страниц, зафиксированных в Метрике, в индекс поиска, но можно было поставить галочку, чтобы этого не происходило. Сейчас эту настройку упразднили в Метрике и перенесли в Вебмастер.

Я бы не стал включать данную опцию, потому что в Метрику приходит очень много различных адресов, которые не должны индексироваться. Например, ссылки из соцсетей всегда имеют параметры (как fbclid в FB), в контексте используются технические параметры. Да много причин всяких. И Яндекс будет пытаться все это индексировать.

Чаще всего индексация таких страниц запрещена в robots.txt, meta robots или через canonical. Но есть и страницы, о которых вы не задумывались и не запретили их индексацию. Просто при обходе сайта их нет, но они могут генерироваться CMS сайта или даже возникнуть в следствии ошибочной ссылки с внешнего ресурса.

Можете зайти в Метрику своего сайта в: Отчеты – Стандартные отчеты – Содержание – Страницы входа. Уверен, вы найдете там адреса, о которых даже не подозревали.

Даже банально кто-то указал ссылку с использованием буквы в верхнем регистре /blog/Post/123 вместо /blog/post/123 (это реальный пример, взятый из статистики моего блога), а для поиска это формально два разных адреса.

Сам Яндекс в справке предупреждает, что на вашем сайте могут быть непубличные страницы и все они могу попасть в поиск.

Так что надо очень осторожно использовать данную опцию. Либо очень хорошо подготовиться, проверить и предупредить все возможные негативные эффекты, либо не использовать данную настройку.

Я рекомендую вам не использовать обход по счетчикам, проблем будет меньше.

Источник новости https://t.me/alaevseo/217...