Тони Маккрит изучает методы, как запретить Гуглу показывать...

Тони Маккрит изучает методы, как запретить Гуглу показывать неправильные или нерелевантные изображения для определенных веб-страниц — например, когда картинка одного товара появляется на странице другого, похожего товара.

Изначально он предложил использовать robots.txt для запрета сканирования URL изображений, содержащих определенный параметр (например, disallow=true).

После обсуждения с сообществом он запустил живой тест, в котором сравнил свой метод с robots.txt с внедрением директивы x-robots-tag: noindex через CDN (Cloudflare).

Его текущие апдейты по тесту показывают, что подход с x-robots-tag: noindex, похоже, работает эффективно, в то время как метод с robots.txt работает медленнее и дает неоднозначные результаты.

Советы и инсайты от сообщества

1. Одно из предложенных решений — добавлять параметр (например, noindex=1) ко всем "похожим изображениям", а затем внедрить на уровне CDN правило, чтобы задать для них noindex.

Сообщалось, что этот метод "сработал как по маслу", особенно в случаях, когда URL нерелевантного изображения совпадает с URL основного изображения на странице, с которой оно подтягивается.

2. Использование robots.txt для запрета сканирования изображений не всегда останавливает их индексацию.

3. Правило disallow в robots.txt использовали, чтобы заблокировать миниатюры из меню, которые появлялись для нескольких страниц категорий.

Это "вроде как сработало", но потребовалось более трех месяцев, чтобы изображения перестали появляться в поисковой выдаче.

После их удаления для этих страниц категорий вообще не показывались никакие картинки.

Следующим шагом рассматривали добавление нужных изображений в XML-карту сайта.

4. При использовании параметров для управления страницами возможны следующие проблемы: внутренние ссылки не содержат нужный параметр, внешние ссылки его убирают, а на быстро меняющихся страницах элементы то попадают в индекс, то выпадают из него.

5. Чтобы сделать систему блокировки на основе параметров более надежной, можно сделать так, чтобы для рендеринга изображения требовалось наличие этого параметра в его URL.

6. Было заявлено, что x-robots-tag, скорее всего, не используется для изображений, потому что "они не индексируются в веб-поиске".

7. Если во время теста изменить URL изображений, они, скорее всего, выпадут из индекса из-за самого изменения URL еще до того, как будет обработана какая-либо директива disallow или noindex.

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5502...