Не смотря на запрет в роботс Гугл проиндексировал сетку...

Не смотря на запрет в роботс Гугл проиндексировал сетку PBN. Как можно было этого избежать?

Недавно у меня был доклад о том, что PBN — это крайне сложный инструмент в применении и далеко не всем он нужен.

И вот небольшое подтверждение из практики и попробуем с вашей помощью разобраться в причине проблемы и как ее следовало бы избежать.

Но обо всем по порядку 🙂

Ко мне обратился коллега со следующими вводными:

1. есть сетка PBN под Bing;

2. в роботс сканирование сетки запрещено всем роботам кроме Бинга. Конкретный роботс ниже на скриншоте.

Проблема:

Не смотря на запрет в роботс — сетка проиндексировалась и была отображена в Серч Консоли.

Однозначно Гугбот следует директивам в роботсе. Поэтому проблема явно была на стороне реализации.

Так как я не считаю себя супер техническим SEO специалистом, поэтому обратился к Сергею Безбородову, так как он уж точно знает все о краулерах) Кстати подписывайтесь на его канал @jetoctopus, где Сергей делить ультратехническим контентом по SEO для больших сайтов и иногда апдейтами краулера jetoctopus.com

Появились следующие гипотезы:

1. роботс мог отдать ответ сервера типа 404 или другой, как следствие Гуглбот его не обработал и проиндексировал;

2. была допущена ошибка синтаксиса где-то в начале формирования роботса, тут рекомендация одна, роботс и доступность ботам всегда проверять инструментом типа https://technicalseo.com/tools/robots-txt/

Главная рекомендация: отслеживайте логи. Тогда мы бы сейчас не гадали и просто посмотрели бы какой бот заходил и что смотрел 🙂

А как вы думаете в чем проблема?

Обсуждение в фейсбуке - https://www.facebook.com/irudnyk/posts/3420396514721095

@rudnyk

Источник новости https://t.me/rudnyk/194...