Не смотря на запрет в роботс Гугл проиндексировал сетку PBN. Как...
16
Не смотря на запрет в роботс Гугл проиндексировал сетку PBN. Как можно было этого избежать?
Недавно у меня был доклад о том, что PBN — это крайне сложный инструмент в применении и далеко не всем он нужен.
И вот небольшое подтверждение из практики и попробуем с вашей помощью разобраться в причине проблемы и как ее следовало бы избежать.
Но обо всем по порядку 🙂
Ко мне обратился коллега со следующими вводными:
1. есть сетка PBN под Bing;
2. в роботс сканирование сетки запрещено всем роботам кроме Бинга. Конкретный роботс ниже на скриншоте.
Проблема:
Не смотря на запрет в роботс — сетка проиндексировалась и была отображена в Серч Консоли.
Однозначно Гугбот следует директивам в роботсе. Поэтому проблема явно была на стороне реализации.
Так как я не считаю себя супер техническим SEO специалистом, поэтому обратился к Сергею Безбородову, так как он уж точно знает все о краулерах) Кстати подписывайтесь на его канал @jetoctopus, где Сергей делить ультратехническим контентом по SEO для больших сайтов и иногда апдейтами краулера jetoctopus.com
Появились следующие гипотезы:
1. роботс мог отдать ответ сервера типа 404 или другой, как следствие Гуглбот его не обработал и проиндексировал;
2. была допущена ошибка синтаксиса где-то в начале формирования роботса, тут рекомендация одна, роботс и доступность ботам всегда проверять инструментом типа https://technicalseo.com/tools/robots-txt/
Главная рекомендация: отслеживайте логи. Тогда мы бы сейчас не гадали и просто посмотрели бы какой бот заходил и что смотрел 🙂
А как вы думаете в чем проблема?
Обсуждение в фейсбуке - https://www.facebook.com/irudnyk/posts/3420396514721095
@rudnyk
Ссылки из поста:– https://technicalseo.com/tools/robots-txt/
– https://www.facebook.com/irudnyk/posts/34203965147...
Источник новости https://t.me/rudnyk/194...