Мощный Чирик самой думающей и терпеливой аудитории на свете🐣

Мощный Чирик самой думающей и терпеливой аудитории на свете🐣

Сегодня без тула (декабрь такой декабрь), но с одним полезным наблюдением, основанным на древнем эхсперименте.

Не будем долго мять🍈🍈

Как закрыть URL от Googlebot🐕, а то достал жрать все подряд, чтоб его так?

Процитирую ранний пост на канале, если вдруг кто упустил:

Googlebot переходит по всем ссылкам, даже если там нет атрибута href, даже если они реализованы через js и даже если вы "зашифровали" их base64 кодом.

В чем была проблема?

Названия классов скрытых в div/span ссылок (и зашифрованных в base64) содержали слова "link/src/href". Робот не так интенсивно, но все же продолжал сканить закрытые страницы, при этом на сайте не было нормальных открытых ссылок на них (чтобы <a href="" как мы привыкли) . При этом сами атрибуты, содержащие зашифрованный URL, тоже не намекали на то, что это ссылка, т.е. можно было грешить только на имя класса или подвязывать с сеохой😋

Что сделали?

Переименовали все CSS классы на сайте, которые могут хоть как-то намекать на то, что это ссылка.

И че, какие результаты?

Предварительный результат после внедрения порадовал, но для чистоты эхсперимента нужно было подождать месяцок-другой.

И вот, после контрольного анализа серверных логов могу с уверенностью сказать, что данный подход помог решить задачу.

Googlebot перестал совсем краулить закрытые страницы🙌 Так что:

Выпиливайте из названий CSS классов элементов любые слова-маркеры ссылки, если не хотите, чтобы Googlebot по ним кликал.

_______________

P.S. До НГ планирую релизнуть валидатора Googlebot, пакетную чекалку Whois доменов и что-то еще. Напоминаю про бесплатный анализ серверных логов вашего сайта (теперь публикация URL проекта не является обязательным требованием🙌)

P.P.S. На канале с сентября появилось много годноты. Найти ее можете по следующим тегам:

#insights #analysis #log_analysis - аналитика данных и инсайты

#tools - тулы для вебов (все на Python, но в последнее время у каждого есть .exe версия). Многие из них дополняют друг друга и сильно расширяют возможности (например, тул для фильтрации CSV любого объема и тул для выгрузки всех-всех запросов из Google Search Console). Экспериментируйте и го в комменты к посту, камон🧐

С вами был самый самый говорящий селезень на всем Диком Западе. Кря!🦆

--

#seo #insights

@dkrwng

Источник новости https://t.me/drkwng/61...