#crawldaily Сколько сайтов закрыто от Ahrefs - статистика по...

#crawldaily Сколько сайтов закрыто от Ahrefs - статистика по всему интернету

Меня давно интересовало, насколько популярные инструменты для маркетинга показывают реальную картину по ссылкам и семантике. Не секрет, что в некоторых нишах, беклинки прячутся от ahrefs по умолчанию, а ввести в заблуждение конкурентов - одна из задач сеошника. Самая большая проблема в том, что разные сервисы могут показывать совершено разные цифры и, в принципе, это считается нормально - у всех свои попугаи.

Я взял свежий список всех доменов интернета 213 млн штук, из них 122 млн доменов, которые отдают код 200. Прокраулил этот список и проанализировал содержимое robots.txt.

Результаты меня весьма удивили, особенно не любовь к Ahrefs в .ru, подробнее у меня на странице https://goo.gl/FcFNya и

там же буду рад услышать ваше мнение на эту тему.

Источник новости https://t.me/jetoctopus/4...