Сколько сайтов закрывают свою статистику от Ahrefs?

Сколько сайтов закрывают свою статистику от Ahrefs?

/ данные от @jetoctopus /

Список проверенных доменов: 213 млн (все известные)

Из них 122 млн отдают 200 код статуса

46.5 млн доменов имеют robots.txt (38% от активных)

6.28 млн. (5.2% активных сайтов) закрыты от всех роботов

Disallow: /

3.1 млн (2.5%) открыты только для гугла

User-Agent: *

Disallow: /

User-Agent: Googlebot

Allow: /

Для этих доменов ↑ все инструменты анализа дают некорректные данные (не видят исходящие ссылки).

Закрыты от специальных ботов:

• Majestic - 2.7 млн

• Ahrefs - 0.661 млн

• SemRush - 0.256 млн

Majestic чаще блокируют в бурже, Ahrefs в рунете.

Блокируют левых ботов небольшой процент сайтов, в основном это сетки, созданные для черного продвижения серых проектов. Но сетки легко находить по подсетям, шаблону robots.txt и кускам html-кода (если не анализировать ссылочный граф). Сложно найти тех, кто блокирует ботов другими способами. Самая большая из найденных сеток: 34 тыс. сайтов разной тематики и с разными шаблонами.

Источник новости https://t.me/devakatalk/794...