Сколько сайтов закрыто от Ahrefs и других инструментов?

Сколько сайтов закрыто от Ahrefs и других инструментов?

Периодически мы сканируем весь интернет и собираем кучу интересной информации.

Один из самых главных вопросов глядя в тулзы на количество ссылок (особенно в "высококонкурентных" нишах) - а все ли я вижу?

Заблокировать сайт от сканирования тулзами элементарно - просто добавьте директивы в robots.txt, сторонников теорий про игнор ботами сразу расстрою, правила robots.txt реально соблюдаются. Если вы вдруг когда-нибудь захотите сделать свой краулер, узнаете почему их надо соблюдать.

Сухие цифры:

Всего доменов, которые отдают код 200 (т.е. рабочие сайты) по одной из версии http://, http://www, https://, https://www - примерно 150 млн

Январь 2020 - заблокировано от ахрефс 1.2 млн доменов, семраш 0.6 млн

Январь 2021 - заблокировано от ахрефс 1 млн доменов, семраш 0.8 млн

Отлично, можете подумать вы, не так уж и много - меньше одного процента!

Но есть еще один способ блокировки:

User-agent: *

Disallow: /

User-agent: Googlebot

Allow: /

Январь 2020 - заблокировано 6 млн доменов

Январь 2021 - заблокировано 34 млн доменов

Таким образом, (34 + 1) / 150 = 23% доменов закрыты от ахрефса и чуть меньше от других инструментов.

У нас есть side проект, который показывает такие сайты, ссылки с морд, редиректы, соседей по IP (по всем сайтам) и кучу других занимательных вещей, кому интесен early access, пришлите запрос на serge@jetoctopus.com

Источник новости https://t.me/jetoctopus/134...