Скрытый сигнал авторитетности: Влияние Common Crawl на видимость в AI

175

Пока индустрия молится на RAG и свежесть контента, все упускают фундамент визибилити в LLM — метрики `WebGraph` от `Common Crawl`.

Common Crawl (CC) — это вам не нейтральный архив.

Это приоритизированный датасет, определяющий "базовое знакомство" нейронки с источником.

Понимание того, как CC расставляет приоритеты, вскрывает структурные перекосы AI-моделей.

Механика: Harmonic Centrality

CC работает как гейткипер, используя метрики авторитетности для частоты и глубины краулинга.

Критически важная метрика здесь — `Harmonic Centrality` (HC).

Она измеряет "близость" домена ко всем остальным узлам ссылочного графа.

Получаем замкнутый круг: высокий HC = глубокий и частый краулинг = доминирование в обучающей выборке.

Mozilla подтвердила: 64% LLM (за 2019–2023) сидят на игле данных CC.

Для GPT-3 более 80% токенов пришло из отфильтрованных датасетов CC.

Системный перекос и паттерны цитирования

Свежие расследования подсвечивают эту зависимость.

The Atlantic раскопали, что скраперы CC обходят JS-пейволлы, вшивая закрытый контент гигантов вроде The New York Times прямо в веса моделей.

Это объясняет, почему старые медиа и агрегаторы доминируют в ответах LLM.

Данные по цитированию это подтверждают.

ChatGPT фанатеет от Wikipedia (топ-14 по HC), а Perplexity и Google AI Overviews любят Reddit.

У этих платформ конский HC, поэтому они остаются главными источниками "истины" в статической памяти модели.

Практика: CC Rank Checker

Хватит теории.

Чтобы чекнуть ситуацию на практике, юзаем [CC Rank Checker](https://webgraph.metehan.ai).

Он позволяет сеошникам парсить ежемесячный датасет WebGraph (~607 млн доменов).

Данные показывают четкую иерархию.

Социальные гиганты (Facebook, Instagram) и инфраструктурные домены (Googleapis, Cloudflare) оккупировали топы.

Для паблишеров главный инсайт — "`Long Tail Risk`".

Домены с ранком HC >1M могут быть недостаточно представлены в обучении.

Это создает структурный недостаток: даже с топовым контентом у модели статистически меньше шансов вытащить ваш домен по сравнению с конкурентом, у которого HC выше.

Вердикт по AEO

Визибилити в AI — штука многофакторная.

Свежесть и релевантность драйвят RAG, но метрики Common Crawl задают изначальный фильтр авторитетности.

Для SEO-специалистов мониторинг Harmonic Centrality наравне с традиционными метриками (DR/DA) теперь обязателен.

Низкий HC означает, что домен "забыт" обучающими данными, и вам потребуются гораздо более сильные сигналы live-retrieval, чтобы это компенсировать.

Common Crawl не просто архивирует веб, он формирует память машины.

https://metehan.ai/blog/cc-rank/

@MikeBlazerX

Закрытый канал: @MikeBlazerPRO