Soft 404 втихую выжигают краулинговый бюджет и убивают 90% трафика

Бразильский крипто-новостник переехал с xx.com.br на br.xx.com в январе 2022 года и наблюдал, как дневные клики рухнули с 15 000–25 000 до 2 000–4 000.

Это стабильное падение на 90% длилось больше года.

Прогнозы до миграции обещали 2 миллиона кликов в месяц к началу 2022.

Карта редиректов оказалась дырявой.

Гугл продолжил сканировать старый домен вместе с новым поддоменом: краулинговый бюджет размазался, а траст не склеился.

Восстановление началось только после решения проблем с индексацией старого домена в августе 2022.

Миграция стала триггером; реальным тормозом был затор индексации по всем 13 региональным доменам.

Пайплайн Гугла Crawl → Render → Index → Rank занимал 2 минуты на сканирование, но 24 часа на индексацию — фатальная задержка для новостника, где инфоповод протухает быстрее, чем статья залетает в индекс.

В январе 2023 года Google Search Console вскрыл масштабы:

— Просканировано, но пока не проиндексировано: 513 369 страниц (только в Бразилии)

— Мягкая ошибка 404: 1 193 страницы и число росло

— Вариант страницы с правильным тегом canonical: 2 532 страницы

Кровь хлестала из автосгенерированных урлов конвертера (/usd-to-thor?amount=250, /eur-to-signaturechain?amount=1000).

Это пустые параметрические страницы; они сжирают краулинговый бюджет и тянут хостовые сигналы качества на дно.

Soft 404 добили ситуацию, потому что они отдают 200 OK без полезного контента — страница лжет краулеру, вместо того чтобы отдать код ошибки.

Объем мусора по сети: 90 400 страниц на основном домене, 17 700 в Испании, 15 400 в Корее, 15 100 во Франции, 8 010 в Германии.

Корреляция по Франции кристально чистая: как только с октября 2022 начали копиться soft 404, запросы краулера рухнули с 60 000–70 000 в день до 20 000–30 000.

Гугл просто бросал сайт как цель для сканирования.

Стек фиксов (31 января 2023):

1. Отдавать 404 или 410 на реально пустых страницах; починить те, где должен быть контент.

2. Удалить или закрыть через тег noindex автосгенерированные конвертеры.

3. Зажать обработку параметров в URL и закрыть мусорные паттерны в robots.txt.

4. Перепрописать каноникал на вариантах страниц.

5. Поставить работы по Core Web Vitals на паузу — восстановление индексации в приоритете над метриками скорости.

За несколько недель: в Бразилии статус Просканировано, но пока не проиндексировано упал с 513 000 до 220 000 (срез на 57%); soft 404 — с 1 193 до 370 (срез на 69%).

По всей сети количество soft 404 рухнуло с ~120 000 до менее чем 20 000 к концу апреля 2023 (снижение на 83%).

Неочевидный выхлоп прилетел в Google Discover, а не в классический поиск:

— Германия: проиндексировано ~150 000 → 370 748; клики ~8 000/день → 12 000–15 000/день; доля Discover 42% → 58%.

— Польша: проиндексировано ~100 000 → 135 556; доля Discover 15% → 86%.

— Испания: клики из Discover ~450 000 → 912 721; теперь это 65% всего трафика.

Discover пушит контент только с трастовых доменов.

Soft 404 и слив краулингового бюджета уничтожают этот траст втихую — почини индексацию, и лента рекомендаций откроется еще до того, как отреагирует серп.

Параллельно всплыл парадокс Core Web Vitals: на десктопах в Германии доля хороших урлов взлетела с 25.1% до 97.1%, в Польше — с 20.5% до 68.9%.

А мобильная версия в Бразилии, Аргентине и Таиланде осталась на 0%, тогда как в Корее и Турции метрики вообще обвалились (Корея: 93.4% → 0.5%, Турция: 94% → 0%).

Региональная близость CDN, локация серверов и качество девайсов жестко лимитируют результаты от технической оптимизации — попытка натянуть единые таргеты CWV на слабую инфраструктуру только палит бюджет, который нужно заливать в фикс индексации.

https://searchengineland.com/soft-404s-indexing-issues-traffic-collapse-477116

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO