Сколько раз клиенты спрашивали вас о росте количества...

Сколько раз клиенты спрашивали вас о росте количества URL-адресов в статусе "Crawled - currently not indexed" в Google Search Console.

Они паникуют, потому что кажется, будто Google всё активнее деиндексирует их страницы.

[Летят срочные сообщения в Slack]

И вот вы идете в отчет "Crawled - currently not indexed" и проверяете примеры.

И многие из них, раз за разом, оказываются проиндексированными! 😡 🤬

Как вообще использовать этот отчет, если он врет?

Вопрос в том, сколько из этих URL-адресов реально проиндексированы?

И меняется ли этот процент со временем?

Теперь я могу ответить на эти вопросы с парой оговорок.

Дважды в месяц я беру все 1 000 примеров из "Crawled - currently not indexed", проверяю каждый и фиксирую, в индексе он или нет, пишет Эй-Джей Кон.

Результаты показывают, что значительный объем URL-адресов в "Crawled - currently not indexed" на самом деле проиндексирован.

"Pages in bucket" — это количество URL в статусе "Crawled - currently not indexed", а "% actually indexed" — ну... тут всё понятно из названия.

Нюанс в том, что мы принимаем эти 1 000 примеров за репрезентативную выборку данных.

Это сложно проверить, и данные могут искажаться с учетом размера некоторых из этих групп.

Но, вероятно, я выясню это, продолжая отслеживать ситуацию в течение следующих нескольких месяцев.

Среди прочего я буду смотреть, меняются ли абсолютные цифры и меняется ли процент индексации.

Потому что я по-настоящему боюсь сценария, когда у клиента с большой долей урлов в "Crawled - currently not indexed", где индексация сейчас, скажем, 97%, этот процент внезапно упадет до 70%.

Без этих проверок я могу просто пропустить момент, когда страницы начнут реально вылетать из индекса.

Инсайты комьюнити

— Причины статуса Crawled - currently not indexed спорны: Гленн Гейб связывает ранжирование таких URL в топ-1000 с задержкой отчетности у крупных сайтов, тогда как оппоненты считают статус точным и намеренным; при этом даже на сайтах до 100 страниц 10–15 таких URL часто фактически проиндексированы и получают показы.

— Устаревшие данные в GSC касаются также каноникализации и ошибок 404 (особенно для редко сканируемых страниц), а их точная верификация проводится через URL Inspection API, доступный в том числе нетехническим специалистам благодаря AI.

— Лимит в 1 000 примеров обходится созданием папочных ресурсов (directory) с ручной проверкой со скоростью ~7 минут на тысячу URL (что плохо масштабируется на клиентские пулы), а фильтрация по XML-сайтмапам нестабильна из-за багов с миганием статуса отправки страниц.

— Примеры в отчете обновляются вместе с общими цифрами индексации каждые 3–5 дней (на небольших сайтах реже), а их актуальность подтверждается свежей датой последнего сканирования.

— Из-за отсутствия прямого API к отчету и ограничения истории в GSC 3 месяцами долгосрочный трекинг требует локального сохранения (например, через расширение GSC Helper, которое также отделяет статус indexed, blocked by robots.txt, строит тренды и выгружает тестовые URL).

@MikeBlazerX

📈 "Пушки" — в @MikeBlazerPRO