Как отслеживать приоритет краулинга Гуглботом

150

Как отслеживать приоритет краулинга Гуглботом...

...без единого лог-файла.

Каждая страница в отчете об индексировании страниц в GSC имеет статус охвата (coverage state).

Статус охвата страницы показывает, почему страница либо проиндексирована, либо нет (например, "Прокраулено - сейчас не индексируется" и "отправлено и проиндексировано").

НО статус охвата страницы может меняться в обратную сторону.

Статус индексации страницы может откатиться назад с "отправлено и проиндексировано" до состояния, когда Гугл сообщает, что URL "неизвестен".

Например, обычно страница проходит следующие этапы:

⬇️ "URL неизвестен Гуглу"

⬇️ "Обнаружено - сейчас не индексируется"

⬇️ "Прокраулено - сейчас не индексируется"

✅ "Отправлено и проиндексировано"

Но со временем статус той же страницы может откатиться назад:

⬇️ "Отправлено и проиндексировано"

⬇️ "Обнаружено - сейчас не индексируется"

⬇️ "Прокраулено - сейчас не индексируется"

❌ "URL неизвестен Гуглу"

Это происходит потому, что статусы охвата отражают приоритет краулинга Гуглботом.

Чем меньше "важности" присваивается URL страницы со временем, тем больше она откатывается назад в процессе краулинга и индексации.

И тем больше меняется статус индексации с течением времени.

Такие статусы индексации как "Обнаружено - сейчас не индексируется" и "URL неизвестен Гуглу" для ранее проиндексированных страниц являются явными признаками того, что Гугл активно считает эти страницы низкокачественными.

@MikeBlazerX