Три "слоя" Гуглобота: 1. Очередь приоритетного краулинга

Три "слоя" Гуглобота:

1. Очередь приоритетного краулинга

2. Обычная очередь краулинга

3. Очередь краулинга устаревшего контента

Очередь приоритетного краулинга:

— Краулит VIP-страницы

— — Очень Важные Страницы

— — Веб-страницы с высокой частотой обновлений и/или считающиеся высокоавторитетными

— — Главные страницы новостных сайтов и ключевые разделы

— — Сильно изменчивые порталы объявлений (работа, недвижимость)

— — Крупные электронные торговые площадки (Amazon, eBay, Etsy)

— Основная цель - обнаружение ценного нового контента

— — Например, новостные статьи

— Редко повторно краулит недавно обнаруженные URL

Очередь краулинга устаревшего контента:

— Краулит неактуальные страницы

— — Очень Неважные Страницы

— — URL, имеющие очень мало ссылочной ценности и/или очень редко обновляемые

— Повторно краулит URL, возвращающие ошибки 4XX

— — Вероятно, также периодически проверяет старые редиректы

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/3114...