Рассказ Каролины Хольцман про индексацию страниц

325

В GSC некоторым сайтам присвоен десктопный индексирующий бот, а другим - смартфон.

До сих пор между ними не было разницы, но я обнаружилa что существуют два вида индексации.

На сайте с присвоенным первичным мобильным краулером, вы можете опубликовать новую станицу, на нее приходит краулер, проиндексирует ее и она будет в выдаче в течение 48 часов.

Для сайта с присвоенным десктопным краулером это, скорее "никогда"...

Дело не в контенте, потому что я публикую бессмысленный контент...

Краулер не может оценить ваш контент до того, как он его просканирует.

Для сайта с присвоенным десктопным краулером все работает как с мобильным краулером, за исключением выдачи контента, что большинство из нас называют "проиндексировано".

Но исследования показывают, что то, что мы называем проиндексированным, не обязательно означает то, что страница проиндексирована.

Когда я публикую новую станицу, в GSC я ee сабмичу, а затем повторно отправляю карту сайта.

Первое, что Гугл говорит, это то, что он обнаружил мой URL, но еще не просканировал его.

Когда я сабмичу опять, через несколько часов, будет написано, что страница просканирована, но не проиндексирована.

Потом я обнаружу, что страница проиндексирована, но я не смогу найти его в поиске.

Разница в том, что Гугл использует понятие выдачи.

Вспомните Приборную панель состояния поиска Google!

Панель указывает на 3 стадии: сканирование, индексация и выдача (serving). Когда страница находится в стадии выдачи, вы можете найти ее в поиске по вашим ключевикам.

---

Далее существуют 2 этапа индексации.

Тест на индексацию начинается с проверки первого этапа индексации, то есть обычного HTML, слов на странице.

На странице есть два ключевые слова, и она сделана так, что одно слово доступно только в HTML коде, а другое добавляется с помощью кода JavaScript.

И оба слова собираются в одно целое только тогда, когда страница проходит второй этап - рендеринг.

Гуглобот проходит первый этап, затем страница отправляется на движок рендеринга.

Проходит время между тем, как страница индексируется в GSC и затем может быть найдена по ключевым словам в поиске Google.

Я также использую логи сервера для подтверждения того, что происходит, после того, как я нажимаю кнопку "Опубликовать".

Я вижу всех ботов, что они делают, что подтягивают, а затем различные боты в состоянии покоя.

Если это мобильный бот, я могу засечь время - в течение 48 часов я смогу найти два ключевые слова, и по этим двум словам в выдаче я получу только мою страницу.

Потому что только на моей странице есть эти слова (изолирование ключевых слов).

Если я найду только одно слово, это говорит о том, что страница прошла только первый этап индексации, но JavaScript часть немного задерживается.

Иногда JavaScript рендеринг вообще не происходит...

---

Рекомендую ли я использовать сервисы индексации?

Я думаю что у индексаторов такая же возможность проиндексировать страницы в Google, как и у всех остальных.

Когда Google принимает новый контент к индексации, индексаторы работают отлично.

Но когда Google не принимает новый контент, вы можете стучать в его двери сколько угодно.

Они не пустят вас, потому что в течение года бывают периоды, когда Гугл не принимает новых страниц к индексации и когда вы не сможете добиться индексации страниц.

Напомню, что у Каролины есть страница с индикаторами, показывающими когда Гугл индексирует, а когда индексация закрыта:

https://www.americanwaymedia.com/index-detector/

@MikeBlazerX