Noindex больше не означает "нерендерится"

Noindex больше не означает "нерендерится"

Вопреки официальной документации, похоже, теперь Google пропускает страницы с директивой noindex через свой Web Rendering Service (WRS).

Раньше директива noindex препятствовала рендерингу, а это означало, что никакой JavaScript на странице не выполнялся.

Недавние тесты показывают, что это поведение изменилось.

И хотя инструменты для проверки в реальном времени, такие как Инструмент проверки URL, уже некоторое время рендерят страницы с noindex, теперь это, по-видимому, происходит и в основном конвейере индексации.

Методология тестирования и результаты

Была проведена серия тестов с использованием страниц с директивой noindex, которые также содержали JavaScript fetch()-запрос к эндпоинту, логирующему детали запроса.

— Тест 1: мета-тег `noindex`

Тестировалась страница с мета-тегом noindex для роботов. JavaScript на странице также удалял этот тег.

- Результат: Гуглобот выполнил fetch()-запрос методом POST, подтвердив, что страница была отрендерена. Страница была корректно обработана как noindex и не попала в индекс (статус в GSC: "Исключено тегом noindex").

— Тест 2: HTTP-хидер `noindex`

Тестировалась страница, которая отдавалась с HTTP-хидером X-Robots-Tag: noindex.

- Результат: Как и в первом тесте, Гуглобот отрендерил страницу и выполнил fetch()-запрос методом POST. Страница не была проиндексирована (статус в GSC: "Исключено тегом noindex").

— Тест 3: код ответа HTTP 404

Тестировалась страница, которая возвращала код ответа HTTP 404.

- Результат: fetch()-запрос не был выполнен. По-видимому, Гуглобот не рендерит страницы, которые отдают код ответа 404.

— Тест 4: `noindex` с JavaScript-редиректом

Страница с мета-тегом noindex содержала JavaScript-редирект на другой URL.

- Результат: Страница была отрендерена, и fetch()-запрос был выполнен. Однако в GSC страница получила статус "Исключено тегом noindex", а не "Страница с переадресацией". Это указывает на то, что директива noindex получила приоритет, а редирект не был обработан.

Результаты тестов подтверждают, что теперь Google рендерит страницы с директивой noindex, выполняя JavaScript и даже отправляя POST-запросы.

Использование метода POST указывает на то, что это часть формального процесса рендеринга, а не спекулятивная выборка.

https://tamethebots.com/blog-n-bits/noindex-does-not-mean-not-rendered

@MikeBlazerX

Источник новости https://t.me/mikeblazerx/5336...