Гуглобот рендерит страницу не так, как обычный браузер, даже...

Гуглобот рендерит страницу не так, как обычный браузер, даже несмотря на то, что Google использует актуальную версию Chromium.

Тут много нюансов, но главный фактор — robots.txt.

Всё, что заблокировано в robots.txt, не скачивается и, соответственно, не рендерится.

Типичный пример — реклама, и обычно её отсутствие при рендере ни на что не влияет.

Но периодически под блокировку попадают важные JS и CSS, из-за чего отрендеренная страница в лучшем случае выглядит криво, а в худшем — вообще не читается.

Можно использовать проверку URL в GSC или Rich Result Test, чтобы посмотреть на конкретную страницу.

И если подозреваешь, что что-то идет не так, определенно стоит это сделать, чтобы увидеть страницу глазами гуглобота.

Но также можно заюзать мой новый robotstxtProxy, который перехватывает все запросы, сверяет их с robots.txt хоста и разрешает или блокирует их соответственно, пишет Валентин Плетцер.

Его можно запустить локально, но я также добавил два Docker-контейнера.

Один для самого прокси, а второй — для отдельного инстанса Chromium, чтобы тебе не пришлось возиться с TLS-сертификатами, которые нужны для перехвата HTTPS-запросов.

Источник: https://github.com/VorticonCmdr/robotstxtProxy

Дока: https://vorticoncmdr.github.io/robotstxtProxy/

Инсайты комьюнити

— Блокировка запросов через Chrome DevTools (вкладка Inspect) — это ручной способ воспроизвести аналогичную картину: ты блокируешь ресурсы, запрещенные в robots.txt, и смотришь на тот же ухудшенный рендер, который получает гуглобот, не поднимая никаких прокси.

@MikeBlazerX

⚠️ Закрытый канал: @MikeBlazerPRO