"Другой" движок JavaScript у Googlebot: как по...

"Другой" движок JavaScript у Googlebot: как по скорости рендеринга отличить настоящего краулера от фейка

Продакшн-версия Googlebot, которая краулит веб в промышленных масштабах, — это не тот же инструмент, что вы юзаете в GSC.

Он работает на чем-то, что выглядит как инопланетная технология, и вы можете использовать это в своих интересах, раскрывает Тед Кубайтис.

Мы провели бенчмарки и обнаружили, что он может выполнять массивные, итеративные циклы JavaScript — например, посчитать до 10 миллиардов — за время, которое регистрируется как ноль миллисекунд.

Стандартные headless-браузеры и фейковые боты, притворяющиеся Googlebot, просто не могут этого повторить; они не работают на гиперускоренном железе стоимостью в миллионы долларов.

Этот разрыв в производительности — однозначный отпечаток пальца, который можно использовать, чтобы отличить настоящего Googlebot от всего остального.

Инструмент проверки URL в GSC, который использует юзер-агент inspectbot, является отдельной, форкнутой версией продакшн-бота и, скорее всего, работает на другом железе.

Именно поэтому вы можете видеть расхождения в рендеринге, особенно на страницах с тяжелым JavaScript.

Однако ваше безопасное допущение должно быть таким: если inspectbot не может увидеть элемент, то, скорее всего, и продакшн-бот не сможет.

Критическое исключение из этого правила — время выполнения.

Поскольку у продакшн-бота есть это ускоренное процессирование, существует граничный случай, когда он может успешно отрендерить сложный JavaScript-элемент, на котором инструмент проверки URL отвалится по таймауту.

@MikeBlazerX

Закрытый канал: @MikeBlazerPRO

Источник новости https://t.me/mikeblazerx/6102...