Разница между сырым и отрендеренным кодом вскрывает контент...

Разница между сырым и отрендеренным кодом вскрывает контент, который AI-краулеры скипают по умолчанию

Контент, который подгружается только после отработки JavaScript, может тихо выкинуть бренд из ответов ИИ.

Двойной парсинг страницы — без JS и с рендером — точно изолирует, какой именно это контент.

Cloudflare Browser Rendering поддерживает оба режима: запрос без JS показывает примерно то же самое, что получают боты ChatGPT, Claude и Perplexity, а парсинг с JS близок к тому, что Гугл видит после рендера.

Отрендеренная версия обходится дорого, поэтому большинство AI-ботов её скипают.

Джон Мюллер называет это сравнение хорошим прокси и отмечает, что Cloudflare не обязателен: Puppeteer запускает Chrome для скрипта, перехватывает сетевые запросы, проверяет каждый на разрешение в Robots.txt и блокирует при необходимости.

Тулзы, которые делают это без кастомного кода, вероятно, существуют.

Механика сбоя абсолютно конкретна.

В кейсе, переданном через вторые руки от сотрудника ИИ-платформы, клиент оказался единственным брендом, выпавшим из ответа ИИ, где перечислялись 10 брендов.

Без JavaScript названия не было в HTML, так как JS подтягивал его в таблицу, поэтому AI-боты по умолчанию получали таблицу лишь с 9 брендами.

Получив урл напрямую с инструкцией прочитать страницу целиком, ChatGPT выдал все 10: ChatGPT видит JS-контент только когда его форсируют, а не по умолчанию.

Данные по конфликтам рендеринга AI-краулеров по умолчанию:

— Анализ 500+ млн запросов GPTBot от Vercel зафиксировал нулевое выполнение JS. Тот же паттерн чистого сырого HTML актуален для ClaudeBot и PerplexityBot, что делает разницу между сырым и отрендеренным кодом рабочим прокси для всех трех: https://vercel.com/blog/the-rise-of-the-ai-crawler

— Мюллер парирует со стороны логов: серверные логи показывают, что OpenAI уже давно рендерит как минимум часть страниц, и каждая ИИ-система, юзающая современный поисковик для граундинга, также имеет доступ к отрендеренной версии.

Инсайты комьюнити

— Отрендеренный гуглоботом HTML не стоит считать прокси для всех ИИ-ботов: разные краулеры по-разному парсят и рендерят. По возможности сравнивай сырой HTML и отрендеренный DOM под юзер-агентом каждого конкретного AI-бота — GPTBot, ClaudeBot, PerplexityBot — а не предполагай, что все они работают как гуглобот.

— Если паттерн сырого HTML актуален для самостоятельных AI-ботов, то AI Overviews остается исключением: он наследует рендеринг гуглобота, поэтому отрендеренный на стороне клиента контент всё равно может туда попасть.

@MikeBlazerX

📈 "Пушки" — в @MikeBlazerPRO

Источник новости https://t.me/mikeblazerx/6775...