Мы протестировали LLMs.txt и обнаружили, что OpenAI уже за нами...

135

Мы протестировали LLMs.txt и обнаружили, что OpenAI уже за нами следит, — пишет Рэй Мартинез.

После тестирования LLMs.txt на восьми нишевых образовательных сайтах мы увидели: хотя стандарт еще не широко распространен, AI-краулеры уже обращают на него внимание.

OpenAI обращался к нашим файлам более 8 000 раз.

Это уже не теория; краулеры реальны и активны.

Активность была крайне стабильной.

Более 94% запросов исходило от OAI-SearchBot OpenAI, также были заходы от GPTBot.

Поисковый бот пингует наши серверы несколько раз в час, иногда сериями.

Например, 26 июня 2025 года бот запросил URL одного из сайтов в 14:05:55 UTC и снова через три секунды.

10 июля другой сайт был запрошен в 15:21:46, 15:23:03, 15:29:09 и 15:32:16 UTC.

Файл LLMs.txt аналогичен robots.txt: он размещается в корне и содержит инструкции по краулингу.

Он позволяет представить информационную архитектуру сайта в Markdown, создавая упрощенную структуру.

Это критично, поскольку LLM не рендерят JavaScript и извлекают контекст из сырого HTML.

Сайты с рендерингом на стороне клиента могут не отображать контент, снижая шанс цитирования.

Если LLM не могут парсить ваш контент, вы не останетесь конкурентоспособными.

Мы уже видим рост AI-цитирований в Ahrefs для этих низкотрафиковых сайтов, где ранее показатели были почти нулевыми.

GPTBot, используемый для обучения моделей, тоже пинговал LLMs.txt на двух небольших сайтах, что указывает на его ценность для OpenAI.

Сами сайты посвящены нишевым отраслевым специальностям, карьерным перспективам и лицензированию, предоставляя качественную обучающую информацию.

Мы заставили ботов краулить наш файл, работая с LLMs.txt как с любым SEO-стандартом.

Вместо простого указания в robots.txt, мы добавили ссылку на файл в секцию <head> наших сайтов с типом связи "alternate".

Мы ожидали краулинга, но не в таком объеме и не так быстро.

Частота обращений вызвала опасения по поводу злоупотребления IP-адресами и спуфинга.

Мы проверили IP 135.234.64.13 и подтвердили, что он указан в документации OpenAI.

Вам стоит внедрить LLMs.txt на своем сайте.

У Google есть 20-летняя фора в парсинге неструктурированных данных, поэтому конкурентам нужны более простые пути.

Если сайт не оптимизирован для ИИ, а у продукта жесткие сроки (например, подача на магистратуру), пользователи могут столкнуться с галлюцинациями.

LLMs.txt служит страховкой, предоставляя свежую информацию для снижения ошибок, когда LLM выполняют поиск в реальном времени или используют RAG для удовлетворения интента, например при изменениях в учебной программе или новых сроках подачи заявок.

https://www.archeredu.com/hemj/are-llms-txt-files-being-implemented-across-the-web/

@MikeBlazerX