✅ Использование Screaming Frog SEO Spider для массовой генерации...

✅ Использование Screaming Frog SEO Spider для массовой генерации Markdown

Инструкция от команды Screaming Frog о том, как использовать краулер совместно с AI-инструментами для извлечения контента из страниц и конвертации в чистый Markdown формат.

Зачем это нужно? Например, я недавно узнал, что для максимального эффекта для создания своих баз знаний в Notebook LM (когда создаете новый блокнот) лучше не просто давать ссылки на статьи и видео по нужной теме, а предварительно транскрибировать видео и форматировать транскрибацию и статьи в markdown формат и скармливать md файлы.

Узнал я случайно, затем спросил серию уточняющих вопросов у Gemini, Claude и других нейросетей. Качество ответов у Notebook LM на базе markdown мне больше понравилось.

Можно использовать Лягушку, но, на мой взгляд, лучше запилить скрипт в том же Claude Code, который все это будет делать. Я так и сделал. Транскрибация видео идет бесплатно через Groq по API, модель whisper-large-v3-turbo.

Using the Screaming Frog SEO Spider to Generate Markdown at Scale

https://www.screamingfrog.co.uk/blog/generate-markdown-at-scale/

Михаил Шакин, @burzhunet

Источник новости https://t.me/burzhunet/3870...