Создание видео при помощи нейро сети Всем привет!

Создание видео при помощи нейро сети

Всем привет!

Как вы знаете, я большой любитель применения искусственного интеллекта, причем в разных областях.

Я использую Machine Learning для анализа апдейтов, при аудите новостных сайтов.

Я всячески пытался применить эти технологии для создания видео.

Сначала я озвучивал видео при помощи различных голосовых движков. На тот момент я думал, что это хорошая идея.

Позднее я начал использовать ИИ для анимации изображения и создания видео. Хочу сказать, что получается довольно неплохо, но есть пару минусов. Силуэт остается статичным, кроме движения губ. Модель плохо распознает людей с бородой.

Протестировать модель анимации изображения можно тут https://huggingface.co/spaces/akhaliq/wav2lip

Буквально вчера я закончил новый этап и считаю, что это уже очень близко к тому, что называется DeepFake.

Вот пример такого видео https://youtu.be/Vgddq1hMHW4

Прелесть этого подхода вот в чем. Достаточно создать заготовку видео для обучения движениям и мимике (снять себя на видео или кого-то). Записать качественный звук. Все это добавить в нейросеть и уже она сама анализируя темп и другие параметры звука подстраивает под него движения человека на видео и его мимику.

Далее достаточно менять аудио для создания очередного видео. По сути, это видео монтаж при помощи нейросети.

Хотелось бы услышать ваше мнение о самом видео и о таком подходе для создания видео.

Источник новости https://t.me/seo_inside/362...