Forklog 2024-06-18 07:38:43

Google разработает ИИ-модель для генерации звука к видео

Компания Google DeepMind разрабатывает технологию на базе искусственного интеллекта для создания саундтреков к видео. Исследовательское подразделение Google в области ИИ и другие организации уже создавали модели для видео, но они не способны генерировать под них звуковые эффекты. Для этих целей DeepMind использует технологию V2A (video-to-audio). «Модели для генерации видео развиваются невероятными темпами, но многие современные системы не создают звуковую дорожку. Одним из следующих важных шагов на пути к генерации фильмов является появление саундтреков к этим немым видеороликам», — говорится в сообщении DeepMind. Технология V2A от DeepMind использует промпты в сочетании с видео для создания музыки, звуковых эффектов и диалогов. Например: «Пульсирующая под водой медуза, морская жизнь, океан». Лежащая в основе V2A диффузионная ИИ-модель обучена на базе звуков, расшифровок диалогов и видеоклипов. https://www.youtube.com/watch?v=b6Elcke3JMc&t=9s Для создания звука к видео использовались следующие подсказки: кинематограф, триллер, фильм ужасов, музыка, напряжение, атмосфера, шаги по бетону. DeepMind отмечает, что технология пока не идеальна, а звук нельзя назвать высококачественным и убедительным. Перед полноценным запуском V2A требуются доработки и тестирования. Напомним, в феврале OpenAI представила новую генеративную ИИ-модель Sora, которая позволяет преобразовывать текст в видео. В июне ученые из Гарварда и DeepMind создали виртуальную крысу с искусственным интеллектом в качестве мозга.Ранее дочерняя компания Google представила генеративную ИИ-модель Genie для создания игр.