324
Google представила ИИ для озвучивания видео
— Технологии&Авто
Команда Google DeepMind представила инструмент для создания саундтреков к видео с помощью искусственного интеллекта.
Как отмечают разработчики, ИИ-модели для создания видео развиваются семимильными шагами, но в основном это «немые» видео. Технология V2A («video-to-audio») позволяет оживить их.
Технология позволяет сгенерировать музыку в духе ролика, звуковые эффекты и даже диалоги для персонажей по текстовому описанию. ИИ-модель в основе технологии обучали на базе звуков, расшифровок диалогов и видео.
Моделями для порождения музыки и звуков сегодня никого не удивишь. Но по словам разработчиков V2A, отличие их технологии в том, что она способна понимать видеоряд и автоматически синхронизировать сгенерированное аудиосопровождение непосредственно под него с учетом запроса пользователя.
В DeepMind признают, что технология небезупречна. А поскольку в обучающем датасете было мало видео с артефактами и другими дефектами, создавать аудио для них у V2A получается не очень.
По материалам: Процес
Поделиться новостью
