ШІ створює мультфільми


ШІ створює мультфільми

Disney Research і Rutgers розробили нейромережу, яка може створити грубу розкадровку і відео за текстовим сценарієм.

Система працює з природною мовою, що дозволить застосовувати її в низці галузей на кшталт створення навчальних відеороликів.

Ці системи допоможуть сценаристам візуалізувати їхні ідеї. Заявлено, що мета – не замінити письменників і художників, а зробити їхню роботу більш ефективною і менш напруженою.

Розробники заявляють, що переведення тексту в анімацію є непростим завданням, оскільки дані на вході і виході не мають фіксованої структури. Тому більшість подібних систем не можуть обробляти складні речення. Щоб обійти обмеження попередніх подібних програм, розробники побудували модульну нейронну мережу, що складається з декількох компонентів. У їх число входить модуль обробки природної мови, модуль аналізу сценаріїв, а також модуль, що генерує анімацію.

Для початку система аналізує текст і переводить складні речення в прості. Після цього створюється 3D-анімація. Для роботи використовується бібліотека з 52 анімованих блоків, список яких був розширений до 92 за рахунок додавання схожих елементів. Для створення анімації використовується ігровий движок Unreal Engine, який спирається на попередньо завантажені об’єкти і моделі. З них система обирає відповідні елементи і формує відеоролик.

Для навчання системи дослідники склали набір описів з 996 елементів, взятих з більш ніж 1000 сценаріїв з IMSDb, SimplyScripts і ScriptORama5. Після цього були проведені якісні тести, в яких 22 учасникам довелося оцінити 20 анімацій. 68% сказали, що система створила цілком гідну анімацію на основі вхідних текстів.

Команда визнала, що система неідеальна. Її список дій і об’єктів не є вичерпним, і іноді лексичне спрощення не зіставляє дієслова з аналогічними анімаціями. Дослідники мають намір усунути ці недоліки в подальшій роботі.

  • i

    Якшо Ви помітили помилку, виділіть необхідну частину тексту й натисніть Ctrl+Enter, щоб повідомити про це нам.

Дивись також
В Контексті Finance.ua
Опитування