498
ШІ створює мультфільми
— Технології&Авто
Disney Research і Rutgers розробили нейромережу, яка може створити грубу розкадровку і відео за текстовим сценарієм.
Система працює з природною мовою, що дозволить застосовувати її в низці галузей на кшталт створення навчальних відеороликів.
Ці системи допоможуть сценаристам візуалізувати їхні ідеї. Заявлено, що мета – не замінити письменників і художників, а зробити їхню роботу більш ефективною і менш напруженою.
Розробники заявляють, що переведення тексту в анімацію є непростим завданням, оскільки дані на вході і виході не мають фіксованої структури. Тому більшість подібних систем не можуть обробляти складні речення. Щоб обійти обмеження попередніх подібних програм, розробники побудували модульну нейронну мережу, що складається з декількох компонентів. У їх число входить модуль обробки природної мови, модуль аналізу сценаріїв, а також модуль, що генерує анімацію.
Для початку система аналізує текст і переводить складні речення в прості. Після цього створюється 3D-анімація. Для роботи використовується бібліотека з 52 анімованих блоків, список яких був розширений до 92 за рахунок додавання схожих елементів. Для створення анімації використовується ігровий движок Unreal Engine, який спирається на попередньо завантажені об’єкти і моделі. З них система обирає відповідні елементи і формує відеоролик.
Для навчання системи дослідники склали набір описів з 996 елементів, взятих з більш ніж 1000 сценаріїв з IMSDb, SimplyScripts і ScriptORama5. Після цього були проведені якісні тести, в яких 22 учасникам довелося оцінити 20 анімацій. 68% сказали, що система створила цілком гідну анімацію на основі вхідних текстів.
Команда визнала, що система неідеальна. Її список дій і об’єктів не є вичерпним, і іноді лексичне спрощення не зіставляє дієслова з аналогічними анімаціями. Дослідники мають намір усунути ці недоліки в подальшій роботі.
За матеріалами: 3dnews.ru
Поділитися новиною
