Власник TikTok розкрив подробиці своєї альтернативи GPT
Китайський технологічний гігант ByteDance, що є власником TikTok, планує запустити велику мовну модель (LLM) під назвою LEGO.
У дослідженні ArXiv вчені описали модель, що здатна вловлювати дрібні деталі у тексті, відео, аудіо та зображеннях.
Конструкція LEGO включає різні кодери та адаптери для різних типів інформації, як відео, зображення та аудіо. Кожен тип інформації проходить через свій власний кодер і адаптер.
Дослідники стверджують, що навчена ними модель демонструє точну ідентифікацію та локалізацію конкретних регіонів на зображеннях або моментів у відео.
«Завдяки навчанню на різноманітних мультимодальних і деталізованих наборах даних LEGO досягає кращого сприйняття мультимодальних вхідних даних і демонструє покращену продуктивність у завданнях, які вимагають глибокого розуміння. У майбутній роботі ми прагнемо розширити LEGO, щоб включити додаткові модальності введення та виведення, досліджуючи складніші методи», — йдеться у висновках дослідників.
За матеріалами: НВ
Поділитися новиною