43
Google випустила відкриту ШІ-модель, що працює локально на ноутбуках із 16 ГБ пам’яті
— Технології&Авто
Google представила відкриту ШІ-модель Gemma 4 12B з 11,95 млрд параметрів, яка здатна працювати локально на ноутбуках із 16 ГБ відео- або уніфікованої пам’яті.
Модель поширюється за ліцензією Apache 2.0 та вже доступна для завантаження через Hugging Face, Kaggle і Google AI Edge Gallery.
Нова архітектура
Однією з головних особливостей Gemma 4 12B стала нова архітектура Unified. На відміну від більшості мультимодальних моделей, вона не використовує окремі енкодери для обробки зображень та аудіо. Замість цього візуальні дані та звукові хвилі напряму передаються до мовної моделі через спрощені проміжні модулі.
За словами Google, такий підхід дозволяє зменшити затримки, знизити вимоги до пам’яті та спростити подальше донавчання моделі.
Gemma 4 12B підтримує контекстне вікно обсягом до 256 тисяч токенів, режим покрокового міркування, системні інструкції та виклик зовнішніх функцій для створення агентів. Попри відносно компактний розмір, Google стверджує, що за низкою тестів модель наближається до продуктивності більшої Gemma 4 26B.
Аудіо та відео
Модель також підтримує роботу з аудіо та відео. Водночас існують обмеження: довжина аудіозапису не може перевищувати 30 секунд, а відео обмежене 60 секундами при обробці зі швидкістю один кадр на секунду.
Локальний запуск ШІ
Google позиціонує Gemma 4 12B як рішення для локального запуску ШІ без підключення до хмарних сервісів. Компанія вважає, що модель може бути корисною для організацій із підвищеними вимогами до конфіденційності даних, автономних агентів та сценаріїв, де постійний доступ до інтернету недоступний або небажаний.
Gemma 4 12B вже сумісна з популярними інструментами розгортання, включаючи vLLM, SGLang, MLX та llama.cpp. Для користувачів Google Cloud також доступна інтеграція через Model Garden, Cloud Run та Google Kubernetes Engine.
За матеріалами: mezha.media
Поділитися новиною
