29
Google выпустила открытую ИИ-модель, работающую локально на ноутбуках с 16 ГБ памяти
— Технологии&Авто
Google представила открытую ИИ-модель Gemma 4 12B с 11,95 млрд параметров, которая способна работать локально на ноутбуках с 16 ГБ видео- или унифицированной памяти.
Модель распространяется по лицензии Apache 2.0 и доступна для загрузки через Hugging Face, Kaggle и Google AI Edge Gallery.
Новая архитектура
Одной из главных особенностей Gemma 4 12B стала новая архитектура Unified. В отличие от большинства мультимодальных моделей, она не использует отдельные энкодеры для обработки изображений и аудио. Вместо этого визуальные данные и звуковые волны напрямую передаются в языковую модель через упрощенные промежуточные модули.
По словам Google, такой подход позволяет снизить задержки, снизить требования к памяти и упростить дальнейшее дообучение модели.
Gemma 4 12B поддерживает контекстное окно объемом до 256 тысяч токенов, режим пошагового размышления, системные инструкции и вызов внешних функций для создания агентов. Несмотря на компактный размер, Google утверждает, что по ряду тестов модель приближается к производительности большей Gemma 4 26B.
Аудио и видео
Модель также поддерживает работу по аудио и видео. В то же время существует ограничение: длина аудиозаписи не может превышать 30 секунд, а видео ограничено 60 секундами при обработке со скоростью один кадр в секунду.
Локальный запуск ИИ
Google позиционирует Gemma 4 12B как решение для локального запуска ИИ без подключения к облачным сервисам. Компания считает, что модель может быть полезна для организаций с повышенными требованиями к конфиденциальности данных, автономных агентов и сценариев, где постоянный доступ в интернет недоступен или нежелателен.
Gemma 4 12B уже совместима с популярными инструментами развертывания, включая vLLM, SGLang, MLX и llama.cpp. Для пользователей Google Cloud также доступна интеграция через Model Garden, Cloud Run и Google Kubernetes Engine.
По материалам: mezha.media
Поделиться новостью
