В июне 2026 года Google DeepMind представила модель Gemma 4 12B. Она содержит 11,95 млрд параметров и использует унифицированную архитектуру без специализированных кодировщиков. Для работы модели требуется 16 Гбайт оперативной памяти, она доступна в среде Unsloth Desktop.
В отличие от классических мультимодальных моделей, Gemma 4 12B обрабатывает изображения с помощью компактного модуля на 35 млн параметров. Входные данные разбиваются на фрагменты 48x48 пикселей, которые преобразуются в латентное пространство через матричное умножение.
Аудиопотоки обрабатываются путем нарезки на фреймы по 40 миллисекунд с частотой 16 кГц. Модель обладает встроенным аудиовосприятием и не требует отдельного декодера, что отличает её от версий E2B и E4B, где используются модули на 305 млн параметров.
Бескодировочный дизайн упрощает дообучение модели, так как она модифицируется как единое целое. В ходе тестирования с использованием инструментария Unsloth Desktop модель успешно подготовила резюме текста объемом около 44 тыс. знаков при скорости инференса 0,7 токена в секунду.
