Google DeepMind представила EmbeddingGemma 2 — мультимодальную модель с 740 миллионами параметров. Она распространяется по лицензии Apache 2.0, что разрешает коммерческое использование. Веса модели уже доступны на платформах Hugging Face и Kaggle.
Модель предназначена для работы на локальных устройствах, включая смартфоны и ноутбуки. Она поддерживает обработку текста, кода, изображений, видео и аудио. Базовая архитектура для текста и кода насчитывает 270 миллионов параметров, а дополнительные энкодеры расширяют этот объем до 740 миллионов.
Контекстное окно модели увеличено до 8000 токенов, что в четыре раза больше, чем у первой версии. EmbeddingGemma 2 работает с более чем 100 языками и использует 768-мерное векторное пространство. В бенчмарке MTEB Code модель показала результат 78,68 балла, прибавив 9,92 пункта.
Технология Matryoshka Representation Learning позволяет сокращать размерность векторов до шести раз, сохраняя их эффективность. Это ускоряет поиск и снижает требования к хранилищу, что полезно для разработчиков приложений, ориентированных на конфиденциальность данных пользователей.
