Компания Google DeepMind представила EmbeddingGemma 2 — открытую модель для преобразования текста, кода, изображений, видео и аудио в единое 768-мерное векторное пространство. Такая архитектура позволяет сравнивать данные разных типов, например, находить видео по текстовому запросу.
Модель обладает модульной структурой с общим числом параметров 740 миллионов: 270 миллионов для текста, 170 миллионов для зрения и 300 миллионов для аудио. Это позволяет загружать только нужные компоненты: текстовая версия занимает около 191 МБ оперативной памяти, а полная мультимодальная — около 567 МБ.
EmbeddingGemma 2 поддерживает более 100 языков и контекстное окно в 8192 токена. Благодаря методу Matryoshka Representation Learning векторы можно обрезать до 512, 256 или 128 измерений для экономии ресурсов. Модель показывает рост эффективности в задачах с кодом на 14% по сравнению с первой версией.
Веса модели доступны на Hugging Face и Kaggle. Поддержку обеспечивают MediaPipe, LiteRT, vLLM и Ollama. Разработчикам рекомендуется использовать форматы bfloat16 или float32, так как использование float16 приводит к ошибкам вычислений из-за выхода значений за пределы диапазона.
