Компания «Яндекс» открыла доступ к базовой языковой модели Alice AI Search Pretrain на платформе Hugging Face. Разработчики и исследователи могут использовать модель в собственных проектах и изучать ее архитектуру. Это первая базовая модель такого типа, выложенная в открытый доступ.
Модель построена на гибридной архитектуре, объединяющей технологии Encoder-Decoder и Mixture of Experts (MoE). При общем объеме в 35 миллиардов параметров для обработки одного токена задействуется около 600 миллионов, что составляет менее 2% от общего числа. Это позволяет экономить вычислительные мощности.
По результатам слепого тестирования модель превосходит аналоги Qwen 3.5 2B, 4B и T5 Gemma 2 4B-4B в задачах на русском языке. При этом качество ответов сопоставимо с моделью Qwen 3.5 35B-A3B, которая требует значительно больших ресурсов для работы.
Дообученная версия модели под названием Alice AI Search работает в поиске «Яндекса» с июля. Она обучена на реальных пользовательских запросах для генерации емких ответов под поисковой строкой. Ежемесячная аудитория этого генеративного продукта превышает 49 миллионов человек.
