Компания «Яндекс» открыла доступ к языковой модели Alice AI Search Pretrain, которая используется для формирования быстрых ответов в поисковой системе. Модель была обучена с нуля и оптимизирована для работы с ограниченными вычислительными мощностями, что позволяет ей справляться с высокими нагрузками и анализировать большие массивы документов.
Архитектура модели сочетает технологии Encoder-Decoder и Mixture of Experts (MoE). Первая разделяет процессы поиска информации и генерации ответа. Вторая обеспечивает экономию ресурсов: при общем размере в 35 млрд параметров для обработки одного токена задействуется лишь 600 млн, что составляет менее 2% от общего объёма модели.
По результатам слепого тестирования Alice AI Search Pretrain превосходит модели Alibaba Qwen 3.5 2B, 4B и Google T5 Gemma 2 4B-4B Base, демонстрируя качество ответов на уровне Qwen 3.5 35B-A3B. В поисковой службе «Яндекса» применяется версия Alice AI Search, прошедшая дополнительное обучение на реальных примерах взаимодействия с пользователями.
