Исследователи Сбербанка представили Pollux — компактную открытую модель-судью с 4 млрд параметров для оценки качества работы нейросетей. Инструмент анализирует пары «запрос-ответ», многоходовые диалоги, RAG-системы и цепочки вызовов инструментов на русском и английском языках.
Методология Pollux основана на одноименном бенчмарке, включающем 35 групп задач и 2115 экспертных запросов. Модель обучена методом обучения с подкреплением GRPO. Пользователи могут самостоятельно задавать критерии, шкалы и форматы вывода для оценки ответов ИИ.
На тестовых выборках с экспертной разметкой Pollux показала коэффициент корреляции Спирмена 0,744. Этот результат превышает показатели универсальных моделей, насчитывающих до 1,1 трлн параметров. Решение поддерживает локальное развертывание и API, совместимый с OpenAI.
Интеграция Pollux возможна через фреймворки DeepEval и LightEval. Как отметил директор по развитию технологий ИИ Сбербанка Сергей Марков, модель позволяет сократить расходы на массовую проверку ответов нейросетей, обеспечивая при этом высокую точность оценок, сопоставимую с экспертной.
