Компания Nokia представила AnyJev — инструмент с открытым исходным кодом, который превращает любые открытые большие языковые модели в калиброванные системы принятия решений. Программное обеспечение доступно через PyPI под лицензией Apache-2.0 и поддерживает бэкенды transformers и vLLM.
AnyJev использует интерфейс модели Jev от TypeSafe AI. Система принимает типизированные вопросы и выдает решение с вероятностью, основанной на распределении следующего токена модели. Процесс не требует обучения, парсинга или генерации текста.
Разработчики Nokia устранили две проблемы существующих решений: зависимость от порядка вариантов ответа и отсутствие калибровки вероятностей. Инструмент работает на двух уровнях: L0 для базового скоринга и L1, который добавляет масштабирование температуры для 100–500 меток.
Производительность уровня L0 составляет около 0,25 секунды на решение при размере пакета 32 на одном графическом процессоре H100 с параметром K, равным 20. Уровень L1 сохраняет откалиброванные значения в виде JSON-файла, корректируя уверенность системы без изменения ранжирования ответов.
