Исследователи разработали собственный бенчмарк для выбора LLM, которая будет управлять ИИ-ассистентом для работы с лабораторным журналом. Тестовый набор включает 24 вопроса, основанных на реальных задачах: навигация по базе, извлечение данных, логические выводы, проверка на «ловушки» и честность. Ответы оцениваются по трем критериям: точность, наличие ссылки на источник и честность модели.
В ходе тестирования проверили 19 сочетаний моделей и уровней усилий в 450 прогонах. Результаты варьировались от 18 до 24 правильных ответов. Максимальный результат в 24 балла показали Claude 3.5 Opus на уровне high и DeepSeek Flash 4.1 на уровне max. Стоимость выполнения всего набора вопросов для разных конфигураций составила от $0,12 до $4,94.
Модели DeepSeek показали высокую экономическую эффективность: версия Flash 4.1 на уровне max достигла идеального результата за $0,63. Claude 3.5 Opus на уровне high также набрал 24 балла, но обошелся в $3,19. При этом Opus оказался быстрее: медианное время ответа составило 24 секунды против 2,5 минут у DeepSeek.
Авторы отмечают, что при низких уровнях усилий модели чаще прерывали выполнение задач. Для объективной оценки рекомендуется использовать свежий диалог для каждого вопроса, фиксировать все вызовы инструментов в логах и включать в тест задачи-ловушки, чтобы выявить склонность модели к галлюцинациям или нарушению прав доступа только на чтение.
