Разработчик внедрил стенд для тестирования AI-ментора, встроенного в учебную платформу. Набор из 61 теста охватывает 13 категорий, включая проверку навыков работы с инструментами и соблюдение педагогической политики. Система оценивает ответы модели по набору примитивных критериев, таких как подстроки, вызовы функций и длина текста.
В ходе работы выяснилось, что автоматические проверки создавали ложную уверенность. Стенд пропускал оборванные ответы и готовые решения, если модель меняла имена переменных. После доработки проверок разработчик обнаружил, что в продакшене из-за лимита в 1024 токена ответы также обрывались; лимит был увеличен до 2048 токенов.
В тестах участвовали модели DeepSeek V4 Flash, YandexGPT Pro и Qwen3.6. Лучший результат показал DeepSeek. Стоимость использования моделей зависит от структуры промпта и тарифов кэширования: например, YandexGPT оказался в 4,5 раза дороже Flash при выполнении идентичных задач. Использование режима рассуждения увеличивает стоимость прогона на 55%.
Автор пришел к выводу, что автоматические цифры не гарантируют качество ответов, а лишь определяют порядок их ручного чтения. Даже после исправления тестов модели продолжали допускать системные ошибки, такие как выдача готовых решений или игнорирование запретов. В итоге разработчик начал менять архитектуру самого продукта, а не только тесты.
