Разработчик создал систему личного дневника на базе ИИ, которая конспектирует записи пользователя и задает наводящие вопросы. Для тестирования недетерминированных ответов нейросети был применен метод «LLM-судья», где вторая нейросеть оценивает работу основной модели по заранее заданной шкале баллов.
В качестве тестовых данных автор использовал фрагменты произведений 20 писателей разных эпох и стилей, включая Толстого, Достоевского, Довлатова и Толкина. Такой набор текстов позволил проверить систему на различных типах записей — от кратких заметок до глубокой саморефлексии — и сформировать «золотой стандарт» для оценки качества конспектов.
Всего было проведено около 100 тестовых прогонов. Автоматизация тестирования реализована через отдельную Gradle-задачу, которая запускается вручную перед релизом, а не при каждом коммите. Это позволяет оптимизировать расходы на использование API нейросетей и гарантирует, что в продакшн попадет только версия с оценкой не ниже 4 баллов.
Шкала оценки судьи варьируется от 5 (идеальный конспект) до 2 (искажение смысла или нежелательные советы). Автор отмечает, что при получении низких оценок важно анализировать промпт самого судьи, так как модель может ошибаться в интерпретации собственных инструкций, требуя уточнения критериев строгости.
