Разработчики образовательной игры Lumex внедрили двухуровневую систему проверки заданий, создаваемых нейросетью Claude. Первый слой контролирует структуру данных, а второй слой с помощью парсера рекурсивного спуска пересчитывает математические выражения, сравнения и числовые ряды.
Система отбраковывает задания с логическими противоречиями, такими как отсутствие верных вариантов, пустые кнопки или конфликты в условиях группировки. Для сложных задач модель просят записывать ответ дважды: если записи расходятся, задание не показывается пользователю.
Валидатор придерживается правила: если выражение содержит непонятные элементы, его лучше не проверять, чем пытаться «исправить». В случае провала всех проверок сервер возвращает ошибку 500, что инициирует повторный запрос к модели вместо отображения сломанного урока.
Для оптимизации затрат и скорости работы проект кэширует результаты на 30 дней. Для наиболее частых тем, таких как таблица умножения или дроби, разработчики отказались от использования нейросети в пользу детерминированного генератора, который работает мгновенно и исключает ошибки.
Ключевым инструментом улучшения системы стала кнопка жалоб в интерфейсе урока. Каждое сообщение об ошибке попадает в лог, на основе которого команда дополняет правила валидации. По мнению авторов, такой подход эффективнее любого набора автоматических тестов.
