Разработчик и эксперт ЕГЭ создал Telegram-бота для проверки второй части экзамена по обществознанию. Система использует ИИ-модель для разметки ответов, а итоговый балл рассчитывает программный код. Такая архитектура ограничивает влияние модели: код может только снижать оценку, опираясь на формальные критерии, но не ставить её самостоятельно.
Для каждого задания предусмотрен отдельный плагин с набором правил. Например, в задании 24 пункты плана лемматизируются через pymorphy2 и сверяются с базой из 185 эталонных планов. Чтобы избежать ошибок из-за синонимов, система использует группы эквивалентных заголовков, что позволяет корректно оценивать работы, где ученики используют отличную от эталона терминологию.
Система защиты от ошибок включает многоступенчатую фильтрацию. Модельные замечания проходят проверку на соответствие списку типов ошибок и подтверждаются независимыми прогонами. При сбоях, таких как отсутствие ответа или невалидный JSON, система помечает проверку как недоступную, предотвращая выставление некорректных баллов и списание попыток у пользователей.
В ходе ноябрьского тестирования на 393 кейсах система совершила 497 вызовов модели, потратив $8,87. Средняя стоимость одной проверки составила $0,023 при времени работы модели 9 секунд. Наиболее затратными оказались задания, требующие многократных перепроверок. Использование кэша промптов позволяет оптимизировать расходы в зависимости от длины системных инструкций.
