Сервис 1trAIner, предоставляющий ИИ-тренера для составления планов тренировок, столкнулся с проблемой соблюдения медицинских ограничений. Несмотря на наличие инструкции в системном промпте, модель часто игнорировала необходимость рекомендации очного осмотра врача, если жалоба на боль была скрыта в контексте другого вопроса.
Дефект был выявлен при локализации продукта на английский и китайский языки, однако проверка показала, что аналогичная ошибка присутствовала и в русских ответах. После уточнения промпта оценка качества ответов по медицинской рубрике выросла с 2,78 до 4,33 балла, но цель в 4,5 балла не была достигнута, так как промпт не давал гарантий.
Разработчики внедрили программный «страж», который проверяет ответы модели на наличие маркеров боли. Если в ответе отсутствует направление к врачу, сервис автоматически дописывает предупреждение. Для корректной работы с кириллицей в регулярных выражениях команда создала собственный класс границ слов, так как стандартный маркер в JavaScript не учитывает кириллические символы.
Дополнительно был добавлен второй уровень защиты, который проверяет наличие условия «если это не вызывает боли» у каждой предложенной активности. Команда отказалась от использования редакторской модели как единственного судьи из-за высокого разброса оценок и перешла к детерминированному чек-листу. Весь цикл замеров с помощью ИИ-модели обошелся в $1,83.
