Тестирование AI-агентов часто опирается на некорректные метрики, которые показывают успех при фактических сбоях. Распространенная ошибка — оценка только текстового ответа, а не реального изменения состояния базы данных. Если агент сообщает о выполнении задачи, но в базе данных ничего не изменилось, тест ошибочно засчитывает успех.
Большинство наборов тестов сфокусированы на позитивных сценариях, игнорируя режимы отказа: таймауты, дрейф схемы данных или prompt-инъекции. Фокус на «счастливом пути» приводит к тихим ошибкам, когда инструменты возвращают формально верные, но семантически неверные данные. Рекомендуется вести матрицу режимов отказа для каждого процесса.
Важным аспектом является проверка трассировки вызовов агента. Агент может достичь цели, вызвав неверный инструмент или пропустив проверку прав доступа. Вместо жесткой фиксации последовательности действий стоит использовать инварианты траектории, определяя обязательные, запрещенные и допустимые вызовы инструментов.
Метрики качества легко исказить, если они не привязаны к бизнес-результатам. Агент может демонстрировать высокую эффективность, просто перекладывая сложные задачи на человека. Бенчмарк τ-bench доказывает, что даже заведомо нерабочие агенты могут получать баллы, если критерии оценки не учитывают конечное состояние системы.
