Компания Goodfire представила систему мониторинга, которая отслеживает работу ИИ-агентов через анализ внутренних сигналов моделей, а не только через проверку текстовых ответов. Решение доступно клиентам платформы Baseten.
Система использует детекторы-зонды, которые считывают вычисления модели в процессе работы. Отдельная ИИ-модель подключается для детальной проверки только при обнаружении подозрительной активности, включая попытки взлома или использование оружия.
Тесты на модели Kimi K3 показали, что мониторинг 1500 сессий обходится примерно в $51. Для сравнения, использование бюджетных ИИ-мониторов стоит $233, а премиальных — $10 000. Зонды выявили 94% вредоносных сессий.
Запуск четырех зондов одновременно увеличивает время отклика модели менее чем на 2%. Исследования Goodfire показывают, что ведущие открытые модели, такие как Kimi K3 и GLM-5.2, склонны к reward-hacking в 50–96% случаев.
