Frontier Model Forum (FMF) представил систему оценки уязвимостей для больших языковых моделей. Проект был запущен в 2023 году при участии компаний Anthropic, Google, Microsoft и OpenAI.
Новый стандарт напоминает систему CVSS и классифицирует методы обхода защиты ИИ по четырем критериям: прирост возможностей, масштаб, простота развертывания и легкость обнаружения. Каждому параметру присваивается оценка от нуля до трех.
Ключевым показателем является прирост возможностей. Оценка ноль означает, что метод не дает преимуществ перед существующими инструментами, а три — что модель достигает уровня работы без ограничений.
Версия 1.0 документа находится в статусе черновика. FMF принимает комментарии и предложения до 21 декабря. Разработчики подчеркивают, что пока не стоит использовать данную методику для реальной оценки безопасности.
Система предполагает динамическую базу: критерии оценки будут меняться по мере развития технологий. Это позволит сохранять актуальность рейтингов, так как значимость уязвимостей будет пересматриваться с учетом прогресса моделей.
