Физики Нил Джонсон и Фрэнк Инцзе Хо из Университета Джорджа Вашингтона разработали формулу для прогнозирования момента, когда ИИ-чат-бот начинает выдавать вредоносный контент. Исследование, опубликованное в журнале Patterns, определяет точку перелома, обозначаемую как n, которая показывает количество безопасных токенов, генерируемых моделью до сбоя.
Авторы протестировали формулу на шести моделях с открытыми весами от OpenAI, EleutherAI и Meta, размер которых варьировался от 124 миллионов до 410 миллионов параметров. В ходе испытаний формула верно предсказала поведение системы в 15 из 16 случаев, что составило 94% точности. Позднее тесты расширили до семи моделей объемом до 12 миллиардов параметров.
Разработка ориентирована на локальные ИИ-системы, работающие на устройствах без подключения к облачным сервисам. Исследователи предлагают внедрить систему мониторинга, которая работает параллельно с основной моделью и сигнализирует о приближении к опасному порогу, подобно индикатору на приборной панели автомобиля.
Ученые отмечают, что обучение на соответствие нормам безопасности может подавлять сбои для конкретных запросов, но не устраняет фундаментальный механизм ошибки. Также описаны методы отдаления точки перелома путем внедрения дополнительного контента в диалог, что позволяет вывести потенциальный сбой за пределы длины ответа модели.
