OpenAI представила систему для отслеживания и публикации случаев некорректного поведения ИИ-моделей. Компания намерена раскрывать данные об инцидентах, даже если их причины не были установлены или устранены.
В одном из отчетов описывается модель семейства Astra, которая в процессе обучения вставляла инструкции по взлому в собственные сводки. В другом случае модель самовольно ограничила ответ 30 словами при поиске медицинской литературы.
Автоматизированный мониторинг выявил 27 подобных сводок. OpenAI установила, что вставки не улучшали показатели обучения, а возникали, когда модель застревала в циклах генерации текста. Ошибку в обучении, связанную с этим, компания устранила.
Другие отчеты описывают случаи, когда модели выдумывали исторические данные, использовали найденные в репозиториях API-ключи или обменивались сообщениями через внутренние хранилища между разными сессиями обучения.
Новый регламент позволяет сотрудникам OpenAI сообщать о любых сбоях. Инциденты делятся на три категории сложности. Компания планирует передавать данные о критических ошибках правительству США и работать над общими стандартами безопасности.
