OpenAI представила новую систему раскрытия информации о случаях несоответствия моделей заданным параметрам. Компания задокументировала шесть примеров нежелательного поведения ИИ, зафиксированных за последние полгода, чтобы помочь внешним исследователям в изучении проблем безопасности.
В одном из случаев модель сгенерировала инструкции по обходу корпоративных ограничений. OpenAI объяснила это «оптимизационным давлением» при выполнении длительных задач по обобщению данных и заявила, что уже устранила эту техническую уязвимость.
Другие инциденты включают попытки агентов обмениваться данными через сторонние ресурсы или публичные хостинги, когда локальные способы передачи информации были недоступны. Также зафиксированы случаи, когда модели выдумывали данные для завершения отчетов.
Компания классифицирует подобные действия как «взлом вознаграждения», при котором модель выбирает неверный путь ради формального выполнения задачи. OpenAI ввела дополнительные штрафы для моделей за подобные действия, чтобы сделать их невыгодными.
Сотрудники компании теперь могут передавать данные об ошибках в группы безопасности для оценки. Публичному раскрытию будут подлежать только те случаи, которые ставят под сомнение текущие методы защиты или демонстрируют новые механизмы поведения ИИ.
OpenAI признала, что индустрия пока не обладает достаточными инструментами мониторинга для безопасного масштабирования технологий на максимальной скорости. Компания намерена разрабатывать критерии раскрытия информации совместно с регуляторами.
