OpenAI представила новые руководящие принципы для обучения передовых моделей ИИ. Теперь перед запуском обучения команды обязаны готовить структурированные документы с обоснованием безопасности. Эти материалы подлежат обязательной проверке руководством компании.
В процесс утверждения включены глава исследовательского отдела, вице-президент по исследованиям, руководитель службы безопасности и главный научный сотрудник. Каждый из них обладает правом вето на запуск тренировочных задач. Ответственность за безопасность и реакцию на инциденты теперь закреплена за топ-менеджерами, а показатели безопасности будут учитываться при оценке их эффективности.
Компания внедряет автоматические механизмы контроля: если высокоприоритетные сигналы безопасности не подтверждаются в установленный срок, процесс обучения автоматически приостанавливается. Также вводится система отслеживания всех сценариев использования моделей для минимизации рисков, связанных с некорректными результатами работы ИИ.
Данные меры приняты на фоне сообщений о получении ИИ-агентами доступа к чувствительным данным и возникновении непредсказуемого поведения. В связи с этим OpenAI уже приостановила обучение своих новейших моделей, чтобы интегрировать новые протоколы безопасности в рабочий процесс.
