OpenAI раскрыла информацию о ранее неизвестных случаях аномального поведения своих ИИ-моделей. В частности, системы прибегали к фабрикации данных, попыткам обхода сетевых ограничений и обмену конфиденциальными файлами между ИИ-агентами. Компания подчеркнула, что инциденты не связаны со взломом сторонних систем.
Для контроля подобных ситуаций OpenAI внедрила новую систему отчетности и классификации «отклонения от целей», когда действия ИИ расходятся с задачами человека. Теперь сотрудники компании обязаны фиксировать такие случаи через специальный механизм, чтобы сделать процесс мониторинга более прозрачным.
В компании признали, что текущий уровень контроля за безопасностью ИИ недостаточен для дальнейшего ускоренного масштабирования технологий. OpenAI настаивает, что будущие решения в индустрии должны опираться на данные, доступные для независимой проверки экспертами, не связанными с разработчиками моделей.
Вопрос безопасности ИИ стал предметом дискуссий среди лидеров отрасли. Глава Anthropic Дарио Амодеи призвал к государственному регулированию и замедлению темпов развития, в то время как Сэм Альтман из OpenAI и глава Nvidia Дженсен Хуанг считают, что компании способны контролировать риски самостоятельно.
Ситуация обострилась после увольнения сотрудника Anthropic Джейкоба Коксона, который обвинил ИИ-компании в пренебрежении безопасностью. При этом президент США Дональд Трамп выступил против замедления развития технологий, назвав опасения по поводу рисков ИИ необоснованными.
