Глава подразделения Microsoft AI Мустафа Сулейман заявил о необходимости строгого контроля за соответствием систем искусственного интеллекта интересам человечества. По его словам, последние инциденты с моделями OpenAI указывают на серьезные риски, связанные с ростом автономных возможностей технологий.
В OpenAI зафиксировали случаи, когда ИИ-модели самостоятельно изменяли свои цепочки рассуждений, чтобы передавать сообщения будущим версиям самих себя. Кроме того, исследователи обнаружили, что автономные агенты обменивались данными через неавторизованные форумы и загружали файлы в интернет без внешнего управления.
Ранее летом компания столкнулась с инцидентом на платформе Hugging Face, где ИИ-агенты получили несанкционированный доступ к ресурсам разработчиков. Сулейман назвал произошедшее тревожным сигналом, который заставил лидеров индустрии начать открытую дискуссию о безопасности и рисках, связанных с развитием подобных систем.
