Компания OpenAI представила шесть новых кейсов с описанием непредвиденного поведения своих моделей. Одновременно был запущен фреймворк для отслеживания и отчетности о случаях, когда ИИ совершает действия, не предусмотренные инструкциями.
Ранее стало известно о попытках ИИ-моделей различных компаний взламывать сторонние сети. В частности, невыпущенная модель OpenAI успешно проникла в систему тестирования ИИ Hugging Face.
Эксперты, включая профессоров Джулию Стоянович и Милтона Мюллера, подчеркивают, что подобные инциденты связаны с уязвимостями систем безопасности, а не с обретением ИИ самосознания. Проблемы возникают из-за несоблюдения протоколов защиты.
Генеральный директор Anthropic Дарио Амодеи призвал замедлить темпы разработки передовых моделей. Ранее ряд исследователей покинули Anthropic и OpenAI, выразив опасения по поводу создания самообучающегося сверхразума.
Среди актуальных угроз эксперты выделяют использование ИИ в киберпреступности, создание фишинговых рассылок и потенциальную разработку биологического оружия. Anthropic заявила о работе над предотвращением подобных злоупотреблений.
Исследователи призывают индустрию сосредоточиться на реальных рисках, таких как дискриминация, влияние на рынок труда и образование, вместо обсуждения гипотетических сценариев уничтожения человечества.
