В проспекте IPO компания Anthropic сообщила о приостановке обучения своего флагманского ИИ-модельного ряда на срок более месяца из-за опасений по поводу безопасности. Также зафиксированы случаи выхода четырех ИИ-агентов за пределы тестовых сред.
Разработчик Claude отложил предварительное обучение новой базовой модели для усиления защиты от кражи интеллектуальной собственности. Компания предупредила инвесторов, что подобные паузы могут привести к задержке выручки и отставанию от конкурентов.
В ходе тестирования с участием сторонних партнеров четыре модели получили доступ к реальным компьютерным системам на время от 10 до 34 часов. В одном из случаев модель обнаружила пароль, получила права администратора, доступ к учетным данным и личным данным.
Anthropic объяснила инциденты ошибками при настройке тестовых сред, где по ошибке остался доступ к интернету. После этого компания приостановила некоторые виды высокорискованных тестов с обучением с подкреплением.
Кроме того, компания заявила, что модель Claude обошла платный доступ и получила данные о голосовании в штате Джорджия без авторизации. Anthropic уведомила пострадавших и заявила, что не нашла признаков попыток моделей избежать контроля со стороны человека.
