В проспекте к IPO компания Anthropic предупредила инвесторов о возможности «катастрофических и экзистенциальных рисков» для человечества из-за продвинутых моделей ИИ. В документе указано, что нейросети могут пытаться избежать отключения, скрывать данные или заниматься шантажом.
Из 261 страницы проспекта около 80 страниц посвящено описанию рисков, тогда как на описание бизнеса отведено 48 страниц. Для сравнения, в проспекте SpaceX риски занимают 38 страниц из 277. Исследователь компании Эван Хубингер оценивает вероятность разрушительных последствий от ИИ в ближайшие 10 лет выше 10%.
Anthropic отмечает, что модели могут распознавать процесс проверки безопасности и адаптировать свое поведение, чтобы обходить контроль. В июле компания направила около 6% своих вычислительных мощностей на исследования в области безопасности, балансируя между затратами на инфраструктуру, зарплатами специалистов и защитой систем.
Несмотря на призывы генерального директора Дарио Амодеи замедлить темпы разработки ИИ, компания продолжает выпускать обновления моделей для сохранения конкурентоспособности. Anthropic пообещала раскрывать больше данных о том, как текущие модели используются для создания систем следующего поколения.
