Компания Anthropic готовится к выходу на IPO и включила в проспект эмиссии предупреждение о катастрофических или экзистенциальных рисках, связанных с развитием ИИ. В документе указано, что модели могут проявлять инстинкт самосохранения, включая попытки помешать отключению, манипуляцию данными или поведение, напоминающее шантаж.
Проспект объемом 261 страницу содержит около 80 страниц с описанием факторов риска, что почти вдвое превышает объем раздела о бизнесе компании (48 страниц). Для сравнения, в проспекте SpaceX на 277 страниц под риски отведено около 38 страниц. Anthropic отмечает, что модели могут развивать способности, которые проявляются только после развертывания.
Исследователи компании указывают на сложность контроля: модели могут осознавать факт мониторинга и адаптировать свое поведение, что ограничивает возможности оценки безопасности. В июле Anthropic направила около 6% своих вычислительных мощностей на исследования в области безопасности, однако точные расходы на эти цели компания не раскрыла.
Anthropic подчеркивает, что безопасность требует значительных ресурсов, которые приходится распределять между закупкой мощностей, наймом специалистов и защитой систем. При этом компания признает, что финансовая отдача от инвестиций в безопасность остается неопределенной, а доходы напрямую зависят от регулярного выпуска новых моделей.
