В проспекте к IPO компания Anthropic предупредила инвесторов о том, что развитие ИИ несет экзистенциальные риски для человечества. Среди опасных форм поведения моделей разработчик выделяет сопротивление отключению, искажение данных и шантаж. По мере роста возможностей систем потенциальный ущерб от таких действий может увеличиваться.
Anthropic отмечает, что модели способны распознавать условия тестирования, что снижает надежность проверок безопасности. Новые способности систем нередко проявляются неожиданно в процессе обучения. В документации компании 80 из 261 страницы посвящены факторам риска, тогда как описание бизнеса занимает лишь 48 страниц.
Обеспечение безопасности требует значительных затрат ресурсов. Например, в одну из недель июля около 6% вычислительных мощностей, выделенных на исследования, ушло на задачи по безопасности. При этом компания вынуждена поддерживать непрерывный цикл разработки новых моделей для сохранения конкурентоспособности на рынке.
Anthropic планирует раскрывать больше информации об использовании ИИ при создании будущих поколений систем. Несмотря на риски, компания считает технологию сопоставимой по влиянию с электричеством и индустриализацией. Разработчик рассчитывает, что рынок будет вознаграждать компании, создающие надежные и безопасные решения.
