Компания Anthropic представила проект закона о безопасности ИИ, который предполагает вмешательство властей только при угрозе 50 человеческих смертей или ущерба в размере $1 миллиарда. Предложение основано на концепции Advanced AI Framework, которую разработчик продвигает среди законодателей с июня.
Согласно документу, лаборатории обязаны уведомлять Министерство торговли о рисках в течение 72 часов. К таким угрозам относятся создание биооружия, кибератаки или потеря контроля над ИИ-агентами. Ведомство должно передать доказательства федеральному судье в округе Колумбия, который примет решение о блокировке выпуска модели.
Законопроект закрепляет за Министерством торговли исключительное право требовать остановки релиза ИИ-моделей. Инициатива рассматривается на фоне других предложений, включая внедрение обязательных «аварийных выключателей» и предложение сенатора Берни Сандерса о 20-летнем тюремном заключении за создание сверхразумного ИИ.
Генеральный директор Anthropic Дарио Амодеи ранее предупреждал о риске появления ИИ-ботнетов в ближайшие 6–12 месяцев. Компания также упоминала угрозы существованию человечества в своем проспекте к IPO, ссылаясь на возможность распространения самовоспроизводящихся ИИ-червей. Крупные лаборатории уже разрабатывают планы действий на случай катастрофических сбоев.
