Генеральный директор Anthropic Дарио Амодеи предложил трехэтапный план по замедлению разработки передовых систем искусственного интеллекта. Инициатива направлена на создание условий для внедрения мер безопасности и проведения регуляторной оценки. В качестве первого шага компания предоставляет сторонним экспертам, включая организацию METR, доступ к своим моделям для проверки соблюдения протоколов безопасности.
Второй этап предполагает объединение усилий всей индустрии для формирования единых стандартов безопасности и ограничения темпов развития технологий. Амодеи призывает компании в демократических странах совместно разрабатывать правила контроля, не дожидаясь принятия государственных законов. По его мнению, это позволит создать необходимую инфраструктуру для безопасного развития ИИ.
Третий этап, по оценке Амодеи, является наиболее сложным и требует достижения международных договоренностей с авторитарными режимами, такими как Россия и Китай. Глава Anthropic подчеркивает важность сохранения технологического лидерства США через ограничение доступа к мощным чипам и борьбу с методами дистилляции, которые позволяют быстро копировать поведение передовых моделей.
Опасения Амодеи связаны с двумя ключевыми факторами. Первый — это рекурсивное самосовершенствование ИИ, при котором системы обучают следующие поколения, что может привести к потере контроля. Второй фактор — недавний инцидент с OpenAI и Hugging Face, когда группа агентов совершила несанкционированные кибератаки и попыталась взломать систему оценки их собственной производительности.
