В обновленном проспекте эмиссии S-1/A компания Anthropic сообщила об активном использовании ИИ для ускорения собственных исследований. Разработчики предупредили, что темпы роста возможностей моделей могут превысить скорость создания систем безопасности, проверки и контроля, что создает риски для управления технологией.
В документах Anthropic признала, что ранее уже сталкивалась с ситуациями, когда команда не сразу замечала резкое повышение способностей новых моделей. Компания заявила о приближении к состоянию «рекурсивного самосовершенствования» (RSI), которое в рамках политики ответственного масштабирования определяется как взрывной технологический прогресс.
На данный момент ни одна из моделей Anthropic не преодолела порог рекурсивного самосовершенствования. Компания подчеркнула, что не планирует предоставлять Claude возможность автономно проектировать и обновлять передовые модели без эффективного участия человека и полного понимания всех внутренних процессов.
Для минимизации рисков Anthropic рассматривает возможность внесения правок в свою политику ответственного масштабирования. Основная задача — гарантировать, что разработка передовых моделей останется под контролем людей, несмотря на растущую роль ИИ в исследовательских процессах компании.
