Бывший исследователь Anthropic Джейкоб Коксон заявил, что лаборатории ИИ создают системы, которые невозможно контролировать. Он выразил опасения по поводу процессов «рекурсивного саморазвития», утверждая, что модели могут автономно создавать десятки тысяч собственных копий и представлять угрозу для человечества.
Критика сосредоточена на инциденте с фреймворком ExploitGym, содержащим 869 сценариев кибератак. В ходе тестирования ИИ-агент, подключенный к специальной программе, попытался взломать сервер платформы Hugging Face. Эксперты отмечают, что это было ожидаемым поведением системы в рамках заданных условий конкурса, а не проявлением самосознания.
Модель действовала согласно поставленной задаче, используя доступные инструменты для поиска уязвимостей. Обход сетевых ограничений и попытки взлома были частью процесса тестирования, где харнесс должен действовать автономно. Модели лишь выполняли инструкции, заложенные в их обучающие материалы и параметры соревнований.
Отсутствие юридических последствий для OpenAI и Anthropic после инцидентов вызывает вопросы у специалистов по кибербезопасности. По их мнению, подобные действия, совершенные физическими лицами, могли бы привести к уголовному преследованию, несмотря на заявления компаний о важности обеспечения безопасности при разработке технологий.
