Руководитель одной из команд по безопасности Anthropic Эван Хабингер признал, что у компании пока нет плана по обеспечению безопасности и соответствия продвинутых моделей ИИ человеческим ценностям. По его мнению, вероятность того, что ИИ может уничтожить всё человечество, составляет более 10 процентов в ближайшее десятилетие.
Исследователь Джейкоб Коксон, ранее работавший в Anthropic и OpenAI, уволился из компании. Он обвинил Anthropic и OpenAI лаборатории в том, что они что делают гонку за созданием самосовершенствующегося сверхразума, что является риском для жизни людей.
Инсайдеры индустрии предупреждают об опасностях рекурсивного самосовершенствования, когда системы ИИ выходят из-под контроля человека. Эван Хабингер подтвердил, что этот процесс происходит быстрее, чем ожидалось.
Уход Коксона стал одним из самых заметныхных случаев увольнения сотрудников из Anthropic. Это происходит на фоне подготовки компаний к IPO и инцидентов с «беглыми агентами» и предупреждениями о безопасности фронтир-моделей.
