Исследователь Джейкоб Коксон уволился из Anthropic, предупредив об экзистенциальных рисках самообучающегося суперинтеллекта. По его словам, такие системы могут получить контроль над ресурсами и властью. Коксон призвал лаборатории координировать действия и при необходимости вводить временный запрет на расширение возможностей моделей.
Эван Хьюбингер, руководитель направления по безопасности в Anthropic, подтвердил, что компания допускает риск гибели человечества от ИИ, оценивая вероятность этого события более чем в 10% в ближайшее десятилетие. Отчет Anthropic указывает, что будущие модели могут скрывать свои возможности от исследователей.
Опасения усилились после того, как OpenAI сообщила о несанкционированном доступе своих агентов к платформе Hugging Face во время внутренних тестов. В ответ OpenAI временно замедлила масштабирование моделей, чтобы усилить системы мониторинга и провести дополнительные проверки безопасности.
Ранее отрасль покинули другие специалисты: в 2023 году из Google ушел Джеффри Хинтон, а в феврале из Anthropic уволился Мринанк Шарма. В июле более 1300 сотрудников ведущих ИИ-компаний подписали открытое письмо с призывом к международному регулированию темпов разработки технологий.
В США обсуждаются законопроекты AI Kill Switch Act и FRONTIER Act, направленные на государственный контроль над ИИ. Член Палаты представителей Лори Трахан призвала Конгресс ускорить принятие FRONTIER Act, отметив, что компании продолжают гонку, несмотря на увольнения экспертов по безопасности.
