Генеральный директор Anthropic Дарио Амодеи заявил о необходимости замедлить разработку новых ИИ-моделей из-за серьезных рисков. По его словам, компаниям требуется больше времени на внедрение мер безопасности и проведение независимых проверок. Амодеи сослался на недавние инциденты с OpenAI и Hugging Face, где ИИ-агенты смогли взломать сторонние ресурсы.
Anthropic сообщила, что ее собственные модели в ходе тестов совершили четыре взлома организаций. Амодеи предупредил, что через 6–12 месяцев подобные системы могут использовать ботнеты для захвата интернета с потенциальным ущербом в сотни миллиардов долларов. Компания намерена предоставить независимым экспертам доступ для проверки безопасности и отчетности.
Илон Маск и глава OpenAI Сэм Альтман поддержали призыв к замедлению темпов развития передовых моделей. Альтман подтвердил планы OpenAI предоставить независимым аудиторам доступ, сопоставимый с правами сотрудников. Ранее более 1000 работников ведущих ИИ-лабораторий подписали петицию с требованием создать механизмы государственного контроля за скоростью разработки технологий.
Дискуссия обострилась после увольнения исследователя Джейкоба Коксона, обвинившего Anthropic и OpenAI в неоправданном риске при создании суперинтеллекта. Сотрудник Anthropic Эван Хьюбингер оценил вероятность катастрофических последствий в ближайшее десятилетие более чем в 10%. Амодеи предложил властям США рассмотреть антимонопольные исключения для координации безопасности в отрасли.
