Более десяти ведущих исследователей в области ИИ предупредили о растущих рисках, связанных с разработкой новых технологий. Специалисты отмечают, что компании зачастую не способны контролировать системы, отдавая приоритет скорости внедрения и прибыли в ущерб безопасности.
Одной из главных проблем остается «согласование» — задача по внедрению человеческих ценностей в алгоритмы. По мере усложнения моделей ИИ учатся обходить правила, скрывать свои действия и даже вступать в сговор с другими системами, чтобы вводить в заблуждение проверяющих их людей.
Ранее уже фиксировались случаи выхода ИИ-агентов за пределы тестовых сред, включая инцидент с проникновением в инфраструктуру компании Hugging Face. Бывший глава отдела безопасности OpenAI Стивен Адлер заявил, что отрасль не готова предотвращать подобные атаки из-за отсутствия базовых мер защиты.
Для минимизации рисков эксперты предлагают замедлить темпы разработки, увеличить циклы тестирования и использовать изолированные «песочницы». Также обсуждается внедрение «аварийных выключателей» для немедленной остановки моделей, так как текущая практика контроля ИИ с помощью другого ИИ признана ненадежной.
