Исследователи из Калифорнийского университета в Беркли обнаружили явление, которое они назвали крахом конфиденциальности. Выяснилось, что дообучение моделей ИИ на безобидных наборах данных приводит к утрате навыков соблюдения контекстуальной приватности, даже если обучающие данные не содержат опасной информации.
В ходе исследования протестировали шесть моделей, включая системы с закрытыми и открытыми весами, используя пять различных наборов данных для дообучения. В моделях уровня GPT-4o-mini точность соблюдения контекстуальной конфиденциальности снизилась на 98–99%.
При этом модели сохраняли высокие показатели в стандартных тестах безопасности. Ученые классифицировали это как скрытый сбой, отметив, что представления о конфиденциальности в последних слоях нейросетей оказываются крайне уязвимыми при дообучении для выполнения конкретных задач.
Полученные данные указывают на риски для компаний, которые адаптируют базовые модели под свои нужды. Существующие методы оценки безопасности не выявляют подобные дефекты, поэтому исследователи призывают разработать новые инструменты для проверки навыков ИИ в области приватности.
