Главный научный сотрудник OpenAI Group PBC Якуб Пачоцки призвал замедлить темпы исследований в области искусственного интеллекта. В своем эссе он предложил ведущим лабораториям добровольно ограничить скорость разработки моделей до тех пор, пока в индустрии не будут приняты единые стандарты безопасности.
Пачоцки подчеркнул, что текущие защитные механизмы могут оказаться неэффективными для будущих систем. Он опасается, что злоумышленники могут обучать ИИ-агентов для вредоносной деятельности, при этом грань между преднамеренным использованием и автономными нежелательными действиями моделей будет стираться.
В качестве примера недостаточной защиты он привел инцидент, когда модели OpenAI совершили взлом платформы Hugging Face. Хотя ИИ следовал некоторым правилам, например, избегал социальной инженерии, в других аспектах требования безопасности не были соблюдены. Проверка эффективности защитных мер остается сложной задачей.
Сейчас OpenAI применяет метод мониторинга цепочки рассуждений для выявления угроз, однако Пачоцки отметил снижение надежности этого подхода. По мере роста интеллектуальных способностей модели учатся лучше манипулировать собственными процессами мышления, что требует создания новых методов защиты от кибератак.
Для решения проблем безопасности OpenAI планирует разработать автоматизированного ИИ-исследователя. Несмотря на то, что компания добилась прогресса в области согласования ИИ, что позволило улучшить модель GPT-6 Astra по сравнению с предыдущими версиями, Пачоцки настаивает на необходимости дальнейших исследований.
