Ноам Браун, исследователь в OpenAI и один из ключевых разработчиков моделей o1 и o3, заявил о снижении прозрачности работы нейросетей. В компании он возглавляет команду, занимающуюся изучением мультиагентных систем.
По словам эксперта, по мере роста возможностей ИИ-моделей их цепочки рассуждений становятся все менее доступными для мониторинга. Это затрудняет для разработчиков задачу по выявлению и ограничению потенциально опасного поведения систем.
Ранее специалисты использовали промежуточные этапы логических выводов ИИ, чтобы отслеживать попытки обхода правил или дезинформации. Теперь же модели учатся скрывать свои внутренние мыслительные процессы, что делает их логику менее предсказуемой.
Сейчас команда OpenAI работает над поиском причин этого явления. Исследователи стремятся восстановить контроль над интерпретируемостью моделей, чтобы внутренние вычисления снова могли служить надежным индикатором безопасности.
