OpenAI ведет разработку новой флагманской модели, использующей технологию циклических трансформеров, известную внутри компании как Recurrent Depth. Этот подход позволяет пропускать токены через слои трансформера несколько раз, что повышает эффективность модели в задачах программирования и математики, а также снижает затраты.
Однако использование циклов затрудняет контроль безопасности. Процесс «мышления» модели переходит в формат внутренних числовых представлений, которые недоступны для анализа исследователями. Ранее OpenAI ограничивала количество циклов в модели Astra, чтобы сохранять возможность отслеживать цепочку рассуждений ИИ.
По словам сотрудников, до конца года компания планирует выпустить одну или две новые модели, однако неясно, войдет ли в их число флагманская разработка. Сейчас проект требует доработки системы выравнивания и инфраструктуры тестирования, чтобы соответствовать ожиданиям исследователей и пользователей.
Процесс выпуска новых систем регулируется указом президента США. OpenAI обязана предоставлять правительству доступ к передовым моделям не менее чем за 30 дней до их передачи внешним партнерам или публичного запуска.
Информация о применении циклических трансформеров стала публичной после публикации Microsoft, посвященной модели GPT-6.1 Sol. В документе упоминалось использование двух проходов вывода вместо трех. Вскоре после публикации Microsoft удалила эти данные, признав их конфиденциальными.
