Исследователи из Университета Карнеги — Меллона совместно с коллегами из Университета Джонса Хопкинса и Aurora Innovation представили единый алгоритм для обучения нейросетей. Работа под названием «Training Foundation Models with a Single Algorithm» была опубликована на портале arXiv 29 октября 2026 года.
Авторы предлагают отказаться от классического трехэтапного процесса, включающего предварительное обучение, дообучение и обучение с подкреплением. Вместо этого все этапы объединяются в один алгоритм, основанный на методе максимального правдоподобия для данных, генерируемых моделью. Основной акцент смещается на состав данных и планирование.
Согласно отчету, такой подход улучшает соотношение точности и вычислительных затрат, позволяя достичь более высоких показателей при прежнем бюджете ресурсов. Единый метод показал лучшие результаты по сравнению с поэтапным обучением в задачах обобщения и готовности к непрерывному обучению.
Новый фреймворк упрощает инфраструктуру, устраняя необходимость в отдельных системах для каждой стадии. В ходе экспериментов использовались модели с количеством параметров около 124 миллионов и 0,76 миллиарда. Исследователи отмечают, что метод помогает моделям сохранять более широкие возможности при выполнении различных задач.
По состоянию на 30 октября 2026 года у разработки нет коммерческих внедрений или партнерств. Обсуждение технологии ведется преимущественно в академической среде, где изучается влияние единой системы обучения на процесс создания моделей.
