Исследователи представили метод SGNE-CC v2 для корректировки весов модели DeepSeek-R1-Distill-Qwen-1.5B. Правка затрагивает 205 столбцов в слое mlp.down_proj, что составляет 0,0177% от всех параметров. Метод позволяет сократить число зацикливаний и незавершенных ответов без дообучения модели или изменения кода инференса.

Эффективность метода проверили на пяти бенчмарках: MATH-500, MBPP, HumanEval, ARC-Challenge и BBH Logic с бюджетом до 32 768 токенов. При температуре T=0 на MATH-500 количество ответов без закрывающего маркера снизилось со 139 до 16, а средняя длина ответа уменьшилась с 11 000 до 4 700 токенов.

В задачах MBPP при T=0 исправленная модель достигла результата 81/120, что соответствует показателям исходной модели при T=0,6, при этом длина ответов сократилась в 3,7 раза. На бенчмарке ARC-Challenge правка полностью устранила проблему незакрытых рассуждений во всех режимах тестирования.

SGNE-CC v2 является развитием метода SGNE-CC, который ранее требовал правки 1 984 столбцов. Новая версия подтверждает, что сферический поворот выходных столбцов применим к архитектурам чистых трансформеров, таких как DeepSeek-R1-Distill-Qwen-1.5B с 1,78 миллиарда параметров, требуя при этом значительно меньшего объема вмешательств.