22 октября 2026 года исследователи из Google DeepMind Джонатан Баррон, Дэн Гнанапрагасам и Майкл Тшаннен опубликовали препринт A Fix for Softmax and Cross-Entropy. В работе описаны два численных дефекта — Softmax Collapse и Softmax Cancellation, возникающие при вычислениях в стандартных библиотеках, таких как PyTorch и JAX.
Авторы установили, что при высокой уверенности модели стандартные вычисления в формате float32 приводят к потере малых компонентов градиента. Из-за округления при сложении с единицей градиент правильного класса может превратиться в ноль, в то время как остальные компоненты сохраняются, что искажает процесс обучения.
Для решения проблемы предложено использовать преобразование дробей из школьной алгебры. Перенос малого значения в числитель позволяет избежать его потери при суммировании с единицей. Это изменение сохраняет исходную математическую логику, но делает результат вычислений более точным.
Исследователи подчеркивают, что хотя такие ошибки не останавливают обучение нейросети полностью, они вносят искажения в сигнал градиента. Предложенный метод позволяет повысить стабильность вычислений в глубоком обучении без расширения диапазона представимых чисел.
