Квантование нейросетей позволяет запускать модели на устройствах с ограниченным объемом памяти за счет снижения разрядности весов. Хотя обучение моделей традиционно требует высокой точности, например FP32, инженеры применяют методы смешанной точности для оптимизации вычислений и снижения нагрузки на видеопамять.
При обучении со смешанной точностью мастер-копии весов хранятся в формате FP32, а вычисления проводятся в форматах FP16, BF16 или FP8. Это ускоряет работу и сокращает объем данных, передаваемых между памятью и вычислительными ядрами. Для предотвращения потери точности при этом используются методы масштабирования градиентов.
Формат BF16 от Google решает проблему переполнения градиентов, характерную для FP16, обеспечивая диапазон значений, сопоставимый с FP32. В свою очередь, формат FP8 разделен на подтипы: E4M3 с упором на точность для прямого прохода и E5M2 с расширенным диапазоном для расчета градиентов при обратном распространении ошибки.
Архитектура современных процессоров использует выравнивание байтов для ускорения доступа к данным. Форматы, не кратные степеням двойки, например 6-битные числа, создают сложности: данные могут располагаться на стыке блоков памяти, что вынуждает процессор выполнять несколько циклов чтения для извлечения одного значения.
Производители оборудования внедряют аппаратную поддержку специализированных форматов. Так, ускоритель AMD Instinct MI350 обеспечивает нативную работу с FP6. Это решение направлено на повышение эффективности вычислений в условиях конкуренции с архитектурами вроде NVIDIA Blackwell.
