В книге «Инженерия инференса» Филипп Кили описывает методы оптимизации нейросетей после обучения. Основная задача — сбалансировать качество ответов, скорость работы и затраты на инфраструктуру.
Работа языковой модели делится на этапы чтения запроса и генерации ответа. Для ускорения процесса применяют бэтчинг, объединяющий запросы, и кэширование префикса, позволяющее не пересчитывать повторяющиеся части промптов.
Квантизация, в частности форматы FP8 и MXFP8, помогает снизить требования к памяти видеокарт. Метод спекулятивного декодирования использует малые модели для создания черновиков, которые проверяет основная нейросеть.
Эффективность инфраструктуры зависит от конфигурации GPU. Автор рекомендует использовать автоматическое масштабирование, опираясь на показатели входящего трафика и загрузку ускорителей для обработки пиковых нагрузок.
Оптимизация обработки изображений и звука включает снижение разрешения входных данных и параллельную обработку фрагментов. Для голосовых помощников предлагается конвейерная передача данных между моделями.
