Аналитики Gartner прогнозируют, что расходы на инференс в агентских ИИ-системах вырастут более чем в пять раз к 2028 году. Этот рост происходит на фоне снижения стоимости отдельных токенов, что эксперты называют парадоксом инференса.
По словам аналитика Уилла Соммера, использование агентских моделей увеличивает затраты как минимум в 5 раз по сравнению с обычными чат-ботами. При выполнении сложных задач с многоступенчатыми рассуждениями расходы могут превышать базовые показатели в 30 раз.
Стоимость обучения более производительных моделей, согласно оценкам, вырастет в 2,5 раза. Рост общих затрат обусловлен переходом компаний на более мощные модели и резким увеличением потребления токенов в сложных рабочих процессах.
Для контроля бюджета Gartner рекомендует внедрять многоуровневый инференс, распределяя простые задачи на дешевые модели, использовать мультимодальную оркестрацию и вести постоянный мониторинг расходов на каждом этапе работы.
