Маршалл Чой, коммерческий директор производителя полупроводников Rebellions Inc., утверждает, что будущее ИИ-инференса заключается в его превращении в массовый и доступный товар. По его мнению, снижение стоимости вычислений приведет к повсеместному внедрению технологий, подобно тому, как это происходило с электричеством и облачными сервисами.
Сейчас ИИ позиционируется как премиальный продукт, из-за чего компании вынуждены ограничивать использование токенов и вызовы API для контроля расходов. Чой отмечает, что даже корпорация Microsoft, по сообщениям, вводит лимиты на использование ИИ. Такая модель сдерживает интеграцию инструментов в повседневные бизнес-процессы.
Опасения производителей оборудования о том, что снижение цен сократит рынок, необоснованны. Чой сравнивает ситуацию с рынком шоколада: доступные товары расширяют базу потребителей, а не сужают её. Снижение затрат на инференс позволит запускать новые бизнес-модели, включая автономные системы и интеллектуальных помощников.
Автор подчеркивает необходимость смены метрик оценки ИИ: вместо пропускной способности и результатов бенчмарков компаниям следует ориентироваться на бизнес-результаты, такие как скорость выполнения задач и экономия средств. Инфраструктура должна быть адаптирована для стабильной работы в существующих серверных средах.
Истинная революция в сфере ИИ начнется тогда, когда инференс станет настолько обыденным инструментом, что его использование не будет требовать экономических расчетов. Инфраструктура должна стать практичной и эффективной, чтобы бизнес мог сосредоточиться на результатах, а не на оптимизации каждого отдельного запроса.
