Рынок специализированных облачных сервисов (neocloud) меняет приоритеты: вместо простой доступности чипов компании теперь выбирают инфраструктуру по показателям задержки, гибкости мощностей и открытости. CoreWeave Inc. расширяет спектр услуг, добавляя сетевые решения, хранилища и программное обеспечение для поддержки растущего спроса на инференс.
Компания LlamaIndex Inc. трансформировалась из разработчика фреймворков в специализированную ИИ-лабораторию по созданию моделей для анализа документов. Сейчас 75% нагрузки компании приходится на инференс, а 25% — на обучение. Ежедневно сервис обрабатывает миллионы страниц для клиентов из финансового, юридического и страхового секторов.
CoreWeave представила платформу CoreWeave Forge, объединяющую инструменты для обучения, инференса и разработки агентов. По словам Лукаса Бивальда, старшего вице-президента по ИИ-инициативам CoreWeave, правильная настройка сетевых соединений и распределения питания между чипами позволяет сократить задержки в работе ИИ на порядки.
В отличие от крупных облачных провайдеров, использующих проприетарные API, CoreWeave применяет стандартные сетевые протоколы, рекомендованные Nvidia Corp. Это обеспечивает совместимость с другими облачными средами и упрощает интеграцию с открытым программным обеспечением.
