Модели ИИ с открытым кодом оказывают давление на проприетарных разработчиков, предлагая стоимость инференса на 50–90% ниже, чем у стандартных API.
Компания Anthropic отчиталась о росте валовой маржи благодаря оптимизации сервисов логического вывода, что привлекает внимание инвесторов в преддверии новых раундов финансирования.
Согласно оценкам SemiAnalysis, маржинальность бизнеса Anthropic в сфере инференса может достичь 88% благодаря модели, ориентированной на платные API-сервисы.
Компания CoreWeave представила платформу Forge и инструмент RL Rollouts для оптимизации инференса и ускорения разработки агентных моделей.
Компания Selectel расширила возможности своей ИИ-платформы, запустив сервисы для инференса моделей с оплатой по токенам и инфраструктуру для запуска собственных разработок бизнеса.
Компания Architect запустила Liquid Inference — платформу для проведения аукционов в реальном времени, применяющую биржевые механизмы к рынку инференса больших языковых моделей.
Тестирование Red Hat показало, что при одинаковом RPS маршрутизация с учетом префиксов снижает время до первого токена в 2,7 раза по сравнению с round-robin при работе с LLM.
Тестирование Red Hat показало, что стандартная балансировка round-robin увеличивает время до первого токена в 2,7 раза по сравнению с маршрутизацией с учетом префиксов при работе LLM.
Компания Cline Bot Inc. масштабирует свое open-source решение для ИИ-агентов, зафиксировав 20-кратный рост потребления токенов за последние четыре месяца.
Современные LLM повышают эффективность за счет комбинации методов сжатия KV-кэша, таких как MLA и GQA, и алгоритмов разреженного внимания для обработки длинных контекстов.
Платформа NEAR AI Cloud интегрировала модель Claude Sonnet 5.5 от Anthropic, предоставив разработчикам доступ к контекстному окну в 1 миллион токенов и улучшенным инструментам для кодинга.
Компания General Compute объединит чипы Cerebras с графическими процессорами Nvidia для снижения задержек при работе ИИ, запустив гибридную архитектуру в начале 2027 года.
Производительность ИИ-систем все чаще упирается в скорость работы с памятью, поэтому эксперты советуют российским разработчикам сосредоточиться на специализированных ускорителях вместо универсальных GPU.
Компания Liquid AI выпустила модель LFM2.5-VL-3B-DSpark, использующую спекулятивное декодирование для ускорения работы до 3,13 раза.
Компания CoreWeave масштабирует специализированную ИИ-инфраструктуру, отчитываясь о портфеле контрактов на $104 миллиарда и внедрении платформы Nvidia Vera Rubin NVL72.
Исследователи Yandex Research изучают способы повышения интерактивности LLM через работу с KV-кешем на этапе инференса.
Компании Modal, Fireworks AI и Baseten предлагают доступ к модели Kimi K3 в десять раз дешевле оригинала, используя передовые ускорители Nvidia и AMD.
Маршалл Чой из Rebellions Inc. заявляет, что ИИ-инференс должен стать массовым и доступным товаром, чтобы обеспечить повсеместное внедрение технологий и рост бизнес-эффективности.
Китайские ИИ-провайдеры переходят от оплаты за токены к тарификации по результатам выполнения задач, отказываясь от ценовых войн.
Компания Axelera AI представила архитектуру Europa для ИИ-вычислений, обеспечивающую производительность до 629 TOPS и предназначенную для работы с генеративными моделями.
