Компании Amazon и Google представили на конференции PyTorch Conference инструменты для запуска моделей на собственных ИИ-ускорителях. Решения призваны упростить перенос проектов, оптимизированных для Nvidia, на чипы Trainium и TPU.
Amazon выпустила инструментарий TorchNeuron для работы с ускорителями Trainium2 и Trainium3. Система позволяет запускать код без масштабных правок, используя компилятор и операторы языка NKI для оптимизации ресурсов. Также добавлена поддержка механизма автоматизации TorchTitan.
Google совместно с командой PyTorch из Meta разработала инструмент TorchTPU. Он обеспечивает запуск рабочих нагрузок PyTorch на TPU с минимальными изменениями в коде и включает встроенные средства для распределенных вычислений и диагностики.
Google также обеспечила поддержку моделей с открытыми весами из библиотеки Hugging Face на ускорителях TPU. Интеграция с инструментами vLLM, SGLang, Ray и TorchRec позволяет разработчикам использовать привычную среду без перестройки программных систем.
