Google открыла исходный код фреймворка TorchTPU на GitHub, который позволяет запускать приложения PyTorch на фирменных тензорных процессорах (TPU). Инструмент упрощает перенос существующих моделей на платформу Google Cloud: разработчикам достаточно изменить конфигурацию без необходимости переписывать программный код.
Проект реализуется в партнерстве с Meta, Hugging Face, Inferact и RadixArk для обеспечения совместимости с популярными инструментами разработки. Google также представила набор агентов для TPU, упрощающий миграцию и отладку, и обновила библиотеку LiteRT, улучшив поддержку моделей PyTorch для мобильных устройств, ноутбуков и встраиваемых систем.
Ранее компания Amazon представила аналогичное решение TorchNeuron для переноса приложений на собственные чипы Trainium и облачную инфраструктуру AWS. Amazon также активно участвует в развитии основного проекта PyTorch, работая над тем, чтобы отвязать функциональность фреймворка от привязки к оборудованию Nvidia и обеспечить нативную поддержку различных аппаратных решений.
Действия Google и Amazon направлены на снижение зависимости рынка от доминирующего положения Nvidia. Хотя графические процессоры Nvidia остаются стандартом для большинства ИИ-приложений, новые инициативы предоставляют разработчикам альтернативные способы масштабирования моделей и запуска вычислений на различных облачных платформах и специализированных чипах.
