Компания Google представила TorchTPU — специализированную версию фреймворка PyTorch, предназначенную для запуска моделей искусственного интеллекта на фирменных чипах Tensor Processing Units. Решение направлено на снижение зависимости разработчиков от графических процессоров Nvidia.
Новый инструмент позволяет переносить существующие приложения на аппаратное обеспечение Google без необходимости переписывать программный код. В разработке участвовали Meta, Hugging Face, а также стартапы Inferact и RadixArk, обеспечившие совместимость с популярными инструментами.
Google также выпустила набор TPU-агентов для автоматизации переноса ИИ-приложений в облачную инфраструктуру Google Cloud с исправлением ошибок миграции. Кроме того, обновлен инструмент LiteRT для запуска моделей на смартфонах, ноутбуках и встраиваемых устройствах.
Ранее аналогичный подход продемонстрировала Amazon Web Services, представив фреймворк TorchNeuron для работы с чипами Trainum. Amazon также внесла изменения в основной проект PyTorch, чтобы повысить совместимость платформы с различными типами оборудования.
