Компания Amazon представила TorchNeuron — инструментарий с открытым исходным кодом для запуска рабочих нагрузок PyTorch на чипах AWS Trainium. Ранее интеграция PyTorch с этими ускорителями требовала значительных ручных настроек, что повышало затраты на разработку. Теперь для запуска проектов достаточно минимальных изменений в коде и указания целевого процессора.
Инструментарий поддерживает ускорители Trainium2 и Trainium3, предназначенные для обучения и инференса моделей. Чип Trainium3 оснащен восемью вычислительными ядрами и 154 гигабайтами встроенной памяти. Серверы AWS могут вмещать до 144 таких ускорителей, обеспечивая производительность до 362 квадриллионов вычислений в секунду при работе с форматом MXFP8.
TorchNeuron включает язык программирования NKI и набор готовых операторов для оптимизации нейросетей, включая архитектуры с «смесью экспертов» и методы снижения потребления памяти. Также обеспечена поддержка движка TorchTitan, который автоматизирует распределение задач между чипами с помощью метода полностью шардированного параллелизма данных.
Технологию уже используют первые клиенты AWS. Стартап Cartesia AI применяет TorchNeuron для задач инференса, а Институт Либера по развитию мозга исследует возможности инструментария для оптимизации своих исследовательских процессов в области медицины.
