На конференции Exploit Summit в Монреале компания Chutes AI представила систему Parallax для децентрализованного обучения моделей ИИ. Вместо аренды вычислительных кластеров технология объединяет потребительское оборудование по всему миру.
Для обучения модели с 8 миллиардами параметров разработчики задействовали 240 видеокарт RTX 5090, распределенных между 30 узлами в 13 странах. Стоимость обучения составила около $6 500, что эквивалентно $11 за миллиард обработанных токенов.
Готовая модель с 8 миллиардами параметров работает на мобильных процессорах со скоростью 59,6 токена в секунду без подключения к облаку. Также была продемонстрирована версия на 40,75 миллиарда параметров, работающая со скоростью 26,9 токена в секунду при пиковом потреблении памяти 12 ГБ.
В основе системы лежит сетевой протокол libp2p для синхронизации данных между устройствами. Chutes AI функционирует как подсеть SN64 в экосистеме Bittensor, специализируясь на децентрализованных вычислениях для моделей с открытым исходным кодом.
