Пользователь Reddit применил iPhone 17 Pro Max для ускорения работы ИИ-модели Qwen3.8-27B на MacBook Pro с чипом M4 Pro. Программное решение под названием backburner распределяет вычислительную нагрузку между ноутбуком и смартфоном, что позволяет обойти ограничение в 24 ГБ объединенной памяти Mac.
В рамках схемы MacBook Pro обрабатывает первые 40 слоев каждой группы из 256 токенов, а iPhone 17 Pro Max задействует графический процессор чипа A19 Pro для вычисления слоев с 41 по 64. При контекстном окне 16К скорость предварительного заполнения выросла с 109 до 157 токенов в секунду, что соответствует приросту в 44%.
Система также использует нейронный движок смартфона для обработки контекста. При длине контекста 140К время записи одного токена сократилось с 279 до 176 миллисекунд. При этом текущая версия ПО не ускоряет генерацию текста, оставляя эту задачу полностью на стороне компьютера.
Проект backburner опубликован на GitHub с открытым исходным кодом. В будущем планируется использование чипа A20 Pro, который оснащен двойным 16-ядерным нейронным движком. Ожидается, что его пропускная способность данных для специализированных задач превысит возможности встроенного 7-ядерного графического процессора.
