Пользователь GitHub под ником cobanov представил неофициальный порт llama.cpp, позволяющий запускать языковые модели на взломанных консолях PlayStation 5. Изначально программа работала как нагрузка на центральный процессор, что ограничивало доступную оперативную память объемом около 6 ГБ во избежание сбоев системы.
Разработчик с ником u/AdIllustrious7246 создал форк, использующий PS5_Vulkan — порт графического драйвера RADV. Это решение открыло доступ к графическому процессору консоли и увеличило объем доступной оперативной памяти до 11,4 ГБ, устранив узкое место в виде центрального процессора.
В ходе тестов модель с 27 миллиардами параметров показала скорость 20 токенов в секунду. Более компактные модели, такие как Gemma 4 E4B и Llama 3.2 3B, достигли показателей 61 и 124 токена в секунду соответственно. Интерфейс программы отображает данные о нагрузке на GPU и CPU, энергопотреблении и температуре.
Обновленное ПО поддерживает веб-интерфейс llama.cpp, что позволяет взаимодействовать с моделями через браузер с других устройств в локальной сети. Несмотря на расширение функциональности консоли, аппаратные ограничения PS5 не позволяют рассматривать её как серьезную альтернативу специализированным решениям для ИИ.
