Энтузиаст запустил нейросетевую модель Kimi K3 с 2,8 триллиона параметров на домашнем сервере, используя модули памяти Intel Optane Persistent Memory 200 Series. Для работы модели требуется не менее 610 ГБ оперативной памяти, что обычно предполагает использование серверного оборудования.
В сборке применены модули Optane второго поколения, выпущенные в 2020 году для процессоров Xeon Scalable третьего поколения. Они обеспечивают на 32% большую пропускную способность по сравнению с первой версией. Использование Optane позволило значительно сократить расходы по сравнению с покупкой стандартной DRAM.
Скорость генерации составила 0,75 токена в секунду при 3-битной квантовании. Модули выделяют значительное количество тепла, потребляя до 15 Вт каждый. Для защиты соседних планок памяти от перегрева автор установил дополнительные вентиляторы, обеспечивающие поток воздуха скоростью 2,4–2,7 метра в секунду.
Троттлинг модулей Optane начинается при 83 градусах Цельсия, а автоматическое отключение происходит при 85 градусах. В планах разработчика — оптимизация настроек потоков, добавление графических процессоров и использование DRAM в качестве кэширующего уровня для ускорения работы модели.
