Ник Мермигес, основатель PLI Labs, модернизировал свой сервер на базе восьми графических процессоров Nvidia Tesla V100. Система теперь запускает модель DeepSeek V4.1 Flash с точностью, близкой к NVFP4, за счет динамической подгрузки экспертов в 2-битном и 4-битном форматах.
Объем оперативной памяти сервера был увеличен с 256 ГБ до 1 ТБ. В конфигурацию также добавили видеокарту Nvidia RTX 3090. Кроме того, была решена проблема с частыми сбоями системы путем замены неисправного блока питания.
Согласно тестам, от 78% до 86% запросов теперь обрабатываются с использованием экспертов в формате NVFP4. Это повысило точность генерации, однако скорость работы снизилась на 3–30% в зависимости от типа задач по сравнению с предыдущей 2-битной версией.
Обновленная архитектура позволяет обрабатывать несколько запросов одновременно, достигая общей производительности 159 токенов в секунду при двух параллельных задачах. В планах владельца — масштабирование системы с добавлением второго сервера и еще восьми видеокарт V100.
