Компания Groq планирует внедрить 3D-стековую память DRAM в свои будущие чипы для инференса Language Processing Unit (LPU). Цель разработки — увеличить объем памяти и пропускную способность для работы с моделями, содержащими триллионы параметров, сохранив при этом высокую скорость обработки.
Техническое решение основано на использовании 3D-стековой DRAM, подключенной через сквозные кремниевые переходы (TSV). Groq делает ставку на масштабируемость за счет стандартных интерфейсов, а не на достижение предельных показателей пропускной способности.
Текущий чип Groq 3 LPU оснащен 500 МБ SRAM с пропускной способностью 150 ТБ/с. Стойка из 256 таких чипов обладает общим объемом памяти 128 ГБ, что ограничивает возможности размещения весов крупных моделей в памяти.
Компания Groq основана в 2016 году Джонатаном Россом, бывшим разработчиком чипов TPU в Google. В декабре 2025 года Nvidia заключила сделку стоимостью около $20 миллиардов, которая включала лицензирование интеллектуальной собственности Groq и наем ключевых сотрудников.
