Компания Groq, вошедшая в состав Nvidia, планирует изменить архитектуру своих чипов LPU следующего поколения. Вместо текущих решений на базе SRAM разработчики перейдут на технологию 3D-стекирования DRAM. Это позволит существенно увеличить объем памяти для работы с растущими по размеру моделями искусственного интеллекта.
Текущее поколение чипов Groq LPU использует 500 МБ SRAM с пропускной способностью 150 ТБ/с и производительностью 1,20 PFLOPs в формате FP8. В составе стоек LPX, запущенных в массовое производство в августе, 256 таких чипов обеспечивают 128 ГБ SRAM и 640 ТБ/с пропускной способности. В связке с серверами NVL72 система достигает скорости 3400 токенов в секунду.
Новая архитектура предполагает использование 3D-упаковки и технологии сквозных кремниевых переходов (TSV) для вертикального размещения слоев DRAM. Подобный подход, схожий с принципами HBM, увеличивает плотность хранения данных и энергоэффективность. Хотя DRAM уступает SRAM в скорости, она позволяет создавать системы с гораздо большим объемом памяти.
В будущем Groq может развивать линейки SRAM и DRAM параллельно, предлагая решения под разные задачи. Для Nvidia, развивающей экосистему AI-фабрик и платформ, внедрение чипов с увеличенным объемом памяти станет важным шагом для масштабирования инфраструктуры для задач инференса.
