在GTC 2026大會(huì)上,英偉達(dá)正式推出了專為智能體系統(tǒng)設(shè)計(jì)的Groq 3 LPX機(jī)架。這款新型機(jī)架聚焦于低延遲與長(zhǎng)上下文處理需求,被定位為Vera Rubin平臺(tái)的AI推理加速器,預(yù)計(jì)將于今年下半年正式投入市場(chǎng)。
Groq 3 LPX機(jī)架采用全液冷散熱方案,基于MGX基礎(chǔ)設(shè)施架構(gòu)構(gòu)建。其核心配置包含32個(gè)1U計(jì)算托盤,每個(gè)托盤集成8顆Groq 3(LP30)芯片。每顆芯片搭載500MB片上SRAM,使得整個(gè)機(jī)架的片上存儲(chǔ)容量達(dá)到128GB,并實(shí)現(xiàn)40PB/s的SRAM帶寬。這種設(shè)計(jì)顯著優(yōu)化了輸出生成速度,同時(shí)將系統(tǒng)響應(yīng)延遲控制在極低水平。
在系統(tǒng)互聯(lián)方面,每顆LP30芯片通過96條112Gbps的C2C鏈路與其他組件連接。單個(gè)計(jì)算托盤可擴(kuò)展至384GB DRAM內(nèi)存,通過結(jié)構(gòu)擴(kuò)展邏輯與頭節(jié)點(diǎn)CPU實(shí)現(xiàn)內(nèi)存資源整合。這種分層存儲(chǔ)架構(gòu)既保證了片上SRAM的高效利用,又能在處理超大規(guī)模任務(wù)時(shí)提供DRAM作為補(bǔ)充支持。
據(jù)英偉達(dá)披露,Groq 3 LPX的部署將使Vera Rubin平臺(tái)的推理能效實(shí)現(xiàn)質(zhì)的飛躍。每兆瓦功耗下的推理吞吐量可提升35倍,特別在處理萬億參數(shù)級(jí)模型時(shí),能為運(yùn)營(yíng)商帶來最高10倍的營(yíng)收增長(zhǎng)空間。這一突破主要得益于芯片架構(gòu)對(duì)長(zhǎng)上下文處理的優(yōu)化,以及系統(tǒng)級(jí)內(nèi)存帶寬的指數(shù)級(jí)提升。











