格隆匯3月27日｜本周谷歌公布了一項(xiàng)可能減少AI模型所需內(nèi)存量的技術(shù)，美國(guó)市場(chǎng)存儲(chǔ)芯片股已連續(xù)第二日大跌。受此影響，A股市場(chǎng)存儲(chǔ)芯片股今日也再度集體下挫。其中，大為股份跌超6%，兆易創(chuàng)新、佰維存儲(chǔ)、中京電子跌超5%，盈方微、太極實(shí)業(yè)、大港股份、國(guó)科微、中電港、科翔股份、江波龍、西測(cè)測(cè)試、香農(nóng)芯創(chuàng)跌超4%。

消息面上，谷歌發(fā)布的新型AI內(nèi)存壓縮技術(shù)TurboQuant，引發(fā)市場(chǎng)對(duì)存儲(chǔ)需求前景的擔(dān)憂。據(jù)稱，該技術(shù)可在不損失準(zhǔn)確性的前提下，將大語(yǔ)言模型的緩存內(nèi)存占用至少減少6倍，并實(shí)現(xiàn)最高8倍的加速，旨在解決AI推理與向量搜索中的內(nèi)存瓶頸問(wèn)題。

不過(guò)摩根士丹利指出該技術(shù)僅作用于推理階段的鍵值緩存，不影響模型權(quán)重所占用的高帶寬內(nèi)存(HBM)，也與訓(xùn)練任務(wù)無(wú)關(guān)。因此，這并非存儲(chǔ)總需求或硬件總量減少6倍，而是通過(guò)效率提升增加單GPU吞吐量——相同硬件可支持4至8倍更長(zhǎng)的上下文，或在不觸發(fā)內(nèi)存溢出的前提下顯著提升批處理規(guī)模。摩根士丹利還提示，由于該壓縮技術(shù)可直接集成進(jìn)平臺(tái)基礎(chǔ)設(shè)施，對(duì)軟件層面可能形成邊際利空。