小米MiMo大模型團隊近日宣布推出一項名為HySparse的創(chuàng)新技術(shù)架構(gòu)，該架構(gòu)專為應(yīng)對Agent時代超長文本處理需求而設(shè)計，通過融合“極少量全注意力機制+稀疏注意力機制”的核心模式，為行業(yè)提供了兼顧效率與精度的解決方案。這一突破不僅為大模型注意力結(jié)構(gòu)研究開辟了新路徑，更標(biāo)志著技術(shù)發(fā)展從“計算可行性”向“計算經(jīng)濟性”的關(guān)鍵轉(zhuǎn)型。

隨著Agent技術(shù)在多領(lǐng)域加速落地，處理超長上下文已成為模型的核心能力。當(dāng)前模型面臨雙重挑戰(zhàn)：既要保持復(fù)雜推理中的穩(wěn)定性，又需在實時響應(yīng)中控制計算成本。傳統(tǒng)全注意力機制雖能精準(zhǔn)捕捉信息，但計算開銷隨文本長度呈平方級增長；純稀疏注意力雖能降低計算量，卻易丟失關(guān)鍵信息。這種矛盾在需要處理數(shù)萬token的場景中尤為突出，成為制約技術(shù)發(fā)展的瓶頸。

針對上述難題，HySparse架構(gòu)通過動態(tài)分層設(shè)計實現(xiàn)突破。在80B參數(shù)規(guī)模的MoE模型實驗中，團隊僅保留5層全注意力層（占總層數(shù)10%），其余層采用稀疏注意力機制。這種設(shè)計使KV Cache存儲需求降低近90%，同時模型在數(shù)學(xué)推理、代碼生成等任務(wù)中的表現(xiàn)不降反升。RULER長文測試顯示，即使全注意力層大幅減少，系統(tǒng)仍能精準(zhǔn)定位跨段落的關(guān)鍵信息，驗證了混合架構(gòu)的優(yōu)越性。

該架構(gòu)可視為對小米此前Hybrid SWA技術(shù)的升級迭代。通過引入全局token信息補充機制，新架構(gòu)在保持原有計算效率優(yōu)勢的基礎(chǔ)上，進(jìn)一步優(yōu)化了信息傳遞路徑。實驗數(shù)據(jù)顯示，在7B參數(shù)的Dense模型和80B參數(shù)的MoE模型中，HySparse均帶來穩(wěn)定性能提升，且未顯著增加計算開銷。這種“兼容且互補”的設(shè)計理念，為混合注意力架構(gòu)的工程化落地提供了新范式。

據(jù)研發(fā)團隊介紹，HySparse的創(chuàng)新點在于重新定義了注意力資源的分配邏輯。通過將計算資源集中于關(guān)鍵信息節(jié)點，既避免了全注意力機制的資源浪費，又克服了稀疏注意力機制的信息碎片化問題。這種設(shè)計特別適用于需要多輪推理的復(fù)雜場景，例如在法律文書分析、科研論文解讀等任務(wù)中，系統(tǒng)能動態(tài)識別核心段落并建立高效關(guān)聯(lián)。

目前，小米MiMo團隊正著手在更大規(guī)模模型中驗證HySparse的擴展性。后續(xù)研究將聚焦于進(jìn)一步壓縮全注意力層數(shù)量，探索在保持性能前提下將計算復(fù)雜度降至理論極限的可能性。這項技術(shù)突破不僅為學(xué)術(shù)界提供了新的研究方向，也為工業(yè)界優(yōu)化大模型部署成本提供了實用參考，有望推動Agent技術(shù)在資源受限場景中的廣泛應(yīng)用。