在人工智能Agent模型迅猛發展的當下，如何高效處理超長文本成為行業核心挑戰。這些模型不僅需要精準檢索長上下文中的關鍵信息，還要在多輪推理中保持高速響應，計算成本與效率的平衡成為技術突破的關鍵方向。針對這一痛點，小米MiMo團隊近日推出HySparse混合稀疏注意力架構，通過創新設計實現了性能與效率的雙重優化。
該架構采用"極少量全注意力層+多層稀疏注意力層"的組合模式，在800億參數規模的MoE模型實驗中，僅保留5層全注意力層即可維持模型性能，同時將KV緩存存儲需求壓縮至原來的1/11。這種設計突破了傳統密集注意力機制對計算資源的依賴，在RULER長文測試中，即使大幅減少全注意力層數量，模型仍能穩定捕捉長距離依賴關系，展現出混合結構的獨特優勢。
技術實現層面，HySparse引入hybrid block模塊化設計，每個模塊由1層全注意力層與N層稀疏注意力層構成。其核心創新在于稀疏層不再獨立計算token重要性，而是直接復用全注意力層生成的KV緩存和關鍵token索引。這種設計充分利用了全注意力層在計算過程中自然產生的中間結果，避免了重復計算帶來的資源消耗，在保持性能的同時顯著降低了內存占用。
相較于前代Hybrid SWA結構，新架構通過引入全局token信息補充機制，進一步優化了注意力分布。實驗數據顯示，在70億參數密集模型和800億參數混合專家模型上，HySparse均帶來可觀測的性能提升。特別是在處理超長序列時，其稀疏層通過共享全注意力層的關鍵信息，既保證了重要上下文的完整保留，又通過稀疏計算降低了整體開銷。
該技術的突破為Agent應用落地提供了重要支撐。在需要實時處理海量文本的場景中，HySparse架構既能滿足模型對長上下文的理解需求，又能通過降低計算復雜度提升響應速度。研究團隊透露，后續將探索在更大規模模型上驗證架構極限，并嘗試進一步減少全注意力層數量，推動超長文本處理效率邁向新臺階。
