特斯拉首席執行官埃隆·馬斯克近日在社交平臺X上對一家中國AI企業的技術突破給予高度評價,引發全球科技界廣泛關注。被點贊的成果來自月之暗面(Kimi)團隊,其提出的"注意力殘差"機制重新定義了深度學習領域沿用近十年的殘差連接范式。
這項發表于3月16日的研究針對大模型基礎架構提出創新方案。傳統殘差連接采用固定層級的線性累加方式,而Kimi團隊設計的"Attention Residuals"機制允許神經網絡各層動態選擇關注重點。通過引入注意力權重分配系統,模型能夠自主判斷哪些歷史層輸出更具訓練價值,從而優化計算資源分配。實驗數據顯示,在480億參數規模的模型訓練中,該技術使迭代效率提升25%,同時保持模型精度穩定。
面對國際科技巨頭的關注,Kimi團隊以輕松方式回應。其官方賬號在馬斯克推文下幽默互動:"你的火箭造得也不錯!"這種技術自信與開放態度,折射出中國AI研究者既專注底層創新又保持國際視野的特質。據知情人士透露,該團隊已就技術專利布局與多家國際機構展開合作洽談,相關成果有望在年內應用于多模態大模型開發。








