近日，大模型初創公司Kimi（月之暗面）發布的最新技術論文《Attention Residuals: Rethinking depth-wise aggregation》引發行業廣泛關注。特斯拉CEO埃隆·馬斯克(Elon Musk)在社交媒體上公開點贊該研究成果，評價其為“來自Kimi的亮眼工作(Impressive work)”。

對此，Kimi官方賬號互動回應，稱贊馬斯克的“火箭造得也不錯”，這一跨界互動迅速成為全球AI技術社區的熱議焦點。

Kimi在此次研究中提出了全新的“注意力殘差”（Attention Residuals）方法，旨在挑戰并改進大模型中長期沿用的固定累積殘差連接模式。該技術通過引入更靈活的深度方向聚合機制，替代了傳統的遞歸結構。這一創新意味著模型在處理極其復雜的上下文信息時，能夠打破原有計算路徑的局限，顯著提升長序列數據的表達精度與處理效率。