在人工智能領域，模型性能的競爭從未停歇。當算力與數據條件相當，為何部分模型能脫穎而出？月之暗面（Moonshot AI）用一項顛覆性技術給出了答案——通過重構大模型底層架構，實現了訓練效率與模型效果的雙重突破。
3月16日，Kimi團隊發布技術報告《Attention Residuals》，將自2015年沿用至今的殘差連接（Residual Connections）進行徹底革新。實驗數據顯示，在相同算力條件下，采用新架構訓練的模型性能，達到傳統基線模型1.25倍算力訓練的效果。這一成果引發硅谷AI圈高度關注，多位頂尖學者公開評價其為"深度學習范式升級的里程碑"。
Kimi團隊的解決方案充滿巧思：通過數學建模發現，深度網絡的信息丟失與RNN的時間遺忘機制存在結構相似性?；诖?，他們將橫向處理序列的注意力機制"旋轉"90度，應用于縱向的深度維度。新架構中，每個網絡層通過動態查詢向量，主動篩選前序層的關鍵信息，實現信息流動的精準控制。為解決大規模訓練的內存瓶頸，團隊還設計了Block AttnRes方案，將網絡分塊處理，在保持性能的同時將推理延遲增幅控制在2%以內。
實證效果令人矚目：在GPQA-Diamond科學推理任務中，新架構使模型準確率提升7.5%；數學與代碼生成任務分別獲得3.6%和3.1%的性能增益。這種泛化能力的提升，源于底層架構對信息流動方式的根本性改變——每層網絡都能根據任務需求，動態調整信息提取策略，形成更高效的知識表征。
該團隊創始人在近期技術峰會上強調："當行業普遍聚焦模型規模擴張時，我們選擇重構底層優化機制。這就像建造摩天大樓，與其不斷增加樓層高度，不如重新設計承重結構。"這種"向下深耕"的技術路線，為突破當前AI發展的Scaling Law瓶頸提供了新思路。隨著研究論文的公開，全球多個頂尖實驗室已開始復現相關實驗，一場關于模型底層架構的革新正在悄然興起。
