中國(guó)AI領(lǐng)域再次迎來(lái)突破性進(jìn)展。DeepSeek團(tuán)隊(duì)近日在神經(jīng)網(wǎng)絡(luò)架構(gòu)領(lǐng)域取得重要?jiǎng)?chuàng)新，提出名為"流形約束超連接"（manifold-constrained HyperConnection，簡(jiǎn)稱(chēng)mHC）的新型架構(gòu)，為解決大規(guī)模模型訓(xùn)練中的穩(wěn)定性難題提供了全新方案。這項(xiàng)成果以通訊作者梁文鋒為代表的研究團(tuán)隊(duì)，通過(guò)數(shù)學(xué)約束與系統(tǒng)優(yōu)化的雙重創(chuàng)新，在硬件受限條件下實(shí)現(xiàn)了性能與效率的平衡。

殘差連接自2016年ResNet架構(gòu)提出以來(lái)，已成為深度學(xué)習(xí)模型的基石設(shè)計(jì)。其通過(guò)"捷徑連接"機(jī)制有效緩解梯度消失問(wèn)題，支撐起現(xiàn)代深度學(xué)習(xí)模型的深度發(fā)展。然而隨著模型規(guī)模擴(kuò)大，傳統(tǒng)殘差連接在信號(hào)傳播穩(wěn)定性方面逐漸顯現(xiàn)局限。2024年字節(jié)跳動(dòng)推出的超連接（HyperConnection）技術(shù)雖通過(guò)拓寬殘差流提升了模型表達(dá)能力，卻在規(guī)模化訓(xùn)練中暴露出信號(hào)發(fā)散的致命缺陷。

DeepSeek的研究直指這一核心矛盾。測(cè)試數(shù)據(jù)顯示，在270億參數(shù)模型訓(xùn)練中，傳統(tǒng)超連接架構(gòu)在12000步訓(xùn)練后出現(xiàn)梯度范數(shù)劇烈波動(dòng)，第60層信號(hào)強(qiáng)度竟膨脹至輸入值的3000倍。研究團(tuán)隊(duì)發(fā)現(xiàn)，問(wèn)題根源在于超連接架構(gòu)為追求表達(dá)能力，放棄了殘差連接原有的恒等映射約束，這種設(shè)計(jì)在小規(guī)模模型中可通過(guò)調(diào)參掩蓋，但在大規(guī)模訓(xùn)練中會(huì)導(dǎo)致災(zāi)難性后果。

mHC架構(gòu)的創(chuàng)新性在于引入雙重隨機(jī)矩陣的流形約束。這種數(shù)學(xué)工具要求變換矩陣每行每列元素之和均為1且非負(fù)，形成嚴(yán)格的"信號(hào)預(yù)算"機(jī)制。通過(guò)將輸出信號(hào)強(qiáng)度限制在輸入信號(hào)的最大最小值之間，從根本上杜絕了信號(hào)爆炸的可能性。更關(guān)鍵的是，雙重隨機(jī)矩陣的組合不變性確保多層疊加后仍保持穩(wěn)定，實(shí)驗(yàn)顯示相同場(chǎng)景下信號(hào)放大峰值被控制在1.6倍以?xún)?nèi)。

為控制計(jì)算開(kāi)銷(xiāo)，研究團(tuán)隊(duì)采用Sinkhorn-Knopp迭代算法進(jìn)行矩陣投影，僅需20輪迭代即可收斂，將額外訓(xùn)練成本壓制在6.7%以?xún)?nèi)。這種數(shù)學(xué)創(chuàng)新與工程實(shí)現(xiàn)的完美結(jié)合，使mHC架構(gòu)在保持理論優(yōu)勢(shì)的同時(shí)具備實(shí)際可行性。配合基于TileLang開(kāi)發(fā)的混合精度內(nèi)核（以bfloat16為主，float32保障關(guān)鍵精度），實(shí)現(xiàn)了全參數(shù)規(guī)模下的穩(wěn)定性能提升。

硬件約束倒逼出的創(chuàng)新不止于算法層面。針對(duì)超連接架構(gòu)帶來(lái)的數(shù)據(jù)讀寫(xiě)量倍增問(wèn)題，DeepSeek實(shí)施了三項(xiàng)系統(tǒng)級(jí)優(yōu)化：通過(guò)算子融合減少數(shù)據(jù)搬運(yùn)，采用反向傳播重計(jì)算以計(jì)算換內(nèi)存，以及流水線(xiàn)并行優(yōu)化掩蓋通信延遲。這些措施將內(nèi)存開(kāi)銷(xiāo)從隨層數(shù)線(xiàn)性增長(zhǎng)轉(zhuǎn)化為可由模塊大小控制的有界開(kāi)銷(xiāo)，使30億至270億參數(shù)模型均能穩(wěn)定運(yùn)行。

性能測(cè)試數(shù)據(jù)印證了創(chuàng)新價(jià)值。搭載mHC架構(gòu)的270億參數(shù)模型在BIG-Bench Hard復(fù)雜推理任務(wù)上提升2.1%，在DROP閱讀理解任務(wù)上提升2.3%。這種全參數(shù)規(guī)模的性能提升，打破了"規(guī)模越大性能越好"的簡(jiǎn)單認(rèn)知，展示了架構(gòu)創(chuàng)新帶來(lái)的質(zhì)變效應(yīng)。

值得關(guān)注的是，DeepSeek選擇通過(guò)arXiv、Hugging Face等開(kāi)放平臺(tái)發(fā)布成果，這種策略雖犧牲部分學(xué)術(shù)聲望，卻換來(lái)了技術(shù)傳播的速度與廣度。當(dāng)mHC的性能增益可量化、實(shí)現(xiàn)可復(fù)現(xiàn)時(shí)，全球AI實(shí)驗(yàn)室不得不重新評(píng)估自身技術(shù)路徑——要么跟進(jìn)類(lèi)似創(chuàng)新，要么證明現(xiàn)有方案的優(yōu)越性。這種開(kāi)放競(jìng)爭(zhēng)模式，正在重塑AI技術(shù)發(fā)展的生態(tài)格局。

此前R1模型的發(fā)布已引發(fā)推理模型研發(fā)熱潮，mHC架構(gòu)的推出很可能推動(dòng)殘差流優(yōu)化進(jìn)入新階段。字節(jié)跳動(dòng)與DeepSeek的接力創(chuàng)新形成有趣對(duì)照：前者率先探路卻受阻于規(guī)模化瓶頸，后者在硬件約束下通過(guò)數(shù)學(xué)與系統(tǒng)的雙重創(chuàng)新架起技術(shù)橋梁。這種發(fā)展軌跡清晰證明，硬件限制非但不是創(chuàng)新障礙，反而能催生更具本質(zhì)性的突破。

隨著2026年春節(jié)臨近，業(yè)界普遍預(yù)期DeepSeek即將發(fā)布搭載mHC架構(gòu)的下一代旗艦?zāi)Ｐ蚏2。無(wú)論基準(zhǔn)測(cè)試結(jié)果如何，這條"在約束中創(chuàng)新"的路徑已具有里程碑意義——它向全球展示，AI競(jìng)賽不只有"燒錢(qián)堆算力"的單選項(xiàng)，數(shù)學(xué)創(chuàng)新與系統(tǒng)優(yōu)化同樣能開(kāi)辟通向巔峰的道路。