科技領(lǐng)域近日因一則特殊互動(dòng)引發(fā)廣泛關(guān)注——特斯拉創(chuàng)始人馬斯克在社交平臺(tái)X上公開稱贊中國AI公司月之暗面的技術(shù)突破，稱其團(tuán)隊(duì)工作“令人印象深刻”。這一表態(tài)在AI行業(yè)掀起漣漪，尤其考慮到馬斯克向來以犀利批評著稱，此前曾多次公開質(zhì)疑Anthropic和OpenAI的技術(shù)路線，甚至調(diào)侃過前者的品牌標(biāo)識(shí)設(shè)計(jì)。

引發(fā)馬斯克關(guān)注的并非某款大模型產(chǎn)品，而是一篇聚焦底層架構(gòu)的技術(shù)論文。月之暗面團(tuán)隊(duì)在報(bào)告中提出對Transformer架構(gòu)核心組件的革新方案，試圖解決困擾深度學(xué)習(xí)領(lǐng)域近十年的“PreNorm稀釋”問題。該現(xiàn)象源于傳統(tǒng)殘差連接機(jī)制中各層輸出權(quán)重平等的設(shè)計(jì)缺陷，導(dǎo)致模型訓(xùn)練時(shí)早期層信息被后期層稀釋，引發(fā)梯度失衡和數(shù)值不穩(wěn)定。

研究團(tuán)隊(duì)從RNN的注意力機(jī)制演變中獲取靈感，提出“塊注意力殘差”方案。該方案將模型層劃分為若干模塊，模塊內(nèi)部保留傳統(tǒng)殘差連接，模塊間則引入動(dòng)態(tài)權(quán)重分配機(jī)制。通過可學(xué)習(xí)的查詢向量，模型能根據(jù)輸入內(nèi)容自動(dòng)判斷各模塊信息的優(yōu)先級，避免全連接架構(gòu)帶來的內(nèi)存爆炸問題。實(shí)驗(yàn)數(shù)據(jù)顯示，新架構(gòu)在保持訓(xùn)練開銷增幅不足2%的同時(shí)，使模型性能提升相當(dāng)于增加25%計(jì)算資源。

這項(xiàng)突破在學(xué)術(shù)界引發(fā)連鎖反應(yīng)。論文通過統(tǒng)一的結(jié)構(gòu)化矩陣分析證明，自2015年ResNet提出殘差連接以來，包括Highway Networks在內(nèi)的多種變體本質(zhì)上都是線性注意力的特例。月之暗面的方案首次在深度維度實(shí)現(xiàn)非線性注意力機(jī)制，且具備實(shí)際部署可行性。在480億參數(shù)模型的實(shí)戰(zhàn)測試中，新架構(gòu)在科學(xué)推理、代碼生成等任務(wù)中全面超越基線版本。

馬斯克的點(diǎn)贊恰逢月之暗面融資關(guān)鍵期。這家成立僅三年的公司近期完成多輪融資，估值在三個(gè)月內(nèi)從43億美元飆升至180億美元。其Kimi K2.5模型發(fā)布后收入激增，個(gè)人訂閱用戶支付訂單數(shù)連續(xù)兩月環(huán)比增長超百倍，已躋身全球支付平臺(tái)Stripe榜單前十。但高速發(fā)展也伴隨爭議，OpenClaw創(chuàng)始人彼得·斯坦伯格近日公開質(zhì)疑月之暗面推出的云端部署服務(wù)，指出其將本地優(yōu)先架構(gòu)遷移至虛擬機(jī)的做法違背原始設(shè)計(jì)理念，可能引發(fā)安全風(fēng)險(xiǎn)。

這場技術(shù)爭論與商業(yè)認(rèn)可的碰撞，將月之暗面推至聚光燈下。盡管馬斯克的社交平臺(tái)表態(tài)未必轉(zhuǎn)化為實(shí)際合作，但頂級技術(shù)領(lǐng)袖的關(guān)注已產(chǎn)生顯著溢出效應(yīng)——原本聚焦應(yīng)用層的投資者開始重新審視底層架構(gòu)創(chuàng)新的價(jià)值，學(xué)術(shù)圈則出現(xiàn)對Transformer組件系統(tǒng)性重構(gòu)的討論熱潮。當(dāng)被問及是否會(huì)采用相關(guān)技術(shù)時(shí)，馬斯克未作進(jìn)一步回應(yīng)，但其在X平臺(tái)的簡短評價(jià)已為這場技術(shù)革新寫下獨(dú)特注腳。