近日，深度學(xué)習(xí)領(lǐng)域迎來(lái)一項(xiàng)突破性進(jìn)展——Kimi團(tuán)隊(duì)提出了一種名為“注意力殘差”的創(chuàng)新機(jī)制，對(duì)沿用近十年的傳統(tǒng)殘差連接模式進(jìn)行重構(gòu)，引發(fā)全球科研界與產(chǎn)業(yè)界的廣泛關(guān)注。這項(xiàng)技術(shù)通過(guò)重新設(shè)計(jì)信息傳遞方式，有效解決了傳統(tǒng)模型在訓(xùn)練過(guò)程中存在的效率低下、穩(wěn)定性不足等問(wèn)題。

傳統(tǒng)殘差連接采用“固定等權(quán)累加”模式，即每一層網(wǎng)絡(luò)在傳遞信息時(shí)，會(huì)不加區(qū)分地保留所有前序?qū)拥妮敵觥＿@種設(shè)計(jì)在模型層數(shù)較少時(shí)表現(xiàn)穩(wěn)定，但隨著網(wǎng)絡(luò)深度增加，淺層特征逐漸被稀釋，導(dǎo)致訓(xùn)練效率下降、梯度消失風(fēng)險(xiǎn)上升。尤其在處理復(fù)雜任務(wù)時(shí)，模型往往因信息過(guò)載而難以聚焦關(guān)鍵特征。

Kimi團(tuán)隊(duì)的創(chuàng)新機(jī)制將Transformer架構(gòu)中的注意力機(jī)制引入模型深度維度，為每一層網(wǎng)絡(luò)配備“動(dòng)態(tài)篩選器”。該機(jī)制能夠自動(dòng)識(shí)別并保留對(duì)當(dāng)前任務(wù)最有價(jià)值的信息，同時(shí)抑制冗余數(shù)據(jù)，使信息傳遞從“被動(dòng)累加”轉(zhuǎn)向“主動(dòng)優(yōu)化”。實(shí)驗(yàn)數(shù)據(jù)顯示，在480億參數(shù)規(guī)模的模型訓(xùn)練中，新機(jī)制使訓(xùn)練效率提升1.25倍，科學(xué)推理任務(wù)準(zhǔn)確率提高7.5%，數(shù)學(xué)問(wèn)題解答正確率提升3.6%。

這項(xiàng)成果獲得科技界高度評(píng)價(jià)。以直言不諱著稱的特斯拉創(chuàng)始人埃隆·馬斯克在社交平臺(tái)轉(zhuǎn)發(fā)相關(guān)研究論文，并評(píng)論稱“Kimi的成果令人印象深刻”。值得注意的是，馬斯克旗下人工智能公司xAI目前正處于戰(zhàn)略重組階段，其對(duì)外部技術(shù)的公開(kāi)認(rèn)可，側(cè)面印證了該機(jī)制的技術(shù)價(jià)值。行業(yè)分析人士指出，注意力殘差機(jī)制有望推動(dòng)大模型訓(xùn)練范式變革，為解決“規(guī)模-效率”矛盾提供新思路。

據(jù)技術(shù)報(bào)告披露，新機(jī)制的核心在于構(gòu)建了跨層級(jí)的注意力權(quán)重分配系統(tǒng)。通過(guò)引入可學(xué)習(xí)的門控單元，模型能夠根據(jù)任務(wù)需求動(dòng)態(tài)調(diào)整各層信息的保留比例。這種設(shè)計(jì)既保留了殘差連接防止梯度消失的優(yōu)勢(shì)，又克服了其信息過(guò)載的缺陷。研究團(tuán)隊(duì)表示，該機(jī)制已通過(guò)開(kāi)源框架實(shí)現(xiàn)，相關(guān)代碼與模型權(quán)重即將對(duì)外發(fā)布，供全球開(kāi)發(fā)者驗(yàn)證與優(yōu)化。

當(dāng)前，全球人工智能競(jìng)賽已進(jìn)入“效率制勝”階段。如何在不顯著增加計(jì)算成本的前提下提升模型性能，成為行業(yè)共同挑戰(zhàn)。Kimi團(tuán)隊(duì)的這項(xiàng)突破，為解決這一難題提供了新的技術(shù)路徑。隨著更多研究機(jī)構(gòu)跟進(jìn)實(shí)驗(yàn)，注意力殘差機(jī)制或?qū)⒃谧匀徽Z(yǔ)言處理、計(jì)算機(jī)視覺(jué)等領(lǐng)域引發(fā)連鎖反應(yīng)，推動(dòng)人工智能技術(shù)向更高效率、更低能耗的方向演進(jìn)。