鳳凰網(wǎng)科技訊 3月17日，Kimi官方賬號(hào)回應(yīng)馬斯克對(duì)其最新成果的點(diǎn)贊，稱“你的火箭造得也不錯(cuò)”。

據(jù)報(bào)道，近日，Kimi團(tuán)隊(duì)發(fā)布技術(shù)報(bào)告，提出全新Attention Residuals（注意力殘差）機(jī)制，對(duì)深度學(xué)習(xí)領(lǐng)域沿用近十年的傳統(tǒng)殘差連接實(shí)現(xiàn)顛覆性重構(gòu)，迅速獲得全球關(guān)注。

傳統(tǒng)殘差連接以“固定等權(quán)累加”傳遞信息，層數(shù)增加易導(dǎo)致淺層信息稀釋、訓(xùn)練效率低、穩(wěn)定性差。

而Kimi的創(chuàng)新相當(dāng)于給AI裝了“智能篩選器”，將Transformer注意力機(jī)制遷移到模型深度維度，讓每一層動(dòng)態(tài)篩選此前有用信息、壓低冗余，提升傳遞效率。

實(shí)測(cè)顯示，48B參數(shù)模型訓(xùn)練效率提升1.25倍，科學(xué)推理、數(shù)學(xué)題作答成績(jī)分別提升7.5%、3.6%，有效解決傳統(tǒng)模型訓(xùn)練失衡問(wèn)題。

以挑剔著稱的馬斯克轉(zhuǎn)發(fā)研究并評(píng)論“Kimi的作品令人印象深刻”，其旗下xAI正處重組期，此次認(rèn)可足見技術(shù)分量。