中國(guó)科學(xué)技術(shù)大學(xué)腦認(rèn)知智能感知教育部重點(diǎn)實(shí)驗(yàn)室聯(lián)合華為技術(shù)有限公司、天津大學(xué)智能與計(jì)算學(xué)院，在國(guó)際學(xué)習(xí)表征會(huì)議（ICLR）上發(fā)表了一項(xiàng)突破性研究。該成果通過(guò)構(gòu)建統(tǒng)一理論框架，首次系統(tǒng)解釋了人工智能大語(yǔ)言模型中復(fù)雜的注意力模式形成機(jī)理，并為模型優(yōu)化提供了全新思路。這項(xiàng)編號(hào)為arXiv:2601.21709的研究，在理論構(gòu)建與工程應(yīng)用層面均取得重要進(jìn)展。

注意力機(jī)制作為大語(yǔ)言模型的核心組件，其運(yùn)行模式長(zhǎng)期困擾著科研人員。研究團(tuán)隊(duì)發(fā)現(xiàn)，不同模型在處理文本時(shí)會(huì)產(chǎn)生三種典型模式：部分模型像聚光燈般反復(fù)聚焦關(guān)鍵詞匯，另一些如掃描儀般按序移動(dòng)關(guān)注點(diǎn)，還有部分呈現(xiàn)周期性變化特征。這些看似隨機(jī)的行為模式，實(shí)則遵循著以"查詢(xún)自相似性"為核心的時(shí)間演化規(guī)律。研究人員通過(guò)構(gòu)建"時(shí)間注意力模式可預(yù)測(cè)性分析"（TAPPA）框架，揭示了查詢(xún)向量在時(shí)間維度上的變化特征，是決定注意力分布形態(tài)的關(guān)鍵因素。

該理論框架的創(chuàng)新性體現(xiàn)在將注意力模式與時(shí)間連續(xù)性建立數(shù)學(xué)關(guān)聯(lián)。研究顯示，當(dāng)查詢(xún)向量在相鄰時(shí)刻保持高度相似時(shí)，注意力分布呈現(xiàn)穩(wěn)定可預(yù)測(cè)特征；反之則產(chǎn)生隨機(jī)波動(dòng)。這種特性類(lèi)似于車(chē)輛行駛軌跡：平穩(wěn)駕駛時(shí)路線可預(yù)測(cè)，急加速轉(zhuǎn)彎時(shí)軌跡難以捉摸。通過(guò)量化這種時(shí)間連續(xù)性，研究團(tuán)隊(duì)成功預(yù)測(cè)了重訪模式、序列模式和季節(jié)性模式等已知現(xiàn)象，并發(fā)現(xiàn)新的模式類(lèi)型。

旋轉(zhuǎn)位置編碼（RoPE）技術(shù)的幾何特性在理論驗(yàn)證中發(fā)揮關(guān)鍵作用。這種將詞匯位置信息轉(zhuǎn)化為旋轉(zhuǎn)角度的設(shè)計(jì)，使得注意力計(jì)算僅依賴(lài)相對(duì)位置關(guān)系。研究團(tuán)隊(duì)通過(guò)控制實(shí)驗(yàn)證實(shí)，低頻通道主導(dǎo)時(shí)產(chǎn)生重訪模式，高頻通道激活時(shí)形成周期性條紋，而輸入文本周期性與編碼周期共振時(shí)則出現(xiàn)季節(jié)性模式。這些發(fā)現(xiàn)不僅解釋了現(xiàn)有模型的行為特征，還為定制化注意力模式提供了理論依據(jù)。

在工程應(yīng)用層面，該理論催生出兩項(xiàng)突破性技術(shù)。針對(duì)模型處理長(zhǎng)文本時(shí)的內(nèi)存瓶頸，研究團(tuán)隊(duì)提出動(dòng)態(tài)鍵值緩存分配策略。通過(guò)評(píng)估各層的查詢(xún)自相似性，系統(tǒng)自動(dòng)為不同注意力頭分配差異化緩存預(yù)算：穩(wěn)定模式層獲得較少資源，檢索模式層保留更多緩存。實(shí)驗(yàn)表明，在嚴(yán)格預(yù)算限制下，該方法在LongBench基準(zhǔn)測(cè)試中的性能顯著優(yōu)于現(xiàn)有技術(shù)。

模型剪枝領(lǐng)域同樣取得重要進(jìn)展。傳統(tǒng)方法依賴(lài)復(fù)雜指標(biāo)評(píng)估結(jié)構(gòu)重要性，而新方法通過(guò)測(cè)量查詢(xún)自相似性，快速識(shí)別可壓縮層。結(jié)合塊影響力分析后形成的復(fù)合指標(biāo)，在高剪枝率場(chǎng)景下仍能保持模型性能。測(cè)試數(shù)據(jù)顯示，43%結(jié)構(gòu)剪枝后，優(yōu)化模型在多個(gè)任務(wù)中的表現(xiàn)明顯優(yōu)于傳統(tǒng)方法，驗(yàn)證了理論指導(dǎo)的精準(zhǔn)性。

實(shí)驗(yàn)驗(yàn)證環(huán)節(jié)展現(xiàn)了理論預(yù)測(cè)與實(shí)際觀測(cè)的高度吻合。通過(guò)對(duì)Llama-3.1和Qwen2.5等主流模型的分析，研究人員發(fā)現(xiàn)查詢(xún)自相似性呈現(xiàn)層次化分布特征：早期層普遍具有高相似性，中間層出現(xiàn)分化，后期層檢索行為增多?？刂茖?shí)驗(yàn)中，調(diào)整RoPE主導(dǎo)通道位置后，注意力圖中的周期性條紋間距嚴(yán)格遵循理論公式，誤差控制在極小范圍內(nèi)。

該研究的數(shù)學(xué)基礎(chǔ)構(gòu)建于嚴(yán)謹(jǐn)?shù)亩ɡ眢w系。研究團(tuán)隊(duì)證明了注意力波動(dòng)幅度與查詢(xún)變化程度存在精確數(shù)學(xué)關(guān)系，為量化不可預(yù)測(cè)性提供工具。對(duì)于可預(yù)測(cè)模式，推導(dǎo)出的數(shù)學(xué)公式精確描述了重訪模式的穩(wěn)定性條件、序列模式的平移特性以及周期性條紋的間距計(jì)算方法。這些成果不僅解釋現(xiàn)有現(xiàn)象，更為開(kāi)發(fā)新型模型架構(gòu)指明方向。

技術(shù)創(chuàng)新體現(xiàn)在完整的方法論體系構(gòu)建。查詢(xún)自相似性指標(biāo)采用余弦相似度與滑動(dòng)窗口計(jì)算方案，在保持時(shí)間敏感性的同時(shí)確保計(jì)算效率。工程應(yīng)用中，研究團(tuán)隊(duì)開(kāi)發(fā)出調(diào)整因子將理論指標(biāo)與傳統(tǒng)方法融合，形成漸進(jìn)式優(yōu)化策略。配套工具鏈包含分析平臺(tái)、驗(yàn)證系統(tǒng)和部署接口，為后續(xù)研究提供完整基礎(chǔ)設(shè)施。

這項(xiàng)成果對(duì)人工智能發(fā)展產(chǎn)生多維度影響。理論層面，用統(tǒng)一框架解釋復(fù)雜現(xiàn)象的研究范式，推動(dòng)領(lǐng)域從經(jīng)驗(yàn)主義向系統(tǒng)科學(xué)轉(zhuǎn)變。工程層面，優(yōu)化技術(shù)使模型在移動(dòng)端部署成為可能，云端服務(wù)成本有望降低。安全領(lǐng)域，可預(yù)測(cè)的注意力行為為構(gòu)建可控AI系統(tǒng)提供新思路。研究團(tuán)隊(duì)已發(fā)現(xiàn)不同文本類(lèi)型可能激發(fā)獨(dú)特注意力模式、多語(yǔ)言模型行為規(guī)律等新問(wèn)題，相關(guān)探索正在持續(xù)推進(jìn)。