阿里巴巴集團Qwen Pilot團隊在國際學習表征會議（ICLR）上發表的最新研究，徹底顛覆了人們對人工智能訓練過程的傳統認知。這項編號為arXiv:2603.22446v1的論文顯示，在強化學習訓練大語言模型的過程中，真正推動性能提升的改變僅發生在極少數關鍵位置，占比不足2%。這一發現猶如在AI領域投下一顆重磅炸彈，引發了學術界和產業界的廣泛關注。

研究團隊通過精密的數學工具——Jensen-Shannon散度，對訓練前后模型在每個詞匯位置的變化程度進行了量化分析。結果顯示，在SimpleRL訓練方法下，超過98%的詞匯位置幾乎未發生任何改變；即便在使用DAPO訓練方法時，也有超過83%的位置保持穩定。這種極度稀疏的變化模式，與人們普遍認為的"強化學習會均勻提升模型所有部分"的觀念形成鮮明對比。

進一步的分析揭示了這些關鍵變化的位置偏好。在生成的文本序列中，變化主要集中在開頭和結尾部分。開頭位置的改變對應著高層次決策的修正，類似于學生在構思文章時調整整體思路；而結尾位置的變化則主要涉及答案格式和終止行為的優化，如同學生學會更規范的結論寫法。不同訓練方法展現出不同的變化模式：約束較少的DAPO方法會產生更廣泛的分布變化，但強度相對溫和；而約束更嚴格的SimpleRL方法則將更新集中在更少的詞匯分布上，但變化更加顯著。

研究團隊還發現，變化程度與模型不確定性之間存在密切關聯。在模型原本就很確定該選擇什么詞匯的位置，強化學習幾乎不會進行調整；而在模型拿不準的高熵位置，強化學習則更傾向于進行修正。這種選擇性修正機制，使得強化學習能夠像精準的外科手術一樣，只在最需要的地方進行干預。

詞匯類型的偏好分析帶來了另一個意外發現。在高散度位置（發生較大變化的位置），更多出現的是常見功能詞、推理相關術語以及某些方程片段；而在低散度位置，占主導地位的則是數字、運算符和數學表達式的結構化組件。然而，同一個詞匯在不同上下文中可能表現出完全不同的變化傾向，這表明決定變化的關鍵是詞匯在特定推理軌跡中的角色，而非詞匯本身的語義。

為了驗證這些稀疏變化的實際作用，研究團隊設計了一個巧妙的交叉采樣實驗。他們將強化學習模型在關鍵位置的詞匯選擇"移植"到基礎模型的生成過程中，結果令人震驚：僅替換不到4%的詞匯，就能將基礎模型在AIME 2024測試中的準確率從約8%提升到超過25%；在AIME 2025測試中，僅替換約1.53%的詞匯，就將準確率從5%提升到超過14%。反向實驗同樣證明，替換約5%的強化學習詞匯選擇，就能讓強化學習模型的性能迅速退化到基礎模型水平。

深入分析強化學習的改進機制發現，它主要通過重新排序現有候選詞匯來工作，而非引入全新詞匯。即使在發生重大變化的位置，基礎模型和強化學習模型的候選詞匯仍然保持高度重疊。約30%的強化學習top-1詞匯在基礎模型中已經排名第一，超過80%的DAPO top-1詞匯和90%的SimpleRL top-1詞匯都在基礎模型的top-3范圍內。這表明強化學習主要是在一個相對較小的高質量候選集合內進行精細調整。

訓練過程的演化模式分析揭示了另一個有趣現象：分布變化在訓練過程中變得越來越集中在少數詞匯上。大多數詞匯保持相對穩定，而變化主要集中在一個逐漸縮小但影響力不斷增強的子集中。這種逐漸聚焦的特性表明，模型在探索階段會嘗試各種調整，但最終會收斂到一個穩定的關鍵位置集合上。

基于這些發現，研究團隊探索了散度加權優勢函數的應用潛力。通過設計高KL提升和低KL提升兩種加權策略，他們在實驗中成功在多個數據集上帶來了性能提升。在AIME 2024測試中，低KL提升將準確率從33.61%提升到35.90%，高KL提升提升到36.74%；在AIME 2025測試中，兩種方法都取得了類似的改進。

這項研究不僅為理解AI學習機制提供了全新視角，也為開發更高效的訓練方法指明了方向。它提示我們，未來的AI訓練可能不需要追求全面改進，而應該專注于識別和優化那些真正關鍵的決策點。這種精準訓練策略不僅能提高效率，還能讓我們更好地理解和控制AI系統的行為，最終為用戶帶來更精準、高效的AI產品和服務。