中國(guó)科學(xué)技術(shù)大學(xué)與阿里巴巴通義實(shí)驗(yàn)室聯(lián)合開(kāi)展的研究，為大語(yǔ)言模型訓(xùn)練領(lǐng)域帶來(lái)了突破性進(jìn)展。該研究聚焦于強(qiáng)化學(xué)習(xí)微調(diào)過(guò)程中模型輸出多樣性的變化規(guī)律，通過(guò)建立數(shù)學(xué)理論框架，揭示了模型在訓(xùn)練中逐漸喪失創(chuàng)造性的深層機(jī)制，并提出了有效控制這一現(xiàn)象的創(chuàng)新方法。

在訓(xùn)練大語(yǔ)言模型時(shí)，研究人員發(fā)現(xiàn)一個(gè)普遍現(xiàn)象：隨著訓(xùn)練深入，模型會(huì)從最初給出多樣化答案逐漸轉(zhuǎn)變?yōu)橹惶峁┳畎踩⒆畛Ｒ?jiàn)的回答。這種變化類似于學(xué)生從富有想象力轉(zhuǎn)變?yōu)橹粫?huì)背誦標(biāo)準(zhǔn)答案的過(guò)程。研究團(tuán)隊(duì)通過(guò)系統(tǒng)分析發(fā)現(xiàn)，模型在訓(xùn)練中會(huì)不自覺(jué)地偏向產(chǎn)生高概率的"安全"詞匯，因?yàn)檫@類回答更容易獲得訓(xùn)練獎(jiǎng)勵(lì)。然而，這種傾向若不加控制，將導(dǎo)致模型失去探索新解決方案的能力，最終陷入創(chuàng)造力匱乏的困境。

為了精確描述這種創(chuàng)造性變化的過(guò)程，研究團(tuán)隊(duì)構(gòu)建了以"判別分?jǐn)?shù)"為核心的理論體系。這個(gè)概念如同創(chuàng)造力指示器，能夠量化每個(gè)詞匯選擇對(duì)模型整體創(chuàng)造性的影響。通過(guò)數(shù)學(xué)推導(dǎo)，團(tuán)隊(duì)發(fā)現(xiàn)了熵變化與判別分?jǐn)?shù)之間的關(guān)鍵關(guān)系：熵的變化等于負(fù)的判別分?jǐn)?shù)乘以更新強(qiáng)度。這一發(fā)現(xiàn)為理解模型訓(xùn)練中的創(chuàng)造性波動(dòng)提供了量化工具。

基于理論分析，研究團(tuán)隊(duì)開(kāi)發(fā)了兩種實(shí)用的熵控制方法。第一種是批次歸一化裁剪技術(shù)，該方法通過(guò)計(jì)算訓(xùn)練批次中所有詞匯的判別分?jǐn)?shù)，識(shí)別并過(guò)濾那些會(huì)對(duì)創(chuàng)造性產(chǎn)生極端影響的異常詞匯。第二種方法則更為精細(xì)，它不僅考慮詞匯在單個(gè)批次中的表現(xiàn)，還分析其在整個(gè)詞匯表中的相對(duì)位置，從而更準(zhǔn)確地識(shí)別破壞創(chuàng)造性平衡的詞匯。這兩種方法就像為模型訓(xùn)練安裝了調(diào)節(jié)閥，既能防止創(chuàng)造性過(guò)度喪失，又能提升模型的實(shí)際性能。

實(shí)驗(yàn)驗(yàn)證顯示，這些創(chuàng)新方法在多個(gè)領(lǐng)域都取得了顯著成效。在數(shù)學(xué)推理任務(wù)中，使用新方法訓(xùn)練的模型在AIME24和AIME25等挑戰(zhàn)性數(shù)據(jù)集上的準(zhǔn)確率分別提升了2.81%和0.93%。更重要的是，這些模型在解題過(guò)程中展現(xiàn)出更強(qiáng)的探索能力和多樣化的解題路徑，避免了傳統(tǒng)訓(xùn)練方法導(dǎo)致的"全有或全無(wú)"的兩極分化表現(xiàn)模式。

研究團(tuán)隊(duì)進(jìn)一步將現(xiàn)有訓(xùn)練方法歸類為三大類：裁剪機(jī)制、熵正則化和概率加權(quán)更新。通過(guò)理論分析，他們揭示了這些方法之所以有效的科學(xué)原理。例如，裁剪機(jī)制實(shí)際上是在防止低概率詞匯對(duì)熵產(chǎn)生過(guò)度影響，而熵正則化方法則是通過(guò)獎(jiǎng)勵(lì)有助于保持創(chuàng)造性的詞匯選擇來(lái)維持模型多樣性。這種統(tǒng)一的理論視角不僅解釋了現(xiàn)有方法的共性，也為未來(lái)開(kāi)發(fā)更高效的訓(xùn)練策略提供了指導(dǎo)原則。

在數(shù)學(xué)推理任務(wù)的實(shí)驗(yàn)中，新方法的優(yōu)勢(shì)得到了充分體現(xiàn)。傳統(tǒng)訓(xùn)練方法會(huì)導(dǎo)致模型在簡(jiǎn)單問(wèn)題上表現(xiàn)優(yōu)異，但在中等難度問(wèn)題上表現(xiàn)不佳。而使用熵控制方法訓(xùn)練的模型則展現(xiàn)出更均衡的能力分布，能夠在不同難度層次的問(wèn)題上都保持相對(duì)穩(wěn)定的表現(xiàn)。這種改進(jìn)不僅體現(xiàn)在量化指標(biāo)上，更反映在模型生成內(nèi)容的質(zhì)量上——它們會(huì)嘗試多種解題路徑，展現(xiàn)出更強(qiáng)的邏輯性和創(chuàng)造性。

該研究的理論框架具有廣泛的適用性。無(wú)論是在小型模型還是大型模型上，無(wú)論是處理數(shù)學(xué)問(wèn)題還是編程任務(wù)，熵動(dòng)力學(xué)的基本原理都保持一致。這表明可能存在支配AI學(xué)習(xí)過(guò)程的基礎(chǔ)性數(shù)學(xué)規(guī)律，就像熱力學(xué)定律支配物理世界的能量轉(zhuǎn)換一樣。研究團(tuán)隊(duì)還指出，這一發(fā)現(xiàn)對(duì)AI安全和可控性研究具有重要意義，因?yàn)檫^(guò)度訓(xùn)練可能導(dǎo)致模型在面對(duì)新型問(wèn)題時(shí)缺乏必要的靈活性。

從實(shí)用角度來(lái)看，這項(xiàng)研究為AI訓(xùn)練提供了立即可用的改進(jìn)方案。與需要大量計(jì)算資源的架構(gòu)創(chuàng)新相比，熵控制方法的計(jì)算開(kāi)銷(xiāo)相對(duì)較小，可以輕松集成到現(xiàn)有訓(xùn)練流程中。這使得工業(yè)界能夠快速應(yīng)用這些技術(shù)，提升AI系統(tǒng)的性能和可靠性。更重要的是，這種基于理論分析的方法學(xué)為AI研究開(kāi)辟了新的路徑，使研究人員能夠基于數(shù)學(xué)原理預(yù)測(cè)和設(shè)計(jì)改進(jìn)方案，而非僅僅依賴經(jīng)驗(yàn)試錯(cuò)。

對(duì)于普通用戶而言，這項(xiàng)研究意味著未來(lái)的AI助手將變得更加智能和實(shí)用。它們不再局限于提供標(biāo)準(zhǔn)答案，而是能夠在安全性和創(chuàng)造性之間找到平衡點(diǎn)，在幫助學(xué)生解決復(fù)雜問(wèn)題或協(xié)助程序員開(kāi)發(fā)創(chuàng)新方案時(shí)展現(xiàn)出更出色的表現(xiàn)。該研究通過(guò)論文編號(hào)arXiv:2602.03392v1公開(kāi)了完整的技術(shù)細(xì)節(jié)，為感興趣的研究人員提供了深入探索的機(jī)會(huì)。