在人工智能文本生成領域，擴散模型與自回歸模型長期形成兩大技術流派。自回歸模型如同傳統寫作，嚴格遵循從左到右的線性生成方式，而擴散模型則突破這一限制，理論上可同時處理全局信息。然而實際應用中，擴散模型常因位置偏差問題導致生成質量不穩定，這一矛盾成為制約技術突破的關鍵瓶頸。

復旦大學聯合研究團隊近日在arXiv平臺發布突破性成果，通過頻域分析揭示了擴散模型隱藏的生成邏輯。研究團隊發現，將模型最后一層的隱藏狀態進行傅里葉變換后，代碼中的控制流關鍵詞（if/else/return）與數學推導中的邏輯連接詞（因為/如果）均集中在低頻段，而變量名、函數名等具體信息則分布在高頻段。這種分布規律在Python代碼和數學證明兩種場景中均得到驗證，形成"邏輯骨架-細節填充"的分層結構。

實驗數據顯示，該方法在編程任務中使LLaDA1.5-8B模型性能提升20.4%，數學問題解決準確率提高7%，整體得分超越同規模自回歸模型Llama 3.1-8B。在小型模型SDAR-1.7B-Chat上，Countdown推理任務性能提升達45.1%，證明該策略對資源受限場景具有特殊價值?？梢暬治鲲@示，模型在生成if語句時，會同步生成完整條件判斷和冒號，印證了策略對既有語言知識的有效激發。

技術實現包含兩大創新機制：翻譯過濾評分系統根據當前頻段能量密度確定生成優先級，確保關鍵邏輯詞匯優先生成；自適應傅里葉校準器則通過分析模型預測概率方差，動態調節頻率指導強度。當模型對生成決策有明確把握時，指導權重自動降低；在模型猶豫時加強引導，形成智能化的生成平衡。

該研究還揭示了不同任務的最優頻段窗口差異：編程任務需要較窄窗口聚焦控制流，數學問題則適用較寬窗口處理邏輯鏈條。這種任務適配性使策略具有廣泛適用性，即使在基礎隨機采樣方法上也能帶來顯著改進。研究團隊通過詞性頻率分布分析進一步驗證，連詞、介詞等構成邏輯框架的功能詞確實集中在低頻域，而名詞等內容詞傾向高頻分布，與語言學基本規律高度吻合。

這項突破為文本生成技術開辟新路徑，其核心價值在于將模型內部隱藏的結構信息轉化為可操作的生成指導。相比傳統位置感知或外部獎勵模型方法，該策略直接利用模型自身學習到的頻率特征，既避免人工規則的僵化干預，又解決獎勵模型可能引入的新偏差。對于代碼生成、數學推理等需要嚴格邏輯結構的任務，這種結構優先的生成方式展現出獨特優勢。

研究過程中還發現多個有趣現象：模型在生成循環結構時，會同步生成循環條件和迭代變量；不同編程語言的控制流關鍵詞在頻域分布具有相似模式；數學公式中的運算符與變量在頻段分布上呈現明確分工。這些發現為進一步優化生成策略提供了新線索，也引發關于頻域特征與語義關聯的深入思考。