在人工智能領域，小語言模型的研究正迎來新的突破。近期，一項針對70M參數小模型的深入探索揭示了影響其性能的關鍵因素，為資源有限的開發者提供了重要參考。
傳統觀點認為，模型架構是決定性能的核心要素。然而，最新研究顯示，在70M參數規模下，模型"形狀"——即深度與寬度的配比——比具體架構選擇更重要。實驗表明，當隱藏維度（神經網絡寬度）達到或超過512時，模型性能顯著提升。這一發現顛覆了"層數越多越好"的普遍認知，指出12層、32層和64層配置表現優異，而16層、24層和48層則陷入"性能低谷"。
研究團隊通過系統實驗發現，32層配置堪稱"黃金平衡點"。在隱藏維度為384的特殊設置下，該配置不僅超越了標準12層架構的性能，更在多項基準測試中取得最高分。進一步分析表明，當隱藏維度不足時，極深架構（如64層）可通過增加計算量實現"暴力補償"，但這種提升伴隨顯著效率損失。
在架構對比環節，12種主流模型架構（包括GPT-2、LLaMA3等）在相同參數規模下性能差異不足2%。這表明，為數十億參數模型設計的先進技術（如RMSNorm、RoPE等），在70M參數場景中效果有限。研究者指出，對于小模型而言，優化"形狀"配置帶來的收益遠大于追求最新架構。
擴散模型在此次研究中展現出獨特優勢。盡管平均準確率略低于自回歸模型，但其推理速度達到后者的3.8倍，且在事實準確性測試中得分高出16個百分點。這種特性使其特別適合需要批量處理的場景。研究揭示，擴散模型的三大機制——雙向注意力、迭代改進和非自回歸生成——共同減少了"幻覺"現象的產生。
研究者提出一種名為"Canon層"的輕量級結構，僅增加0.13%參數即可提升模型事實性1-2%。更引人注目的是，通過改進的Warmup-Stable-Decay轉換方法，現有自回歸模型可高效轉化為擴散模型，所需數據量和訓練成本僅為傳統方法的十分之一，且在多項測試中超越從頭訓練的模型。
