在人工智能領域，如何讓多個高性能AI模型協同訓練出更輕量、高效的AI助手，一直是行業關注的焦點。清華大學自動化系與北京信息科學技術國家研究中心的研究團隊針對這一挑戰，提出了一種名為“知識凈化”的創新解決方案，相關成果發表于國際頂級學術會議ICLR，論文編號為arXiv:2602.01064v1。

傳統AI模型訓練中，性能最優的模型往往體積龐大、計算成本高昂，難以直接應用于資源受限的場景。而通過“知識蒸餾”技術，讓小模型學習大模型的能力，雖能部分解決問題，但當多個大模型同時作為“老師”時，不同模型因訓練數據、算法結構差異，會對同一問題給出矛盾的解答，導致“學生”模型無所適從，性能不升反降。研究團隊通過實驗驗證了這一現象：當AI“老師”數量從2個增加到4個時，學生模型的準確率平均下降1.08個百分點，這一現象在小型、中型和大型學生模型中均普遍存在。

為解決這一矛盾，研究團隊提出“知識凈化”框架，其核心思想是在多模型教學前，先對不同“老師”的知識進行整合與提煉，形成統一、清晰的教學方案。這一過程類似于教師團隊在授課前召開教研會議，協調教學思路，避免學生接收混亂信息。團隊開發了五種具體方法：一是“知識聚合”，通過調用GPT-4等強大AI助手，綜合多個模型的答案生成標準解答；二是“普拉凱特-盧斯排序法”，基于歷史表現數據為每個模型建立能力評分，動態選擇最優“老師”；三是“預訓練語言模型分類器”，訓練專門模型分析問題特征，匹配最合適的“老師”；四是“相似度路由器”，通過計算問題與模型專長的相似度進行分配；五是“基于強化學習的老師選擇”，讓模型通過試錯學習優化選擇策略。

實驗結果顯示，知識凈化技術顯著提升了學生模型的性能。在常識推理和生物醫學推理任務中，最小規模（77M參數）的學生模型準確率從42.38%提升至45.66%，中等規模（248M參數）模型從52.76%提升至56.68%，最大規模（783M參數）模型從62.53%提升至67.55%。其中，強化學習方法在大型模型上表現最優，而相似度路由器在小型模型上效果最佳。知識凈化技術還成功緩解了“老師”數量增加導致的性能下降問題，在物理交互問答和生物醫學問答等跨領域任務中，學生模型準確率同樣提升顯著，例如在生物醫學問答中，大型模型準確率從82.93%提升至91.87%。

除性能提升外，知識凈化技術還展現出高效的計算優勢。路由類方法僅需問題本身作為輸入，無需預先獲取所有“老師”的答案，大幅降低了計算開銷。以FLAN-T5大型模型在ARC數據集上的訓練為例，傳統方法需2.6個GPU小時，而路由方法僅需1.4至1.8個GPU小時。這一特性使其在資源受限的邊緣計算場景中具有廣闊應用前景。

從技術特點看，不同方法各有優勢：知識聚合能綜合多模型智慧，適合復雜問題；路由類方法高效可擴展，適合實時應用；強化學習方法可持續學習，適應新場景。在實際應用中，知識凈化技術可構建智能教學系統，整合多領域AI“教師”的專長，為學生提供個性化指導；在醫療領域，可融合影像診斷、病歷分析等模型的能力，提升醫療AI的準確性；在企業級應用中，可協調不同部門的AI模型，形成統一決策支持系統。

盡管成果顯著，研究團隊也指出當前工作的局限性：實驗僅使用四個AI“老師”，需進一步驗證更大規模模型群體的效果；研究集中于自然語言處理領域，需探索圖像識別、語音處理等其他場景的適用性；所選“老師”模型來自主流系列，需適應不斷涌現的新架構。未來，團隊計劃擴大實驗規模、拓展應用領域，并開發自動化程度更高的智能化知識凈化系統，同時探索其與AI安全、可解釋性的結合。