在大模型技術(shù)飛速發(fā)展的當(dāng)下，混合專家模型（MoE）已成為眾多頂尖模型的核心架構(gòu)。從GPT-5到DeepSeek-V3，這些性能卓越的模型背后，都離不開MoE架構(gòu)的支撐。然而，MoE模型在實(shí)際應(yīng)用中卻面臨著一個(gè)棘手的問題——專家同質(zhì)化現(xiàn)象。在預(yù)訓(xùn)練過程中，本應(yīng)各展所長(zhǎng)的多個(gè)專家模塊，卻常常出現(xiàn)功能趨同的情況，導(dǎo)致大量參數(shù)無(wú)法有效發(fā)揮作用，模型的擴(kuò)展能力也因此受到限制。

針對(duì)這一難題，一支來(lái)自阿里巴巴的研究團(tuán)隊(duì)提出了創(chuàng)新性的解決方案——專家分化學(xué)習(xí)策略。該團(tuán)隊(duì)深入研究發(fā)現(xiàn)，MoE預(yù)訓(xùn)練過程中信息缺失是導(dǎo)致專家同質(zhì)化的根本原因。基于此，他們巧妙利用預(yù)訓(xùn)練數(shù)據(jù)中天然存在的領(lǐng)域標(biāo)簽，設(shè)計(jì)了一種全新的輔助損失函數(shù)。這一函數(shù)通過鼓勵(lì)不同領(lǐng)域的數(shù)據(jù)在路由統(tǒng)計(jì)信息上呈現(xiàn)差異，促使各個(gè)專家模塊發(fā)展出獨(dú)特的專業(yè)能力，從而有效解決了專家同質(zhì)化問題。

傳統(tǒng)MoE訓(xùn)練中使用的負(fù)載均衡損失函數(shù)，雖然能夠提高整體路由多樣性，但卻存在明顯缺陷。它只關(guān)注專家是否被充分利用，而忽視了不同領(lǐng)域數(shù)據(jù)對(duì)專家的差異化需求。這就如同企業(yè)管理中，只追求員工忙碌程度，而不考慮工作內(nèi)容的合理性，最終導(dǎo)致資源浪費(fèi)和效率低下。阿里巴巴團(tuán)隊(duì)提出的專家分化學(xué)習(xí)策略，則從根本上改變了這一局面。

該策略的核心在于專家分化損失函數(shù)（LED）的設(shè)計(jì)。研究團(tuán)隊(duì)通過數(shù)學(xué)推導(dǎo)發(fā)現(xiàn)，總路由多樣性可以分解為域間多樣性和域內(nèi)多樣性兩部分。傳統(tǒng)方法盲目提升總多樣性，導(dǎo)致模型傾向于通過增加域內(nèi)多樣性來(lái)應(yīng)付訓(xùn)練，而新提出的LED函數(shù)則精準(zhǔn)鎖定域間多樣性，通過最大化不同領(lǐng)域之間的"排斥力"，迫使專家模塊實(shí)現(xiàn)功能分化。這一創(chuàng)新設(shè)計(jì)，為MoE模型訓(xùn)練提供了全新的思路。

LED函數(shù)的實(shí)現(xiàn)過程包含三個(gè)關(guān)鍵步驟：首先，在訓(xùn)練過程中識(shí)別不同領(lǐng)域的數(shù)據(jù)特征；其次，使用JS散度這一數(shù)學(xué)工具計(jì)算不同領(lǐng)域間的分布差異；最后，通過優(yōu)化算法最大化這些差異。這個(gè)過程可以形象地理解為：將不同領(lǐng)域的專家"推"向模型空間的邊緣位置，使它們各自專注于特定領(lǐng)域，形成專業(yè)化的分工體系。這種明確的監(jiān)督信號(hào)，使得模型能夠?qū)W習(xí)到與語(yǔ)義高度契合的路由策略。

研究團(tuán)隊(duì)通過實(shí)驗(yàn)驗(yàn)證了不同粒度領(lǐng)域標(biāo)簽對(duì)模型性能的影響。他們構(gòu)建了粗粒度（3類）和細(xì)粒度（49類）兩種標(biāo)簽體系進(jìn)行對(duì)比訓(xùn)練。實(shí)驗(yàn)結(jié)果顯示，使用49類細(xì)粒度標(biāo)簽訓(xùn)練的模型在各項(xiàng)指標(biāo)上均顯著優(yōu)于3類標(biāo)簽?zāi)Ｐ汀＿@一發(fā)現(xiàn)表明，專家分工越細(xì)致，模型展現(xiàn)出的專業(yè)能力就越強(qiáng)。這為MoE模型的優(yōu)化提供了重要參考。

在性能驗(yàn)證方面，研究團(tuán)隊(duì)在30億、80億和150億參數(shù)規(guī)模的模型上進(jìn)行了大規(guī)模預(yù)訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，采用專家分化學(xué)習(xí)策略的模型在語(yǔ)言建模損失上持續(xù)優(yōu)于傳統(tǒng)MoE模型。在MMLU、C-eval等7個(gè)主流基準(zhǔn)測(cè)試中，新模型全面超越基線，特別是在150億參數(shù)規(guī)模下，平均得分提升超過1個(gè)百分點(diǎn)。這一成績(jī)?cè)陬A(yù)訓(xùn)練領(lǐng)域具有重要意義，通常意味著需要數(shù)百億 tokens的額外訓(xùn)練才能達(dá)到同等效果。

可視化分析進(jìn)一步證實(shí)了專家分化學(xué)習(xí)的有效性。通過三角單純形圖展示，傳統(tǒng)MoE模型的專家激活點(diǎn)集中在圖形中央，表明不同領(lǐng)域數(shù)據(jù)激活的專家高度相似；而采用新策略的模型，專家激活點(diǎn)明顯向三個(gè)頂點(diǎn)發(fā)散，證明不同領(lǐng)域的數(shù)據(jù)已經(jīng)能夠激活完全不同的專家模塊，實(shí)現(xiàn)了真正的專業(yè)化分工。這種直觀的對(duì)比，充分展現(xiàn)了新方法在解決專家同質(zhì)化問題上的顯著效果。

值得一提的是，專家分化學(xué)習(xí)策略在計(jì)算效率方面也表現(xiàn)出色。LED函數(shù)的計(jì)算僅涉及路由器輸出的低維向量運(yùn)算，對(duì)訓(xùn)練吞吐量幾乎沒有影響。實(shí)驗(yàn)數(shù)據(jù)顯示，新方法的訓(xùn)練速度與傳統(tǒng)MoE模型保持一致，且不需要額外的推理成本。這一特性使得該策略在實(shí)際應(yīng)用中具有很高的可行性，為大規(guī)模模型訓(xùn)練提供了高效的解決方案。