螞蟻集團近日宣布，其自主研發(fā)的全模態(tài)大模型Ming-flash-omni 2.0正式開源，為全球開發(fā)者提供了一套支持多模態(tài)交互的通用能力框架。該模型在視覺語言理解、語音生成控制及圖像編輯等領(lǐng)域的多項基準(zhǔn)測試中表現(xiàn)優(yōu)異，部分指標(biāo)甚至超越了專用模型，標(biāo)志著全模態(tài)技術(shù)向?qū)嵱没~出關(guān)鍵一步。

作為業(yè)界首個實現(xiàn)音頻全場景統(tǒng)一生成的模型，Ming-flash-omni 2.0突破了傳統(tǒng)語音合成與音效處理的界限。通過自然語言指令，用戶可同時操控語音、環(huán)境音效及背景音樂的生成，并精準(zhǔn)調(diào)節(jié)音色、語速、語調(diào)等12項參數(shù)。模型在推理效率上達(dá)到3.1Hz的幀率，支持分鐘級長音頻的實時高保真輸出，其零樣本音色克隆技術(shù)更實現(xiàn)了無需訓(xùn)練即可復(fù)現(xiàn)特定聲音的能力。

技術(shù)團隊透露，該模型基于Ling-2.0架構(gòu)（MoE，100B-A6B）構(gòu)建，通過系統(tǒng)性優(yōu)化實現(xiàn)了三大核心突破：視覺模塊整合億級細(xì)粒度數(shù)據(jù)，顯著提升對復(fù)雜物體的識別精度；音頻模塊突破多軌生成限制，實現(xiàn)三要素同步合成；圖像模塊增強編輯穩(wěn)定性，支持光影動態(tài)調(diào)整、場景智能替換等高級功能。在文物鑒定、工業(yè)檢測等場景中，模型對細(xì)微特征的識別準(zhǔn)確率較前代提升37%。

全模態(tài)技術(shù)的核心挑戰(zhàn)在于平衡通用性與專業(yè)性。螞蟻集團通過分階段演進策略破解這一難題：早期版本構(gòu)建多模態(tài)基礎(chǔ)能力，中期版本驗證規(guī)模效應(yīng)，2.0版本則通過10倍級數(shù)據(jù)擴容與混合專家訓(xùn)練法，在保持開源模型開放性的同時，使文本生成、圖像理解等任務(wù)達(dá)到行業(yè)頂尖水平。實測數(shù)據(jù)顯示，其語音合成質(zhì)量在MOS評分中達(dá)到4.8分（滿分5分），接近人類發(fā)音水平。

開源社區(qū)已同步上線模型權(quán)重與推理代碼，開發(fā)者可通過Hugging Face平臺直接調(diào)用。螞蟻百靈官方平臺Ling Studio更提供在線體驗入口，用戶上傳圖片或音頻后，可實時測試模型的人物姿態(tài)優(yōu)化、一鍵修圖、情緒語音生成等功能。某影視后期團隊測試后表示，該模型將傳統(tǒng)多軟件協(xié)作的流程壓縮至單一框架內(nèi)，工作效率提升60%以上。

項目負(fù)責(zé)人指出，全模態(tài)架構(gòu)的價值在于消除不同模態(tài)間的調(diào)用壁壘。通過統(tǒng)一的能力底座，開發(fā)者可避免重復(fù)訓(xùn)練視覺、語音等基礎(chǔ)模塊，大幅降低AI應(yīng)用的開發(fā)成本。目前團隊正攻關(guān)視頻時序理解與長音頻實時生成技術(shù)，未來計劃完善工具鏈生態(tài)，推動全模態(tài)技術(shù)在智慧醫(yī)療、數(shù)字內(nèi)容生產(chǎn)等領(lǐng)域的規(guī)模化落地。