阿里通義實驗室近日宣布推出并開源一款名為Fun-CineForge的影視級多場景配音多模態大模型，該模型專門針對AI配音領域長期存在的三大難題——口型不同步、情感表達不足以及多角色音色差異進行優化，同時公開了配套的高質量數據集構建方案。

在技術實現層面，Fun-CineForge創新性地將"時間模態"引入模型架構。傳統方案往往側重文本或視覺信息的單獨處理，而該模型通過精確的時間戳控制機制，確保語音合成與畫面動態嚴格匹配。實驗表明，即使在人物面部遮擋、鏡頭快速切換或畫面模糊等復雜場景下，模型仍能保持極高的音畫同步精度和指令響應能力。

配套開源的CineDub數據集構建流程展現出顯著優勢。研發團隊采用大模型思維鏈技術，將原始影視素材自動轉化為結構化訓練數據，使人工標注工作量減少90%以上。數據顯示，該流程處理后的中英文文本錯誤率控制在1%左右，說話人識別錯誤率僅1.2%，為模型訓練提供了高質量基礎數據。

目前該模型已在GitHub、HuggingFace和魔搭社區全面開放，支持30秒以內短視頻的實時推理。除單人獨白場景外，模型率先實現對雙人及多人對話場景的專業級支持，語音自然度達到影視后期制作標準。這一突破標志著AI語音技術開始從基礎應用向高要求的動漫配音、影視制作等領域延伸。

相關資源可通過以下鏈接獲取： GitHub開源地址：https://github.com/FunAudioLLM/FunCineForge HuggingFace模型庫：https://huggingface.co/FunAudioLLM/Fun-CineForge 魔搭社區頁面：https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/