阿里通義實驗室于3月16日正式發布并開源了影視級多場景配音多模態大模型 Fun-CineForge。該模型旨在解決 AI 配音中長期存在的口型不同步、情感表達缺失以及多角色音色不一致等核心痛點，并同步開放了高質量數據集構建方法。
在技術架構上，Fun-CineForge 首次引入了“時間模態”概念。不同于傳統模型僅關注文本或視覺信息，該模型通過精準的時間戳控制，確保語音在正確的時間區間內合成。即便在畫面中人物被遮擋、鏡頭頻繁切換或面部模糊的復雜影視場景下，模型依然能實現極高的音畫同步率和指令遵循能力。
配套開源的 CineDub 數據集構建流程則是另一大亮點。通義實驗室利用大模型思維鏈技術，將原始影視素材自動化轉化為結構化數據，大幅降低了人工標注成本。數據顯示，該流程將中英文字錯率降低至1% 左右，說話人分離錯誤率僅為1.20%，為大模型提供了極具競爭力的訓練基石。
目前，Fun-CineForge 已在 GitHub、HuggingFace 和魔搭社區同步上線，支持30秒以內的短視頻片段推理。它不僅在單人獨白場景下表現優異，還率先實現了對雙人及多人對話場景的專業級支持。這一突破標志著 AI 語音技術正從基礎的客服、助手場景，向高標準的動漫、影視后期制作領域邁進。
GitHub:https://github.com/FunAudioLLM/FunCineForge
HuggingFace:https://huggingface.co/FunAudioLLM/Fun-CineForge
ModelScope:https://www.modelscope.cn/models/FunAudioLLM/Fun-CineForge/
