小米公司今日正式發布開源視覺語言動作（VLA）模型Xiaomi-Robotics-0，該模型憑借47億參數規模，在視覺語言理解與實時動作執行領域實現突破性進展。通過創新的"感知-決策-執行"閉環架構，模型在仿真測試與真實機器人任務中均展現出卓越性能，尤其在處理復雜物理交互任務時表現出色，現已開放技術文檔、源代碼及模型權重供全球開發者使用。
該模型采用Mixture-of-Transformers（MoT）混合架構，由視覺語言大腦（VLM）與動作執行小腦（Action Expert）兩大核心模塊構成。VLM模塊基于多模態大模型構建，可精準解析人類模糊指令（如"整理桌面"），并從高清視覺輸入中提取空間關系信息；Action Expert模塊則通過多層Diffusion Transformer（DiT）架構，創新性采用"動作塊"生成機制，配合流匹配技術確保動作序列的平滑性與精準度。這種設計使模型既能理解復雜語義，又能實現高頻動作控制。
針對傳統VLA模型在動作學習過程中容易喪失理解能力的問題，研發團隊提出混合訓練策略：在預訓練階段同步輸入多模態數據與動作數據，使模型在掌握操作技能的同時，保持物體檢測、視覺問答等認知能力。具體訓練流程分為三個階段：首先通過Action Proposal機制強制VLM預測動作分布，實現特征空間與動作空間的對齊；隨后凍結VLM參數，專項訓練DiT模塊學習從噪聲中恢復精準動作序列；最后通過目標任務后訓練優化整體性能。
為解決推理延遲導致的動作斷層問題，團隊開發異步推理模式，使模型推理與機器人運行解耦，通過Clean Action Prefix機制將前序動作作為輸入，確保動作軌跡的時間連續性。同時引入Λ-shape Attention Mask特殊注意力掩碼，強制模型優先處理當前視覺反饋，有效抑制歷史慣性影響，使機器人在環境突變時能快速調整動作策略。這些技術創新使模型在消費級顯卡上即可實現實時推理，動作響應延遲降低60%以上。
在性能驗證方面，Xiaomi-Robotics-0在LIBERO、CALVIN和SimplerEnv三大仿真基準測試中，包攬全部30項評測指標的第一名，刷新多項SOTA紀錄。真實場景測試中，搭載該模型的雙臂機器人在積木拆解與毛巾折疊任務中，展現出卓越的手眼協調能力，能精準處理剛性物體與柔性織物的物理特性差異。特別在多模態理解測試中，模型在具身交互相關基準上的表現顯著優于同類模型，驗證了其視覺語言理解與動作控制的協同優化效果。
目前，小米已通過GitHub與Hugging Face平臺開放模型資源，包括完整技術文檔、訓練代碼及預訓練權重。開發者可訪問https://xiaomi-robotics-0.github.io獲取詳細資料，或通過https://github.com/XiaomiRobotics/Xiaomi-Robotics-0直接參與項目開發。此次開源將推動具身智能技術在機器人、智能制造等領域的落地應用，為全球研究者提供高性能的基礎模型框架。
