3 月 17 日消息,今日,理想汽車基座模型負(fù)責(zé)人詹錕出席 NVIDIA GTC 2026,發(fā)表主題演講《MindVLA-o1:開啟全能范式 —— 下一代統(tǒng)一視覺-語言-動作自動駕駛大模型探索》,發(fā)布了理想汽車的下一代自動駕駛基礎(chǔ)模型 MindVLA-o1。
據(jù)介紹,MindVLA-o1 通過五大技術(shù)創(chuàng)新 ——3D 空間理解、多模態(tài)思考、統(tǒng)一行為生成、閉環(huán)強化學(xué)習(xí)和軟硬件協(xié)同設(shè)計,構(gòu)建面向物理世界智能的自動駕駛基礎(chǔ)模型。
據(jù)了解,該模型的核心突破可以概括為以下五個維度:
看得更準(zhǔn)(3D 空間理解):以前的系統(tǒng)更多是在處理平面圖像,而 MindVLA-o1 結(jié)合了攝像頭和激光雷達(dá),通過 3D 編碼器讓車能夠像人類一樣感知物體的深淺、距離和運動狀態(tài),真正理解三維物理空間。
想得更深(多模態(tài)思考):它是首個能“腦補”未來的模型。通過隱世界模型,它不僅看現(xiàn)在,還能在隱形空間里提前“預(yù)演”未來幾秒可能發(fā)生的場景,從而做出更有預(yù)見性的決策。
行得更穩(wěn)(統(tǒng)一行為生成):系統(tǒng)采用 VLA-MoE 架構(gòu),專門配備了“動作專家”。它能同時生成所有行駛軌跡點,并通過類似“去噪”的優(yōu)化過程,確保車開得既絲滑又符合物理規(guī)律。
進化更快(閉環(huán)強化學(xué)習(xí)):理想構(gòu)建了一個強大的世界模擬器。模型不僅在馬路上學(xué),還能在虛擬世界里進行大規(guī)模、高效率的自我練習(xí)和策略優(yōu)化,大大降低了訓(xùn)練成本。
部署更高效(軟硬件協(xié)同):通過研究模型精度與硬件延遲的平衡,理想將架構(gòu)設(shè)計的時間從幾個月縮短到幾天,讓復(fù)雜的大模型能更流暢地跑在車端芯片上。











