在近期一場備受矚目的晚會上,銀河通用機器人“小蓋”憑借一系列令人驚嘆的操作成為全場焦點。從精細地盤核桃、撿玻璃碎片、貨架取物,到生活化的疊衣服、串烤腸,它都能輕松完成,動作靈巧且自然擬人,展現(xiàn)出與傳統(tǒng)機器人截然不同的能力。
與傳統(tǒng)機器人依賴預編程表演不同,“小蓋”此次展示的干活技能實現(xiàn)了端到端自主感知、自主決策、自主執(zhí)行。這一突破源于銀河通用獨特的技術(shù)路徑,公司創(chuàng)新應(yīng)用了融合超大規(guī)模虛實數(shù)據(jù)端到端訓練、大小腦協(xié)同的具身大模型新范式,打造出全球首個集成“大腦 - 小腦 - 神經(jīng)控制”于一身的全身全手端到端大模型——“銀河星腦 AstraBrain”。
以盤核桃這一絕活為例,核桃表面不規(guī)則、重量分布不均,手掌握持時每根手指受力點時刻變化,細微力矩偏差就會導致核桃滑落。為攻克這一難題,AstraBrain 中的靈巧手神經(jīng)動力學小腦模型發(fā)揮了關(guān)鍵作用。機器人先在虛擬世界中瘋狂練習,系統(tǒng)提供各種虛擬核桃讓其試錯,練出適應(yīng)性強的“基礎(chǔ)盤法”;再到現(xiàn)實中積累“物理手感”,系統(tǒng)利用這種手感微調(diào)動作指令,彌補虛擬與現(xiàn)實的誤差,最終讓機器手能熟練盤核桃。
撿玻璃碎片對機器人而言是感知與控制的雙重極限挑戰(zhàn)。透明玻璃碎片在淺色桌面上,邊緣、厚度、反光特征易與環(huán)境融合,傳統(tǒng)視覺算法難以準確識別其三維輪廓和位姿、判斷抓取點。AstraBrain 通過在仿真環(huán)境生成海量透明物體數(shù)據(jù),結(jié)合多模態(tài)感知融合技術(shù),讓“小蓋”能從微弱反光邊緣和陰影變化中“看見”玻璃,精準規(guī)劃抓取策略。同時,模型賦予的力覺感知使其能感知玻璃硬度和滑動趨勢,以恰到好處的力度捏起碎片。
貨架取貨看似簡單,實則暗藏玄機。水瓶緊密排列在貨架層板間,周圍商品間距小,稍有不慎就會碰倒鄰品或抓取失敗。這要求機器人同時處理精準判斷位置、擬人伸手拿取且不碰倒周圍商品、靈巧操作取出水瓶三重難題。AstraBrain 的強化學習框架讓“小蓋”在虛擬世界經(jīng)歷億萬次“取貨試錯”,自我博弈后“悟”出最優(yōu)路徑,先扣住瓶蓋處,微微傾斜避讓鄰品,再調(diào)整角度抽出水瓶,整個過程是實時決策的結(jié)果。
疊衣服是機器人操作領(lǐng)域的難題之一,衣服柔性無固定形狀,每次拿起狀態(tài)不同。“小蓋”面對隨機擺放的 T 恤,沒有預設(shè)軌跡和固定抓取點,需實時判斷布料褶皺狀態(tài)、預測折疊形態(tài)、規(guī)劃動作序列。AstraBrain 在仿真環(huán)境生成數(shù)以萬計的柔性物體變形數(shù)據(jù),讓“小蓋”學會從當前狀態(tài)推演出最優(yōu)操作路徑,實現(xiàn)實時決策。
串烤腸則是對雙手協(xié)同與工具操作能力的極限挑戰(zhàn)。“小蓋”需一手操控烤鉗烤制,另一手抓取簽子,雙手協(xié)作完成串烤腸并遞給明星。AstraBrain 的端到端大模型架構(gòu)讓機器人“大腦”同時處理雙手獨立指令流并實時調(diào)整,通過對海量仿真數(shù)據(jù)學習,“小蓋”理解了工具本質(zhì),能快速上手新工具。
“小蓋”干活時舉手投足更像真人,這得益于“銀河星腦 AstraBrain”對人類動作數(shù)據(jù)的大規(guī)模仿真生成機制。相比采集機器人生硬動作,人類生活動作海量且易獲取,將其結(jié)合仿真生成,能充分利用人類動作先驗,是通往機器人大模型技術(shù)突破的可能方向。
AstraBrain 的核心哲學是讓機器人掌握通用能力,而非對特定動作機械設(shè)定。以貨架取物為例,“小蓋”先通過少量人類示范理解任務(wù)核心意圖;再進入高精度物理真實的仿真環(huán)境,系統(tǒng)自動生成數(shù)萬種不同場景,機器人通過模仿學習掌握操作精髓;接著引入強化學習機制,讓末端執(zhí)行器在虛擬世界自我博弈,試錯迭代出最優(yōu)路徑;最后在真實環(huán)境進行少量實際操作,收集真機數(shù)據(jù)微調(diào)。這一過程打通了虛擬與現(xiàn)實的隔閡。
支撐上述過程的是銀河通用技術(shù)體系中虛實融合的數(shù)據(jù)基建——“銀河星坊”(AstraSynth)數(shù)據(jù)金字塔。基石層是人類數(shù)據(jù),為機器人構(gòu)建通用任務(wù)認知;中間層是仿真合成數(shù)據(jù),通過海量虛擬數(shù)據(jù)讓機器人遍歷各種可能性;塔尖層是真機實戰(zhàn)數(shù)據(jù),用少量高質(zhì)量真實世界操作數(shù)據(jù)完成實戰(zhàn)場景打磨。用虛擬仿真解決數(shù)據(jù)不足問題,用強化學習解決動作不準瓶頸,讓“小蓋”掌握快速學習新技能的通用能力。











