在剛剛結(jié)束的 NVIDIA CES 2025 發(fā)布會(huì)上，全場(chǎng)唯一的輪式人形機(jī)器人托舉起了英偉達(dá)新一代顯卡產(chǎn)品 RTX5090 引發(fā)關(guān)注。而該機(jī)器人正是來(lái)自北京銀河通用機(jī)器人有限公司的Galbot。
與此同時(shí)，在英偉達(dá)位于美國(guó)拉斯維加斯 Fountainebleu 展臺(tái)上，Galbot 機(jī)器人還首次進(jìn)行了真機(jī)演示。觀眾在現(xiàn)場(chǎng)24小時(shí)無(wú)人值守的便利店場(chǎng)景中，通過(guò)iPad模擬下單，即可體驗(yàn)機(jī)器人在便利店中取貨、送貨的便捷服務(wù)。
Galbot 憑借高效、流暢的工作展示，也讓其背后的銀河通用具身大模型技術(shù)和創(chuàng)新成果走向臺(tái)前。1月9日，銀河通用對(duì)外正式發(fā)布GraspVLA，號(hào)稱全球首個(gè)端到端具身抓取基礎(chǔ)大模型（Foundation Model）。
據(jù)銀河通用介紹，GraspVLA的訓(xùn)練包含預(yù)訓(xùn)練和后訓(xùn)練兩部分，其中預(yù)訓(xùn)練完全基于合成大數(shù)據(jù)。即無(wú)需大規(guī)模真實(shí)數(shù)據(jù)、僅通過(guò)合成數(shù)據(jù)達(dá)到基礎(chǔ)模型的預(yù)訓(xùn)練過(guò)程，和進(jìn)一步通過(guò)小樣本微調(diào)使基礎(chǔ)“通才”快速成長(zhǎng)為指定場(chǎng)景“專家”的能力，解決了世界范圍內(nèi)具身通用機(jī)器人當(dāng)前發(fā)展的兩大瓶頸 數(shù)據(jù)瓶頸和泛化瓶頸。
此外，針對(duì)特別需求，GraspVLA 的后訓(xùn)練則僅需小樣本學(xué)習(xí)即可遷移基礎(chǔ)能力到特定場(chǎng)景，維持高泛化性的同時(shí)，還能形成符合產(chǎn)品需求的專業(yè)技能。
僅通過(guò)合成大數(shù)據(jù)的預(yù)訓(xùn)練
就可以實(shí)現(xiàn)充分泛化
具體而言，銀河通用提出了 VLA（視覺(jué)-語(yǔ)言-動(dòng)作模型） 達(dá)到基礎(chǔ)模型，所需滿足的七大泛化情況，并以GraspVLA進(jìn)行展示。
光照泛化。咖啡廳、便利店、生產(chǎn)車間、KTV 等不同光照條件下，光線的冷暖、強(qiáng)弱變化，包括漸變和驟變，以及在極端黑暗環(huán)境下移動(dòng)目標(biāo)物體時(shí)，模型都應(yīng)該具備準(zhǔn)確找到并正常抓取物體的能力。
文內(nèi)圖片展示包括2倍、3倍或5倍速�！般y河通用”公眾號(hào)
背景泛化。實(shí)際環(huán)境中，機(jī)器人工作場(chǎng)景不盡相同，模型需要面對(duì)不同材質(zhì)、不同紋理的桌面和操作臺(tái)，甚至動(dòng)態(tài)變化的背景畫面。
平面位置泛化。模型還需要面對(duì)將物體在桌面上隨意平移、旋轉(zhuǎn)的情況。
空間高度泛化。即使面對(duì)物體擺放高低錯(cuò)落的工作臺(tái)，模型也應(yīng)該可以從容抓取。
動(dòng)作策略泛化。模型應(yīng)實(shí)時(shí)進(jìn)行推理決策，不僅會(huì)移動(dòng)跟隨目標(biāo)，對(duì)于物體豎放、倒放等不同擺放方式，還可根據(jù)物體和夾爪的位姿自動(dòng)調(diào)整策略，選擇最安全合理的抓取方式，處理復(fù)雜情況。
動(dòng)態(tài)干擾泛化。真實(shí)工作場(chǎng)景復(fù)雜多變，機(jī)器人在執(zhí)行任務(wù)時(shí)常常會(huì)受到干擾。在工作過(guò)程中，即使往工作空間中隨意添加干擾物體，甚至發(fā)生撞擊并使目標(biāo)物體隨機(jī)移位，模型也需要可以穩(wěn)定地完成任務(wù)。
物體類別泛化。銀河通用稱，在上述測(cè)試中，所有物體、場(chǎng)景、擺放方式均未進(jìn)行任何訓(xùn)練，GraspVLA 僅通過(guò)仿真合成數(shù)據(jù)學(xué)習(xí)到的語(yǔ)義和動(dòng)作能力，就實(shí)現(xiàn)了在真實(shí)世界中零樣本泛化測(cè)試。
此外，通過(guò)把仿真合成的動(dòng)作數(shù)據(jù)和海量互聯(lián)網(wǎng)語(yǔ)義數(shù)據(jù)巧妙地聯(lián)合訓(xùn)練，對(duì)于沒(méi)有學(xué)習(xí)過(guò)動(dòng)作數(shù)據(jù)的物體類別，GraspVLA 也能把已掌握的動(dòng)作能力泛化遷移：
通過(guò)少量真實(shí)數(shù)據(jù)的后訓(xùn)練
即可滿足特定場(chǎng)景特殊需求
另一方面，經(jīng)過(guò)合成大數(shù)據(jù)的預(yù)訓(xùn)練，GraspVLA 已經(jīng)天然滿足大多數(shù)應(yīng)用需求，但是在產(chǎn)品和特定場(chǎng)景中常常有一些特殊需求，因此模型需要擁有對(duì)新需求的快速適應(yīng)及遷移能力。
銀河通用介紹，以商超場(chǎng)景為例，用戶希望模型按照順序取出同類商品。為滿足用戶需求，針對(duì)一箱怡寶礦泉水，僅需采集少量（少于一個(gè)人遙操一天）的真實(shí)數(shù)據(jù)，就能讓 GraspVLA 理解并滿足按序抓取的需求。
GraspVLA在經(jīng)過(guò)怡寶一人/天采集數(shù)據(jù)的后訓(xùn)練，就可以舉一反三，將這種少樣本習(xí)得的行為自動(dòng)遷移到其他品牌的飲品（農(nóng)夫山泉、東方樹(shù)葉），按擺放順序分別抓取了瓶身顏色不同，瓶蓋大小不一的同類商品。這展現(xiàn)了天量合成大數(shù)據(jù)預(yù)訓(xùn)練達(dá)成的基礎(chǔ)模型。
工業(yè)場(chǎng)景中，往往有大量行業(yè)專用的特殊零件。雖然模型僅需預(yù)訓(xùn)練就可以抓起任意零件，但難以直接根據(jù)語(yǔ)言指令抓起對(duì)應(yīng)物體，比如指定“抓取車窗控制器”，但模型抓起了接線座。
為了提升模型識(shí)別罕見(jiàn)零件的能力，僅需采集少量軌跡進(jìn)行快速后訓(xùn)練。GraspVLA 就可以迅速掌握諸如接線座（Wiring Base）、三角板（Triangular Panel）、黑色軟管（Black Hose）等特殊工業(yè)名詞，能從任意擺放的密集場(chǎng)景中精準(zhǔn)找出對(duì)應(yīng)零件。
在家庭場(chǎng)景中，人們對(duì)機(jī)器人的行為會(huì)有特定的偏好，例如抓取杯子時(shí)不要碰到杯子內(nèi)壁。同樣通過(guò)采集少量帶偏好的抓取軌跡，GraspVLA 即可學(xué)會(huì)按照自然語(yǔ)義抓取。
對(duì)此，銀河通用表示，這種預(yù)訓(xùn)練全合成大數(shù)據(jù)方案在人力和資金投入上成本更低，時(shí)間效率更高，可持續(xù)發(fā)展性更好，也是 VLA 模型商業(yè)化應(yīng)用中必備的能力。
本文系觀察者網(wǎng)獨(dú)家稿件，未經(jīng)授權(quán)，不得轉(zhuǎn)載。
