英偉達(dá)和MIT的新研究，讓人形機(jī)器人與人類一起跳雙人舞
《AI未來指北》特約作者 周小燕
編輯 鄭可君
讓雙足機(jī)器人走路已經(jīng)不是難題，但是想讓它們表演“跳舞”或“打拳”，卻十分有挑戰(zhàn)。機(jī)器人的運(yùn)動(dòng)方式越接近人類，就越能夠自然融入人類環(huán)境，而無需改變?nèi)祟愒械纳詈凸ぷ骺臻g，因此，研究怎么讓機(jī)器人的運(yùn)動(dòng)能力更貼近人類，是一個(gè)長(zhǎng)期課題。
但機(jī)器人姿態(tài)動(dòng)作的改變背后，不僅涉及物理形態(tài)的變化，更涉及到控制精度、平衡保持和動(dòng)作連貫性的深層考驗(yàn)。
就像小孩學(xué)走路，站立和行走只需掌握重心轉(zhuǎn)移和平衡，而“轉(zhuǎn)身跳舞”則需全身協(xié)調(diào)，涉及手臂、腿部和核心肌肉的配合。機(jī)器人也面臨類似挑戰(zhàn)行走僅需控制腿部，而跳舞或打拳則要求全身精準(zhǔn)協(xié)同，任何細(xì)微延遲或誤差都會(huì)導(dǎo)致動(dòng)作生硬、不連貫，甚至摔倒。
在這種全身控制方面，傳統(tǒng)的機(jī)器人控制系統(tǒng)就像“遙控車”，依靠提前寫好的“動(dòng)作劇本”，逐幀執(zhí)行預(yù)設(shè)的動(dòng)作指令。這種“定格動(dòng)畫”式的控制方式在簡(jiǎn)單任務(wù)中表現(xiàn)良好。
但當(dāng)環(huán)境發(fā)生變化，或者需要執(zhí)行連續(xù)的動(dòng)態(tài)動(dòng)作時(shí)，問題就暴露了動(dòng)作僵硬、卡頓明顯。
12月18日，英偉達(dá)、MIT、加州大學(xué)聯(lián)合發(fā)布了一項(xiàng)最新研究，提出了讓機(jī)器人更能富有表現(xiàn)力的控制全身系統(tǒng)ExBody2，可以幫助機(jī)器人打破“固定劇本”帶來的運(yùn)動(dòng)局限，教會(huì)機(jī)器人如何靈活應(yīng)變，ExBody2的工作方式則更像是一位智慧的“舞蹈教練”，不再拘泥于“每一幀的動(dòng)作指令”，而是教會(huì)機(jī)器人理解“運(yùn)動(dòng)的節(jié)奏和方向”。
通過這種方式，ExBody2增強(qiáng)了雙足機(jī)器人的平衡和適應(yīng)能力，使得它們?cè)诿鎸?duì)輕推、復(fù)雜地面等場(chǎng)景時(shí)能表現(xiàn)得更加穩(wěn)定。
簡(jiǎn)單來說，ExBody2的控制邏輯更像人類的運(yùn)動(dòng)方式人類在跳舞時(shí)不會(huì)死記每一步的具體位置，而是靠節(jié)奏感和動(dòng)作的連貫性來完成整段舞蹈，它關(guān)注關(guān)鍵部位的運(yùn)動(dòng)節(jié)奏和方向，幫助機(jī)器人在動(dòng)態(tài)環(huán)境中實(shí)時(shí)調(diào)整動(dòng)作。得益于這種方法，讓機(jī)器人具備連續(xù)流暢和相對(duì)穩(wěn)定的運(yùn)動(dòng)能力，實(shí)現(xiàn)“即興表演”的效果。
在這項(xiàng)研究中，研究人員使用了宇樹G1和H1人形機(jī)器人進(jìn)行測(cè)試：
此外，ExBody2不僅能在虛擬環(huán)境中訓(xùn)練機(jī)器人，還能將這些技能遷移到現(xiàn)實(shí)世界中，在Sim2Real（從虛擬到現(xiàn)實(shí)）環(huán)節(jié)幫助機(jī)器人順利走向真實(shí)世界。
從虛擬課堂到真實(shí)表演：機(jī)器人如何“上課”？
在傳統(tǒng)的機(jī)器人動(dòng)作控制方里，讓機(jī)器人模仿人類復(fù)雜的花式動(dòng)作，就像讓大象去爬樹，不僅不切實(shí)際，還可能把它“累趴下”。就像一個(gè)人在跳舞時(shí)，每一步都要精確地盯著腳和手的每個(gè)動(dòng)作，生怕出錯(cuò)。這種“逐幀控制”的方法一旦某一幀出現(xiàn)偏差，后續(xù)的動(dòng)作就會(huì)變得不穩(wěn)定，像是“連鎖反應(yīng)”一樣讓動(dòng)作越來越僵硬。
ExBody2的做法更像是讓機(jī)器人學(xué)會(huì)“跟著節(jié)奏跳舞”，而不是死記硬背每一個(gè)動(dòng)作。它將控制邏輯拆分為關(guān)鍵點(diǎn)跟蹤（控制動(dòng)作的關(guān)鍵位置）和速度控制（調(diào)整動(dòng)作的節(jié)奏），兩者獨(dú)立運(yùn)作。
相比傳統(tǒng)的“全局控制”，ExBody2采用了局部關(guān)鍵點(diǎn)映射，就像在機(jī)器人身上安裝了一個(gè)“局部導(dǎo)航系統(tǒng)”，每個(gè)動(dòng)作只需要關(guān)心自己負(fù)責(zé)的部分，而不必關(guān)注全局。這樣一來，即使某個(gè)動(dòng)作有輕微偏差，也不會(huì)“牽一發(fā)而動(dòng)全身”，機(jī)器人依然能流暢完成動(dòng)作。
除此之外，在動(dòng)作設(shè)置上，ExBody2的設(shè)計(jì)者們也用了新思路：與其讓機(jī)器人挑戰(zhàn)不可能，不如給它挑選一些真正適合的動(dòng)作。從海量的動(dòng)作數(shù)據(jù)集中，他們像挑選課本一樣，把這些動(dòng)作分門別類，做了“分級(jí)處理”。
（來源：論文《ExBody2: Advanced Expressive Humanoid Whole-Body Control》，不同數(shù)據(jù)集下機(jī)器人關(guān)鍵點(diǎn)跟蹤、關(guān)節(jié)精度和速度控制誤差評(píng)估；D、D、D、DCMU，是四種不同的數(shù)據(jù)集，代表從簡(jiǎn)單到復(fù)雜的動(dòng)作難度。）
他們將數(shù)據(jù)集分成了四個(gè)“動(dòng)作難度包”：
●D50：入門版，就像小學(xué)一年級(jí)的課本，內(nèi)容簡(jiǎn)單易學(xué)，包括站立、行走等基本動(dòng)作；
●D250：進(jìn)階版，開始加入跑步和簡(jiǎn)單舞蹈動(dòng)作，難度適中，剛好適合“穩(wěn)步進(jìn)步”；
●D500：高級(jí)版，包含了更復(fù)雜的動(dòng)作，比如單腳跳躍和旋轉(zhuǎn)，稍顯棘手，但也更具挑戰(zhàn)性；
●DCMU：完整版，囊括了所有動(dòng)作，從普通的步態(tài)到高難度的翻滾和地板動(dòng)作，幾乎“無所不包”，但也帶來了大量噪聲和不可完成的任務(wù)。
這種分級(jí)篩選的過程，就像為一個(gè)孩子挑選適齡的書籍一樣。大人不會(huì)指望一個(gè)剛剛學(xué)會(huì)認(rèn)字的孩子去讀莎士比亞，機(jī)器人也一樣，學(xué)習(xí)過程需要逐步推進(jìn)。如果一開始就讓它面對(duì)“高難度關(guān)卡”，它可能會(huì)在錯(cuò)誤的嘗試中迷失方向，甚至徹底放棄。
有趣的是，實(shí)驗(yàn)發(fā)現(xiàn)，D250數(shù)據(jù)包表現(xiàn)最佳。它的難度設(shè)計(jì)恰到好處，既包含了多樣化的動(dòng)作，又沒有加入那些讓機(jī)器人望而卻步的“極限挑戰(zhàn)”。與之相比：
●D50數(shù)據(jù)包雖簡(jiǎn)單高效，但內(nèi)容過于基礎(chǔ)，導(dǎo)致機(jī)器人難以應(yīng)對(duì)稍復(fù)雜的任務(wù)；
●D500和DCMU數(shù)據(jù)包則因動(dòng)作過于復(fù)雜，增加了無效訓(xùn)練的噪聲，拖累了整體效果。
D250就像一本結(jié)構(gòu)合理的練習(xí)冊(cè)，既讓機(jī)器人有挑戰(zhàn)，又不會(huì)讓它壓力過大。通過這樣的篩選，ExBody2為機(jī)器人打造了一條學(xué)習(xí)之路，讓它能夠穩(wěn)扎穩(wěn)打地掌握動(dòng)作技能，最終在真實(shí)世界中自信地“展現(xiàn)舞姿”。
有了優(yōu)質(zhì)的數(shù)據(jù)集，ExBody2的教學(xué)進(jìn)入了第二階段，即“老師-學(xué)生”架構(gòu)的核心過程，這里面包含在虛擬環(huán)境中的“老師機(jī)器人”和真實(shí)環(huán)境里的“學(xué)生機(jī)器人”兩種角色。
在這個(gè)架構(gòu)中，“老師機(jī)器人”是主導(dǎo)者，它生活在一個(gè)虛擬環(huán)境里，擁有豐富的“特權(quán)信息”，比如關(guān)節(jié)的位置、速度和身體的物理反饋。就像一個(gè)經(jīng)驗(yàn)豐富的舞蹈教練，老師機(jī)器人通過強(qiáng)化學(xué)習(xí)算法（PPO）不斷優(yōu)化自己的動(dòng)作，從單腳跳到連續(xù)旋轉(zhuǎn)，每個(gè)細(xì)節(jié)都打磨到位。
而“學(xué)生機(jī)器人”的學(xué)習(xí)條件就沒那么優(yōu)越了，它進(jìn)入真實(shí)世界時(shí)，面臨的環(huán)境復(fù)雜且變化多端，沒有老師那樣的“特權(quán)信息”，只能依靠歷史數(shù)據(jù)和觀察到的反饋。這就像一個(gè)學(xué)生只能通過看錄像模仿舞蹈，而無法直接從教練那里獲得詳細(xì)指導(dǎo)。
為了彌補(bǔ)信息的缺失，ExBody2采用了一種叫“DAgger”的算法，它將老師的復(fù)雜指令簡(jiǎn)化成學(xué)生能理解的觀察數(shù)據(jù)。這個(gè)過程類似于把一部高清視頻壓縮成清晰的GIF動(dòng)畫，雖然少了一些細(xì)節(jié)，但核心動(dòng)作得以保留。
真實(shí)環(huán)境大考驗(yàn)：ExBody2如何從“課堂”走向“實(shí)戰(zhàn)”
ExBody2是不是一套真正“聰明”的機(jī)器人學(xué)習(xí)系統(tǒng)，最終的檢驗(yàn)要看它在真實(shí)環(huán)境中的表現(xiàn)。就像一個(gè)學(xué)生考試時(shí)，課堂上表現(xiàn)得再好，如果在考場(chǎng)上發(fā)揮失常，也不能算作優(yōu)秀的學(xué)習(xí)者。因此，ExBody2不僅在“課堂”中訓(xùn)練機(jī)器人，還通過一系列的實(shí)際測(cè)試，檢驗(yàn)機(jī)器人在不確定環(huán)境中的表現(xiàn)，來驗(yàn)證證明這套系統(tǒng)的“聰明之處”。
在這場(chǎng)考驗(yàn)中，研究團(tuán)隊(duì)設(shè)計(jì)了一場(chǎng)機(jī)器人間的“現(xiàn)場(chǎng)大比拼”。他們將機(jī)器人放置在各種動(dòng)態(tài)環(huán)境中，比如不平的地面、動(dòng)態(tài)的障礙物、突然的輕推等，模擬出真實(shí)世界中常見的突發(fā)情況。面對(duì)這些“考驗(yàn)”，機(jī)器人需要做出迅速的反應(yīng)，調(diào)整自己的站姿、步伐和動(dòng)作節(jié)奏，保持穩(wěn)定并完成任務(wù)。
（人形機(jī)器人在現(xiàn)實(shí)世界中執(zhí)行各種富有表現(xiàn)力的全身動(dòng)作）
最有趣的測(cè)試是“推擠測(cè)試”。在實(shí)驗(yàn)中，研究人員故意輕輕推一下行走中的機(jī)器人，模擬在家庭環(huán)境中孩子不小心撞到機(jī)器人的場(chǎng)景。結(jié)果顯示，ExBody2的機(jī)器人反應(yīng)相當(dāng)靈敏，能迅速調(diào)整重心，穩(wěn)穩(wěn)站住腳跟。相比之下，采用傳統(tǒng)控制方法的機(jī)器人要么停滯不前，要么直接摔倒，顯得“手足無措”。這種穩(wěn)定性得益于系統(tǒng)的高效學(xué)習(xí)方法，使得機(jī)器人不僅能在理想環(huán)境中行動(dòng)自如，還能在不確定的動(dòng)態(tài)環(huán)境中靈活應(yīng)變。
除了“推擠測(cè)試”，ExBody2的機(jī)器人還通過了“復(fù)雜地形行走”考驗(yàn)。實(shí)驗(yàn)室模擬了崎嶇的地面環(huán)境，比如帶有小臺(tái)階和傾斜的路面。普通機(jī)器人在這種環(huán)境中經(jīng)常“腳步不穩(wěn)”，容易滑倒。而ExBody2的機(jī)器人就像一個(gè)穿著防滑鞋的登山者，步伐穩(wěn)健，能夠調(diào)整步長(zhǎng)和姿態(tài)，從容跨越臺(tái)階和不規(guī)則的地面。這種表現(xiàn)背后的關(guān)鍵在于，機(jī)器人能夠“記住”之前的動(dòng)作調(diào)整，并在遇到類似的環(huán)境時(shí)迅速做出“類似的反應(yīng)”。這種記憶能力使它在不斷變化的環(huán)境中也能“步步為營(yíng)”，不像傳統(tǒng)的機(jī)器人只會(huì)在固定的環(huán)境中反復(fù)做一成不變的動(dòng)作。
這些測(cè)試不僅是在實(shí)驗(yàn)室中做的“花架子”，也具備一定的實(shí)際意義。比如，當(dāng)家中的清潔機(jī)器人在打掃地面時(shí)，地上突然出現(xiàn)了一個(gè)小玩具，普通的機(jī)器人可能會(huì)直接被卡住，或嘗試多次繞行，但ExBody2的機(jī)器人卻能迅速“明白”前方的變化，做出合理的繞行決策。
此外，在工業(yè)流水線中，這種“靈活反應(yīng)”同樣至關(guān)重要。傳統(tǒng)的工業(yè)機(jī)器人只能在指定位置“拿放物件”，但如果流水線上突然出現(xiàn)了一塊偏移的物料，ExBody2的機(jī)器人會(huì)迅速調(diào)整位置，主動(dòng)適應(yīng)物料的位置變化，就像流水線上的“超級(jí)工人”，不再是一個(gè)“死板的機(jī)械手”。
為了驗(yàn)證ExBody2在不同場(chǎng)景中的表現(xiàn)，研究團(tuán)隊(duì)還量化了幾項(xiàng)關(guān)鍵的性能指標(biāo)，比如在關(guān)節(jié)位置精度（下表中的E) 上，ExBody2的機(jī)器人誤差降低，而普通的機(jī)器人誤差則要高出數(shù)倍，這一差距直接反映在動(dòng)作的精準(zhǔn)度上。
在其它指標(biāo)比如關(guān)鍵點(diǎn)位置誤差（E）、速度誤差（E）方面，ExBody2均有優(yōu)勢(shì)。
（ExBody2與其他方法在宇樹G1和H1上的性能對(duì)比結(jié)果）
總結(jié)來看，ExBody2的成功不僅體現(xiàn)在課堂中的“標(biāo)準(zhǔn)化訓(xùn)練”，更體現(xiàn)在真實(shí)環(huán)境中的“靈活應(yīng)變”。通過應(yīng)對(duì)“推擠”、“復(fù)雜地形”和“動(dòng)態(tài)物料變化”等考驗(yàn)，ExBody2的機(jī)器人展現(xiàn)了比傳統(tǒng)機(jī)器人更高的穩(wěn)定性和靈活性。配合關(guān)鍵指標(biāo)的量化表現(xiàn)，證明了這套系統(tǒng)的優(yōu)越性。無論是在家中還是在工廠，ExBody2的機(jī)器人都不再是“機(jī)械的螺絲工人”，而是能夠“見招拆招”的“智能工作伙伴”，不論是家用服務(wù)場(chǎng)景，還是工業(yè)生產(chǎn)場(chǎng)景，ExBody2給人形機(jī)器人帶來新的可能性。
相關(guān)資料：
Exbody2:Advanced Expressive Humanoid Whole-Body Control
