機器之心報道編輯：佳琪當 Scaling Law 在觸頂邊界徘徊之時，強化學習為構(gòu)建更強大的大模型開辟出了一條新范式。在機器人領域，強化學習也帶來了意外之喜。這只上過好幾次全網(wǎng)熱搜的機器狗 Spot，想必大家都不陌生。
在原來的文章中，無論 Spot 做了什么高難度動作，哪怕是邊噴火邊跳踢踏舞，后臺總有留言，「為什么波士頓動力不把機器人的腳做成輪式的？」這是因為 Spot 總是優(yōu)雅地、小心翼翼地踏著小碎步，沒辦法大步行走，相較于腳踩風火輪的輪式機器狗，不僅速度跟不上，也更容易受到地形限制。士別三日，當刮目相看。幾個月不見，Spot 的「小步舞曲」已經(jīng)成為過往，看看現(xiàn)在 Spot 大步流星的樣子，迅速敏捷，你和它賽跑都追不上了：
Spot 出廠時最快速度只有 1.6 米 / 秒。幾周前與波士頓動力官宣合作的 RAI 研究所帶來了最新突破，Spot 的跑步速度提升了近 3 倍，達到了時速 18.7 千米。一只小型犬的平均奔跑速度大概是 20 千米 / 時，這兩個數(shù)字已經(jīng)很接近了。在傳統(tǒng)觀念中，大家可能認為機器人的速度主要受限于馬達性能。但當研究團隊用強化學習對機器狗的電機和動力裝置建模之后，發(fā)現(xiàn)了一個出人意料的事實。
在模擬環(huán)境中，可以并行訓練幾臺 Spot 機器人（甚至幾百臺），以實現(xiàn)強大的現(xiàn)實世界性能�！刚嬲拗� Spot 速度的，竟然是電池供電能力！」RAI 研究所的機器人專家 Farbod Farshidian 說道，「這個發(fā)現(xiàn)讓我們都很驚訝，因為之前都以為機器人的運動速度提不上去是在馬達的功率或扭矩之類的問題�！筍pot 的電力系統(tǒng)相當復雜，仍有進一步優(yōu)化的空間。Farshidian 指出，阻止他們將 Spot 的最高速度推過 5.2 米 / 秒的唯一原因是他們無法訪問電池電壓，無法將這些實際數(shù)據(jù)納入他們的 RL 模型。這意味著，如果能設計出更強勁的電池，Spot 的還能跑得更快。有趣的是，當 Spot 以這個速度奔跑時，它的動作看起來和真實的狗完全不同。Farshidian 解釋說：「這個奔跑姿態(tài)確實不像生物，但這很正常 Spot 的驅(qū)動器和關節(jié)結(jié)構(gòu)都和真狗不一樣，為什么要用生物的方式來跑呢？」Spot 的執(zhí)行器不同于肌肉，運動學特性也不同，適合狗快速奔跑的步態(tài)不一定適合機器狗。Spot 提速的關鍵在于，研究人員在小跑步態(tài)的基礎上，增加了一個四只腳同時離地的飛行階段。小步和飛行銜接起來，從技術(shù)上就變成了奔跑。
四腳離地的「飛行」階段Farshidian 說：「這個飛行階段是必要的，因為機器人需要這段時間快速向前移動腳步來維持速度�！寡芯咳藛T給機器人了「自主發(fā)現(xiàn)的空間」，因為這時，編程程序所要求的不是「奔跑」，而是去找到最高效的快速移動方式。傳統(tǒng)的機器人控制使用模型預測控制（MPC）方法，就像給機器人一本詳細的「動作指南」。這種方法很可靠，但也很保守。這由于要求計算機要在事件發(fā)生后立即響應，一旦沒有在短時間內(nèi)完成復雜的運動規(guī)劃和控制，反映到機器人這里就是動作遲緩或出錯了。而強化學習則完全不同。它就像讓機器人在「虛擬道場」中不斷練習，找到最優(yōu)的動作方案。一旦學會了，這些技能就能直接應用到現(xiàn)實中。強化學習不僅能最大化機器人的性能，還能使其表現(xiàn)更加可靠。RAI 研究所一直在實驗一款全新的機器人 一輛名為 UMV 的自行車。它采用了與 Spot 高速奔跑時基本相同的強化學習 RL 流程，用于平衡和駕駛訓練，并成功學會了跑酷動作。
更值得注意的是，UMV 沒有配備任何平衡陀螺儀，而是完全依靠 AI 來保持平衡的�！笍娀瘜W習的關鍵在于發(fā)現(xiàn)新的行為，并在那些難以建模的復雜條件下使其變得穩(wěn)健和可靠。這正是強化學習真正大放異彩的地方�！筊AI 研究所蘇黎世辦公室主任 Marco Hutter 表示，「一方面，強化學習幫助 UMV 在各種情況下保持穩(wěn)定的駕駛能力；另一方面，它讓我們理解機器人的動態(tài)，更好地實現(xiàn)一些新動作，比如跳上比它本身還高的桌子。」雖然 UMV 已經(jīng)能很熟練地做各種特技動作了，但對于它來說，完成一些看似簡單的動作甚至更難，比如倒車。
不太會倒車「UMV 倒車時很不穩(wěn)定」，Hutter 解釋說，「使用經(jīng)典的模型預測控制（MPC）控制器很難做到這個動作，尤其是地形崎嶇或有干擾的情況下。」目前，RAI 研究所還在努力讓 UMV 走出實驗室，在復雜地形上來一場真正的自行車跑酷表演。
在「虛擬道場」中訓練 UMV 如何下樓梯RAI 研究所表示，重點不在于這個某個特定的硬件能做什么，而在于任何機器人通過 RL 和其他基于學習的方法能做什么。機器人的硬件在理論上可以實現(xiàn)比用經(jīng)典控制算法更多的功能。關鍵的問題是如何理解這些硬件系統(tǒng)中的隱藏限制，不斷突破控制的邊界。
