人形機器人要走向真實生活,如何更好地訓練它們面對各種突發(fā)、意外、長尾場景?
眼下,大家真不用在真實場景的數(shù)據(jù)里窮盡各種可能了。
9月17日,挪威機器人公司1X發(fā)布一款針對機器人的“世界模型”,結(jié)合了Sora視頻生成和端到端自動駕駛(E2EAD)世界模型(world models for autonomous vehicles)技術(shù),可生成高保真的視頻,使得機器人能夠模擬多種場景下的動作和交互,從而在模擬空間中進行規(guī)劃、操作、訓練和評估,提高其在現(xiàn)實世界中執(zhí)行任務(wù)的效率和準確性。
1X公司成立于2014年,主要研發(fā)雙足機器人和商用輪式人形機器人,于2023年獲得Open AI的投資,并與之共享數(shù)據(jù)和技術(shù)。
如何訓練及評估機器人與真實世界的泛化交互能力,是機器人行業(yè)亟待解決的關(guān)鍵問題。
由于真實世界的環(huán)境存在不穩(wěn)定性,通常很難重現(xiàn)。為控制環(huán)境因素的變量,傳統(tǒng)的訓練方法往往采用基于物理的模擬仿真器(如Bullet、Mujoco、Isaac Sim、Drake),使得實驗和訓練可重置及重現(xiàn),從而能夠比較評估不同的控制算法。
然而,這些模擬器大多是為剛體動力學而設(shè)計,所模擬的環(huán)境通常在視覺和實際用例多樣性方面較為有限,導致難以將小規(guī)模評估結(jié)果直接推廣至現(xiàn)實世界。
而在1X之前,產(chǎn)業(yè)界也有不少拓展機器人訓練場景和任務(wù)多樣性的嘗試。
2024年7月15日,上海AI實驗室推出首個專為各種機器人設(shè)計的模擬交互3D社會GRUtopia(桃源),包含了覆蓋10萬個精細注釋的交互式場景數(shù)據(jù)集GRScenes、由大型語言模型驅(qū)動的NPC(非玩家角色)系統(tǒng)GRResidents,以及評估機器人能力的基準測試GRBench。
GRUtopia采用從仿真到真實(Sim2Real)的范式,旨在降低現(xiàn)實世界數(shù)據(jù)收集的難度和成本,解決具身智能領(lǐng)域的數(shù)據(jù)稀缺問題。該項目已全部開源。(開源地址:https://github.com/OpenRobotLab/GRUtopia)
此次1X公司發(fā)布的“世界模型”,在構(gòu)建和評估機器人能力時,采用了一種全新的方法直接從機器人原始傳感器數(shù)據(jù)中學習。
1X公司收集了數(shù)千小時機器人在家庭和辦公環(huán)境中交互的真實數(shù)據(jù),訓練該模型學會了模擬現(xiàn)實環(huán)境,并根據(jù)不同動作指令模擬產(chǎn)生不同結(jié)果,預測機器人與環(huán)境的交互,如規(guī)劃路徑、抓取物體、折疊衣物,甚至自動避免與人碰撞,能夠在數(shù)百萬個場景中評估機器人策略的表現(xiàn)。
圖1 模擬左門軌跡 圖片來源:1X官網(wǎng)
圖2 模擬右門軌跡 圖片來源:1X官網(wǎng)
圖3 彈奏空氣吉他 圖片來源:1X官網(wǎng)
盡管在物體一致性、物理規(guī)律和自我認知方面仍存在一些挑戰(zhàn),1X此次發(fā)布的“世界模型”為機器人學習和認知研究提供了全新的視角。其創(chuàng)始人兼CEO Bernt Bornich認為,該模型“首次證明了人形機器人數(shù)據(jù)正顯著地推進“Scaling Law”(規(guī)模定律,即系統(tǒng)性能會隨著規(guī)模的變化而呈現(xiàn)規(guī)律性變化)。
或許很快,機器人將迎來自身的sacling law。更令人期待的是,機器人何時能夠從“世界模型”中走出,真正融入現(xiàn)實世界?
生物醫(yī)藥01 Neuralink盲視設(shè)備獲“突破性設(shè)備認定”
9月17日,腦機接口公司Neuralink研發(fā)的“Blindsight(盲視)”植入物獲得美國FDA的突破性設(shè)備(Breakthrough Device)認證,有望加速某些在研設(shè)備的開發(fā)和審查。Blindsight通過微型電極直接刺激大腦的視覺皮層(大腦中處理視覺信息的關(guān)鍵區(qū)域),從而繞過眼睛和視神經(jīng)、模擬視覺感知。這是Neuralink的第二個技術(shù)產(chǎn)品,此前公布的首款產(chǎn)品“Telepathy(心靈感應)”已公開兩例腦機接口植入試驗的進展情況。
點評:Blindsight雖然還在早期階段,但有望為無法通過傳統(tǒng)方法恢復視力的人群提供新的治療選擇,同時為研究人員提供了一個直接觀察大腦如何處理視覺信息的窗口。目前也有公司在研發(fā)類似設(shè)備,如總部在美國的生物技術(shù)公司Cortigent的植入設(shè)備Orion自2017年以來已招募了六名受試者。(羅仙仙)
02 羅氏抗病毒藥物可減少家庭成員間的流感傳播
9月18日,羅氏(Roche)旗下基因泰克(Genentech)宣布,抗病毒藥物Xofluza(瑪巴洛沙韋,baloxavir marboxil)用于減少家庭成員間流感傳播的III期CENTERSTONE研究取得了積極結(jié)果。感染流感的人群單次口服Xofluza,可顯著降低同住家庭成員感染流感病毒的可能性,達到了主要終點。
Xofluza是一種“first-in-class”單劑口服藥物,通過抑制帽依賴性內(nèi)切酶蛋白來阻斷病毒復制,可減少傳染期和疾病的持續(xù)時間,由鹽野義(Shionogi)與羅氏合作開發(fā)。2018年2月首次在日本獲批用于治療A型和B型流感病毒感染,目前已在全球超過80個國家和地區(qū)獲批用于治療無并發(fā)癥的A型和B型流感。
點評:流感是最常見且最嚴重的傳染病之一,有明顯的家庭聚集性,家庭隔離是降低傳染風險的重要措施。在上述研究中,Xofluza減少了家庭接觸者之間的流感傳播。人類對抗流感病毒的“武器庫”越來越全面,從預防流感疫苗、治療流感癥狀到接觸后預防感染,再到減少病毒傳播。(羅仙仙)
03銅死亡納米膠囊,可增強癌癥放療效果
9月19日,中國科學院高能物理研究所谷戰(zhàn)軍研究員、北京協(xié)和醫(yī)院晏俊芳醫(yī)生等在Nature 的子刊NatureNanotechnology發(fā)表論文A cuproptosis nanocapsule for cancer radiotherapy,研究團隊開發(fā)了一種銅死亡(Cuprotosis)納米膠囊,作為輻射增敏策略,克服了腫瘤的獲得性輻射抗性,并激活了強大的遠隔效應(Abscopal Effect),優(yōu)化放療的局部抗腫瘤效果,同時激活全身抗腫瘤免疫。
點評:放療后持續(xù)存在的殘留腫瘤通常會產(chǎn)生獲得性放射抗性,增加復發(fā)和轉(zhuǎn)移的風險,同時給再次放療帶來障礙。銅死亡(Cuprotosis)是一種新發(fā)現(xiàn)的銅依賴的細胞程序性死亡方式,納米膠囊這一基于銅死亡機制而探索的新的輻射增敏策略,有望解決已經(jīng)獲得輻射抗性的腫瘤所面臨的挑戰(zhàn)。(李一躒)
人工智能04 AI驅(qū)動的虛擬實驗室工具CREME
9月16日,美國冷泉港實驗室的彼得-庫(Peter Koo)團隊在《自然》(Nature)發(fā)表論文Interpreting cis-regulatory interactions from large-scale deep neural networks,介紹其開發(fā)的AI驅(qū)動虛擬實驗室工具CREME,科學家只需點擊按鈕即可運行數(shù)千個虛擬實驗,并能提供從順式調(diào)控元件到精細映射功能序列元件的跨基因組組織的多尺度解讀,為基因組的調(diào)控結(jié)構(gòu)提供高分辨率的見解。
CREME以 CRISPR 干擾(CRISPRi)為模型,CRISPRi 是一種基于CRISPR的基因擾亂技術(shù),允許科學家降低細胞中特定基因的活性。CREME可以讓科學家在虛擬基因組中做出類似的改變,并預測這些改變對基因活性的影響,相當于AI版的CRISPRi。
點評:CREME提供了一個強大的工具包,可將基因組DNN的預測轉(zhuǎn)化為基因調(diào)控機理的見解,可以幫助科學家更好地識別基因組的關(guān)鍵調(diào)控區(qū)域,并精確調(diào)控基因表達水平,在藥物發(fā)現(xiàn)方面具備巨大潛力。CREME也許很快就能讓遺傳學家走上發(fā)現(xiàn)新治療靶點的道路,甚至無法進入真正實驗室的科學家也有能力實現(xiàn)這些突破。(李一躒)
05 全球首個多模態(tài)地理科學大模型
9月17日,中國科學院地理科學與資源研究所發(fā)布全球首個多模態(tài)地理科學大模型“坤元”,通過海量數(shù)據(jù)訓練,坤元具備強大的語言理解、信息生成和處理能力,具備“懂地理”、“精配圖”、“知人心”、“智生圖”等特點,實現(xiàn)了地理專業(yè)問題解答、文獻智能分析、數(shù)據(jù)資源查詢、數(shù)據(jù)挖掘分析和專題地圖繪制等功能,已在Nature子刊、The innovation、Earth’s Future等成功支撐發(fā)表高水平學術(shù)論文十余篇。
點評:此模型不僅有助于拓寬普通大眾的地理視野,解放地理從業(yè)者的雙手,還賦能地理科學研究,加速了重要地理科學的發(fā)現(xiàn),推動了地理科學和人工智能的融合。(譙雅馨)
06 Runway與獅門影業(yè)合作影視
9月18日,AI視頻生成平臺Runway宣布與美國電影制片和發(fā)行公司獅門影業(yè)(Lionsgate)達成合作,將使用獅門影業(yè)超過兩萬部的影片資源庫來創(chuàng)建和訓練一個新的AI模型,以幫助獅門影業(yè)的電影制作人、導演和其他創(chuàng)意人才,提升工作效率。
點評:這是生成式AI公司與好萊塢主要制片廠的首次公開合作,標志著AI技術(shù)在電影產(chǎn)業(yè)的創(chuàng)新應用邁出了重要一步,未來將誕生更多借助AI技術(shù)的創(chuàng)意作品。(譙雅馨)
科學前沿07 中國將向全球開放12個核科研設(shè)施和實驗平臺
9月16日,在維也納召開的國際原子能機構(gòu)第68屆大會期間,中國國家原子能機構(gòu)副主任劉敬表示,中國決定面向世界各國開放包括中國先進研究堆在內(nèi)的12個核科研設(shè)施和實驗平臺,涉及核基礎(chǔ)科研、材料與部件輻照測試、同位素生產(chǎn)制備、反應堆熱工水力、核環(huán)境模擬及核設(shè)備測試、放射性廢物處理處置、核聚變實驗研究等諸多領(lǐng)域。
中國目前設(shè)有8個國際原子能機構(gòu)協(xié)作中心,與法國、俄羅斯、歐盟等建立了良好的核科技研發(fā)合作機制,并與泰國、印尼、巴基斯坦、阿爾及利亞、加納、尼日利亞等國合作,在當?shù)亟ㄔO(shè)了一系列核科研設(shè)施和聯(lián)合實驗室。
點評:各國共享核科技研發(fā)、試驗測試、工程驗證等優(yōu)勢技術(shù)資源平臺,有助于攜手推動核能發(fā)展更加普惠包容、核能合作更加開放有序,為應對全球氣候變化、加快能源綠色低碳轉(zhuǎn)型貢獻力量。(曹妍)
08 首次觀測到夸克間的量子糾纏
9月18日,歐洲核子研究中心(CERN)的ATLAS協(xié)作組在《自然》發(fā)表論文Observation of quantum entanglement with top quarks at the ATLAS detector,研究人員利用CERN的大型強子對撞機(LHC),通過其ATLAS探測器,首次捕捉到頂夸克與反頂夸克之間的量子糾纏,也是迄今為止觀測到的最高能量的量子糾纏。
頂夸克是已知的最重的基本粒子,其質(zhì)量約為質(zhì)子的173倍。由于質(zhì)量大,頂夸克迅速衰變,在頂夸克對中觀察到量子糾纏,是理解極端能量尺度下量子力學的一個重要里程碑。
在該研究中,科學家們分析了約一百萬對頂夸克及其反粒子,實驗結(jié)果與理論模型的對比驗證了頂夸克對之間存在顯著的量子糾纏,其糾纏參數(shù)_D_值遠低于判定糾纏的理論閾值-1/3,為-0.537,從而確認了頂夸克對之間的量子糾纏現(xiàn)象。
點評:量子糾纏在低能環(huán)境下如電子和光子已被驗證多年,但在高能粒子碰撞中觀測到糾纏則一直是一大挑戰(zhàn)。此次發(fā)現(xiàn)不僅驗證了量子糾纏在高能條件下的存在,也為量子力學在更高能量層面的研究提供了新的視角和工具,并加深人類對量子糾纏及其在不同領(lǐng)域的應用的理解。(譙雅馨)
09 可自由組合、變形的六邊形機器人
9月18日,《科學機器人》(Science Robotics)發(fā)表德國馬克斯普朗克智能系統(tǒng)研究所(MPI-IS)研究團隊的論文Hexagonal electrohydraulic modules for rapidly reconfigurable high-speed robots。研究人員開發(fā)了一種HEXEL六邊形電液機器人模塊,模塊的外骨骼為輕質(zhì)剛性玻璃纖維板,內(nèi)部關(guān)節(jié)由液壓放大的自愈靜電(HASEL)“人工肌肉”驅(qū)動。這些模塊能通過磁力拼接,快速形成不同形態(tài)的機器人,并實現(xiàn)爬行、跳躍、組裝成大型結(jié)構(gòu)等多種行為,具有超強的靈活性和適應性。
HEXEL模塊組合。圖片來源:MPI-IS。
點評:HEXEL模塊可以像樂高積木一樣自由拼接和變形,展示了一種創(chuàng)新的可重構(gòu)模塊化機器人設(shè)計方案,或?qū)氐赘淖冊O(shè)計、制造和使用機器人的方式。(羅仙仙)
10 將人類基因組存儲在“5D”記憶晶體
9月19日,英國南安普頓大學(University of Southampton)發(fā)布消息,該校光電研究中心(Optoelectronics Research Centre) 彼得-卡贊斯基(Peter Kazansky)領(lǐng)導的研究團隊,開發(fā)出能夠長期存儲信息的“5D記憶晶體”,并使用超快飛秒激光將數(shù)據(jù)精確地刻錄到納米結(jié)構(gòu)的玻璃內(nèi)定向的自組裝納米結(jié)構(gòu)空隙中。
該晶體相當于熔融石英,是地球上化學和熱耐久性最強的材料之一;他們采用的編碼方法使用兩個光學維度和三個空間坐標來寫入整個材料,因此被稱為 “5D”。這種5D晶體可保存多達360TB(兆字節(jié))的信息長達數(shù)十億年,可承受冰凍、火燒和高達 1000 °C 的高溫和低溫極端環(huán)境,能承受高達每平方厘米10噸的直接沖擊力,長期暴露于宇宙輻射下也不會發(fā)生變化。
研究團隊創(chuàng)建了一個包含完整人類基因組的5D記憶晶體,并將之存放在“人類記憶 ”檔案館,位于奧地利哈爾施塔特(Hallstatt, Austria)鹽洞中的一個特殊時空膠囊里。
點評:這項技術(shù)可用于為瀕臨滅絕的動植物物種建立基因組永久記錄,理論上,這塊存儲了人類基因組的5D記憶晶體也可以讓人類在數(shù)千、數(shù)百萬甚至數(shù)十億年后從滅絕中復活。今天人類科學家的這一動作,為后世開啟了一個新的懸念,將來打開這個晶體的物種/文明會是什么?(李一躒)
11 刷新水冷磁體世界紀錄
9月22日,中國科學院合肥物質(zhì)科學研究院強磁場科學中心自主研制的水冷磁體,在32.3兆瓦的電源功率下產(chǎn)生42.02萬高斯(即42.02特斯拉)的穩(wěn)態(tài)磁場,打破了2017年由美國國家強磁場實驗室水冷磁體產(chǎn)生的41.4萬高斯的世界紀錄,成為國際強磁場水冷磁體技術(shù)發(fā)展新的里程碑。這也是穩(wěn)態(tài)強磁場實驗裝置繼2022年混合磁體成功創(chuàng)造45.22萬高斯的世界穩(wěn)態(tài)磁場紀錄之后,取得的又一重大突破。
點評:目前全球共有五大穩(wěn)態(tài)強磁場實驗室,分別位于美國、法國、荷蘭、日本和中國。穩(wěn)態(tài)強磁場是物質(zhì)科學研究所需的一種極端實驗條件,是推動重大科學發(fā)現(xiàn)的“利器”,迄今有十多項獲諾貝爾獎的科研成果是在穩(wěn)態(tài)強磁場條件下開展的研究。期待這一水冷磁體為科學家探索新現(xiàn)象、揭示新規(guī)律提供強大的實驗條件,拓展人類的科學認知邊界,帶來更多科技創(chuàng)新。(李一躒)
南方周末科創(chuàng)力研究中心
責編 黃金萍