來源：硬AI
作者：趙穎
黃仁勛身著新皮衣亮相2025 CES，除了推出炸裂的GPU RTX 5090之外，還宣布入局AI領(lǐng)域當下最關(guān)鍵的方向“世界模型”。
1月7日，黃仁勛在2025年拉斯維加斯消費電子展（CES）上宣布，推出Cosmos世界模型（Cosmos World Foundation Models，簡稱Cosmos WFMs），該模型專為理解物理世界打造，可預(yù)測和生成“物理感知”的視頻。
具體來看，Cosmos WFMs分為三類：
（1）Nano：適用于低延遲和實時應(yīng)用；（2）Super：高性能基線模型；（3）最高質(zhì)量和保真度輸出。
這些模型的參數(shù)規(guī)模從40億到140億不等，Nano最小，Ultra最大。英偉達還發(fā)布了上采樣模型、針對增強現(xiàn)實優(yōu)化的視頻解碼器以及確保負責任使用的guardrail模型。
實際上，除了英偉達，谷歌以及不少初創(chuàng)企業(yè)也在追逐世界模型，谷歌旗下DeepMind組建世界模型研究團隊，聘請Sora核心人員Tim Brooks掌舵。此外，“AI教母”李飛飛的World Labs、初創(chuàng)公司Decart、 Odyssey也都涉足其中。
不僅引得一眾科技企業(yè)逐鹿，“世界模型”還被業(yè)內(nèi)吹捧為是AI領(lǐng)域的下一個關(guān)鍵突破，那么“世界模型”到底指的是什么？它的重要之處在于哪里？
英偉達入局“世界模型”，一眾科技巨頭“逐鹿”據(jù)英偉達介紹稱，Cosmos WFMs經(jīng)過了9000萬億個token的訓練，數(shù)據(jù)來自2000萬小時的真實世界人類互動、環(huán)境、工業(yè)、機器人和駕駛數(shù)據(jù)。模型可針對特定應(yīng)用進行微調(diào)，通過英偉達API和NGC目錄、GitHub和AI開發(fā)平臺Hugging Face可獲得。
多家企業(yè)已開始試用Cosmos，英偉達表示，Waabi、Wayve、Fortellix和Uber等多家已經(jīng)承諾在各種用例中試用CosmosWFM，從視頻搜索和策劃到為自動駕駛汽車構(gòu)建AI模型。
不過，由于英偉達拒絕透露訓練數(shù)據(jù)的具體來源，這引發(fā)了版權(quán)爭議，分析稱這正是英偉達將這些模型稱為“開放”而不是“開源”的原因。
與此同時，谷歌DeepMind也在積極布局世界模型領(lǐng)域。根據(jù)TechCrunch報道，DeepMind正在組建一支專門的世界模型研究團隊，以擴大其在該領(lǐng)域的領(lǐng)先地位。該團隊將由前OpenAI研究員Tim Brooks領(lǐng)導，他于去年10月加入DeepMind。
DeepMind上個月發(fā)布了Genie，該模型可模擬虛擬世界以及逼真的動畫和物理效果，并支持所有這些元素之間的交互。例如用戶可以使用Genie創(chuàng)建的各種示例世界，包括航海模擬、賽博朋克西部片等，還可以使用文本、圖像或兩者的組合來提示Genie。
除了英偉達、谷歌等科技巨頭，還有不少耀眼的初創(chuàng)玩家。“AI教母”李飛飛的World Labs已籌集2.3億美元用于構(gòu)建“大世界模型”，以及Decart、 Odyssey等公司也入局其中。此外，OpenAI此前發(fā)布的Sora模型也可視為一種“世界模型"，它能夠模擬如畫家在畫布上留下筆觸等行為，以及渲染類似Minecraft的UI和游戲世界。
AI領(lǐng)域的下一個關(guān)鍵突破：世界模型什么是AI“世界模型”？為什么它們很重要？
具體來看，世界模型是指通過大量圖像、音頻、視頻和文本數(shù)據(jù)訓練，創(chuàng)建對世界運作方式的內(nèi)部表征，并能推理行為的后果。這使它們能更好地理解和模擬現(xiàn)實世界的規(guī)律。
世界模型的概念源自人類大腦形成的心智模型，我們的大腦能夠?qū)⒏泄佾@取的抽象信息整合成對周圍世界的具體理解，從而形成"模型"，這些模型幫助我們預(yù)測和感知世界。
世界模型的特點是試圖超越數(shù)據(jù)，模擬人類的潛意識推理，例如，棒球擊球手能在毫秒內(nèi)決定如何揮棒，是因為他們能本能地預(yù)測球的軌跡。這種潛意識推理能力被認為是實現(xiàn)人類級智能的先決條件之一。
“世界模型”的意義在于可以實現(xiàn)復雜推理和規(guī)劃，還是生成式視頻技術(shù)的突破：
1. 生成式視頻技術(shù)的突破：世界模型在生成式視頻領(lǐng)域展現(xiàn)出巨大潛力。與傳統(tǒng)的生成模型相比，具備基本物理規(guī)律理解的世界模型能更準確地模擬物體的運動。例如，它不僅能預(yù)測籃球會彈跳，還能理解為什么會彈跳。Snap前AI負責人、Higgsfield公司CEO Alex Mashrabov表示，有了強大的世界模型，創(chuàng)作者就不需要為每個物體定義預(yù)期的運動方式，模型本身就能理解這些。
2. 復雜預(yù)測和規(guī)劃：Meta首席AI科學家Yann LeCun認為，世界模型未來可能用于數(shù)字和物理領(lǐng)域的復雜預(yù)測和規(guī)劃。例如，給定一個臟亂的房間（初始狀態(tài)）和一個整潔的房間（目標狀態(tài)），世界模型可以推理出一系列清潔行動，而不僅僅是根據(jù)觀察到的模式進行操作。
擁有這些能力后，“世界模型”可廣泛賦能影視、游戲，自動駕駛以及機器人等行業(yè)。
World Labs聯(lián)合創(chuàng)始人Justin Johnson預(yù)測，未來的世界模型可能能夠按需生成用于游戲、虛擬攝影等用途的3D世界，大大降低開發(fā)成本和時間。世界模型將不僅能獲得圖像或視頻片段，還能得到一個完全模擬的、生動的、可交互的3D世界。
代表好萊塢動畫師和漫畫家的工會動畫協(xié)會 (Animation Guild) 一項2024年研究估計，人工智能有可能在未來兩年內(nèi)顛覆美國10多萬個電影、電視和動畫工作崗位。
世界模型還有望推動機器人技術(shù)進步，通過增強機器人對周圍環(huán)境和自身的感知能力，幫助它們更好地理解所處情境并推理可能的解決方案。
盡管前景誘人，世界模型的發(fā)展仍面臨諸多技術(shù)挑戰(zhàn)：
巨大的計算需求：訓練和運行"世界模型"需要比當前生成模型更多的計算能力；幻覺和偏見問題：像所有AI模型一樣，"世界模型"也會產(chǎn)生幻覺并內(nèi)化訓練數(shù)據(jù)中的偏見。
訓練數(shù)據(jù)限制：缺乏足夠廣泛而又具體的訓練數(shù)據(jù)可能會加劇上述問題。復雜行為模擬：目前的模型難以準確捕捉世界居民（如人類和動物）的行為。
< style="text-align:left">過去一年AI技術(shù)在多元方向持續(xù)突破，世界模型被視為下一個重大突破。雖然距離成熟的“世界模型”還有數(shù)年時間距離，但這一技術(shù)已展現(xiàn)出巨大潛力。如果所有主要障礙都能克服，“世界模型”有望在虛擬世界生成、機器人技術(shù)和AI決策等領(lǐng)域帶來重大突破，為人工智能與現(xiàn)實世界的融合開辟新的途徑。
