劃重點(diǎn)
01極佳科技聯(lián)合多家單位提出DriveDreamer4D，首個(gè)利用世界模型增強(qiáng)4D駕駛場(chǎng)景重建效果的工作。
02DriveDreamer4D在user study實(shí)驗(yàn)中獲得超過(guò)80%的偏好投票，大幅提升多種自動(dòng)駕駛4D重建算法的效果。
03該算法可以為駕駛場(chǎng)景提供豐富多樣的視角數(shù)據(jù)，增加動(dòng)態(tài)駕駛場(chǎng)景下的閉環(huán)仿真能力。
04實(shí)驗(yàn)證明，DriveDreamer4D不僅提升了圖像渲染質(zhì)量，還提升了車(chē)輛和車(chē)道線(xiàn)渲染的時(shí)空一致性。
05此外，極佳科技是空間智能公司，致力于將視頻生成提升到4D世界模型，實(shí)現(xiàn)4D空間中的交互和行動(dòng)。
以上內(nèi)容由騰訊混元大模型生成，僅供參考
機(jī)器之心發(fā)布
機(jī)器之心編輯部
近日，極佳科技聯(lián)合中國(guó)科學(xué)院自動(dòng)化研究所、理想汽車(chē)、北京大學(xué)、慕尼黑工業(yè)大學(xué)等單位提出DriveDreamer4D，是首個(gè)利用世界模型增強(qiáng) 4D 駕駛場(chǎng)景重建效果的工作。DriveDreamer4D 可以大幅提升多種自動(dòng)駕駛 4D 重建算法的效果，在 user study 實(shí)驗(yàn)中獲得了超過(guò) 80% 的偏好投票，為走向空間智能和 4D 世界模型邁出了堅(jiān)實(shí)的一步。
論文鏈接：https://arxiv.org/abs/2410.13571
項(xiàng)目主頁(yè)：https://drivedreamer4d.github.io/
代碼地址：https://github.com/GigaAI-research/DriveDreamer4D
閉環(huán)仿真技術(shù)是推動(dòng)端到端自動(dòng)駕駛系統(tǒng)發(fā)展的關(guān)鍵。目前的傳感器仿真方法，如 NeRF 與 3DGS，主要依賴(lài)于訓(xùn)練數(shù)據(jù)分布，若訓(xùn)練數(shù)據(jù)不足，則這些方法在復(fù)雜駕駛操作（例如變道、加速或減速）的重建效果不佳。近來(lái)，自動(dòng)駕駛世界模型（World Model）證明其可以生成豐富駕駛數(shù)據(jù)。在此背景下，本文提出了 DriveDreamer4D，是首個(gè)利用世界模型來(lái)提升自動(dòng)駕駛場(chǎng)景 4D 重建質(zhì)量的算法。
DriveDreamer4D 可以為駕駛場(chǎng)景提供豐富多樣的視角（包括變道、加速和減速等）數(shù)據(jù)，以增加動(dòng)態(tài)駕駛場(chǎng)景下的閉環(huán)仿真能力。
DriveDreamer4D 利用世界模型作為數(shù)據(jù)引擎，基于真實(shí)世界的駕駛數(shù)據(jù)合成新軌跡視頻（例如變道場(chǎng)景）。如下圖所示，DriveDreamer4D 不僅可以提升多種重建算法（PVG,S3Gaussian,Deformable-GS）的圖像渲染質(zhì)量，還可以提升駕駛前景（車(chē)輛）和背景（車(chē)道線(xiàn)）的時(shí)空一致性。
DriveDreamer4D 的總體結(jié)構(gòu)框圖如下所示，軌跡生成模塊（NTGM）用于調(diào)整原始軌跡動(dòng)作，如轉(zhuǎn)向角度和速度，以生成新的軌跡。這些新軌跡為提取結(jié)構(gòu)化信息（如車(chē)輛 3D 框和背景車(chē)道線(xiàn)細(xì)節(jié)）提供了全新的視角。隨后，基于世界模型的視頻生成能力，并利用更新軌跡后得到的結(jié)構(gòu)化信息作為控制條件，可以合成新軌跡的視頻。最后，原始軌跡視頻與新軌跡視頻相結(jié)合，進(jìn)行 4DGS 模型的優(yōu)化。
在實(shí)驗(yàn)中，如下第一列視頻所示，可以看出多種傳統(tǒng)算法（PVG, S3Gaussian,Deformable-GS ）在變道場(chǎng)景下的車(chē)道線(xiàn)、天空、車(chē)輛都會(huì)模糊，甚至出現(xiàn) “鬼影” 現(xiàn)象。而 DriveDreamer4D 可以提升多種重建算法在復(fù)雜變道場(chǎng)景下的視頻渲染效果，不僅消除了 “鬼影”，而且提升了交通元素的渲染質(zhì)量，車(chē)輛和車(chē)道線(xiàn)都更加清晰。
除了變道，在車(chē)輛變速場(chǎng)景下，傳統(tǒng)算法（PVG,S3Gaussian,Deformable-GS）的表現(xiàn)能力也受到限制，如下第一列視頻所示，這些算法在自車(chē)加速時(shí)，前方的車(chē)輛都出現(xiàn)了 “拖影” 現(xiàn)象。而經(jīng)過(guò) DriveDreamer4D 提升后，渲染的車(chē)輛的時(shí)空一致性更高。
在定量實(shí)驗(yàn)中，本文證明了 DriveDreamer4D 不僅可以提升多種重建算法 (PVG, S3Gaussian,Deformable-GS）的圖像渲染質(zhì)量 (如表 2)，還可以提升車(chē)輛和車(chē)道線(xiàn)渲染的時(shí)空一致性（如表 1）。此外，本文還通過(guò) user study（表 3）證明用戶(hù)更加偏好 DriveDreamer4D 的渲染效果，獲得了超過(guò) 80% 的投票率。
表 1 DriveDreamer4D 提升了車(chē)輛和車(chē)道線(xiàn)重建渲染的時(shí)空一致性
表 2 DriveDreamer4D 提升了圖像重建渲染質(zhì)量
表 3 User study 證明用戶(hù)更加偏好 DriveDreamer4D 的渲染效果
本項(xiàng) DriveDreamer4D 工作是極佳科技研究團(tuán)隊(duì)之前 DriveDreamer 和 DriveDreamer-2 工作的延續(xù)。
DriveDreamer 是首個(gè)面向真實(shí)駕駛場(chǎng)景的世界模型，可以根據(jù)不同的控制條件生成自動(dòng)駕駛周視視頻，有效提升了 BEV 感知的性能；DriveDreamer-2 在此基礎(chǔ)上，引入大語(yǔ)言模型，可以生成用戶(hù)自定義的駕駛數(shù)據(jù)，進(jìn)一步提升了長(zhǎng)尾和 corner case 場(chǎng)景下的數(shù)據(jù)生成能力。針對(duì)端到端自動(dòng)駕駛和閉環(huán)仿真對(duì)于場(chǎng)景重建的迫切需求，DriveDreamer4D 利用 DriveDreamer 系列工作的能力，用以生成新軌跡視頻（例如變道、加減速），從而大幅提升了多種 4DGS 算法的重建效果。
本篇論文的牽頭完成單位為極佳科技，是一家空間智能公司，致力于將視頻生成提升到 4D 世界模型，賦予 AI 大模型對(duì)于 4D 空間的理解、生成、常識(shí)和推理的能力，實(shí)現(xiàn) 4D 空間中的交互和行動(dòng)，走向通用空間智能。通用空間智能對(duì)于影視游戲、元宇宙等虛擬空間的內(nèi)容創(chuàng)作，以及自動(dòng)駕駛、具身智能等物理空間的數(shù)據(jù)生成和認(rèn)知推理能力，都有巨大的價(jià)值和作用。極佳科技是國(guó)內(nèi)最早開(kāi)始探索和布局世界模型和空間智能方向的公司，在物理空間和虛擬空間兩方面都已取得顯著的技術(shù)和商業(yè)進(jìn)展，獲得了行業(yè)廣泛的認(rèn)可。
