近日，CVPR 2024 自動駕駛國際挑戰(zhàn)賽（Autonomous Grand Challenge）結(jié)果揭曉，英偉達(dá)憑借 Hydra-MDP 模型在 “端到端自動駕駛” 賽道中擊敗了全球 400 多個參賽者，榮登榜首。
這個自動駕駛國際挑戰(zhàn)賽，是由上海人工智能實(shí)驗(yàn)室聯(lián)合國內(nèi)外頂尖高校，科研機(jī)構(gòu)和企業(yè)，依托國際計算機(jī)視覺與模式識別會議 (CVPR) 舉辦的全球規(guī)模最大、等級最高的自動駕駛比賽。比賽獲獎團(tuán)隊代表了當(dāng)今世界自動駕駛相關(guān)研發(fā)的最高水平。
據(jù)了解，英偉達(dá)的 Hydra-MDP 模型還獲得了本屆 CVPR 的創(chuàng)新獎，體現(xiàn)了國際科研機(jī)構(gòu)對于英偉達(dá)在自動駕駛汽車開發(fā)上領(lǐng)先研發(fā)能力的認(rèn)可。
英偉達(dá)汽車業(yè)務(wù)的穩(wěn)步增長，得益于其自動駕駛解決方案的推廣。在中高端的智能汽車領(lǐng)域，NVIDIA DRIVE Orin 的占有率非常高。
據(jù)不完全統(tǒng)計，采用 DRIVE Orin 的車企包括蔚小理、比亞迪、騰勢、上汽智己、飛凡，吉利極氪、極越、路特斯，奇瑞、長城等 30 多家主流車企，就連時下最火的小米 SU7 全系搭載的也是 DRIVE Orin 系列。
此外，包括比亞迪、廣汽、理想、小鵬、奇瑞、極氪、極越、長安等車企在內(nèi)，都已經(jīng)選擇英偉達(dá)最新一代的 Blackwell GPU 架構(gòu)的新一代 NVIDIA DRIVE Thor 平臺，為其下一代自動駕駛系統(tǒng)提供算力支持。
除面向車端的自動駕駛算力芯片以外，英偉達(dá)還在通過面向汽車行業(yè)的 AI 和加速計算解決方案，幫助汽車制造商和合作伙伴實(shí)現(xiàn)全價值鏈條的數(shù)字化升級，為汽車研發(fā)、設(shè)計、生產(chǎn)制造、營銷等多個領(lǐng)域帶來創(chuàng)新。
本文從比亞迪電子、小鵬、蔚來以及理想四大頭部廠商與英偉達(dá)的合作案例為例，探討 AI 在賦能汽車行業(yè)數(shù)字化方面的新機(jī)會、新價值。
NVIDIA Isaac + Omniverse，打造比亞迪的數(shù)字工廠
在當(dāng)前的汽車行業(yè)背景下，虛擬工廠概念應(yīng)運(yùn)而生。
虛擬工廠，作為真實(shí)工廠的物理級準(zhǔn)確數(shù)字孿生，允許制造商在沒有物理原型的情況下，對生產(chǎn)流程、資源和運(yùn)營進(jìn)行建模、模擬、分析和優(yōu)化。
這種強(qiáng)大的模擬能力為汽車制造商帶來了簡化溝通、因地制宜的規(guī)劃、優(yōu)化設(shè)施設(shè)計和智能化運(yùn)營等多方面的優(yōu)勢。
我們具體看比亞迪與英偉達(dá)的合作從車端延伸到了云端。從下一代車載芯片 DRIVE Thor 到自動駕駛汽車的云端 AI 開發(fā)和訓(xùn)練，并和比亞迪電子在智能工廠方面進(jìn)行合作。
借助 NVIDIA Isaac 和 NVIDIA Omniverse 開發(fā)自主移動機(jī)器人 AMR 以及虛擬工廠規(guī)劃，包括利用 Omniverse 做自主機(jī)器的仿真，并以數(shù)字化方式構(gòu)建、模擬和運(yùn)營工廠數(shù)字孿生，從而提升生產(chǎn)智能化。
NVIDIA Isaac 是英偉達(dá)面向機(jī)器人和視覺 AI 的機(jī)器人平臺，包括一整套加速系統(tǒng)、庫、應(yīng)用框架和生成式 AI 模型。
Isaac Sim 受益于 Omniverse 跨 3D 和仿真工具的 OpenUSD 互操作性，使開發(fā)者能夠輕松設(shè)計、導(dǎo)入、構(gòu)建和共享機(jī)器人模型和虛擬訓(xùn)練環(huán)境。
采用 NVIDIA Isaac 和 NVIDIA Omniverse 技術(shù)平臺，可以助力比亞迪電子在構(gòu)筑智能工廠的過程中，如虎添翼。
比亞迪這種年銷高達(dá) 300 萬輛的大廠，生產(chǎn)效率、物流部署的提升非常關(guān)鍵，而Omniverse 虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)對汽車制造工廠的工作流程優(yōu)化，采用 NVIDIA Isaac Sim on Omniverse，借助 AMR 的高精度仿真，從而進(jìn)行車隊化統(tǒng)一調(diào)度、管理與方案測試，節(jié)約工廠規(guī)劃成本，提升 AMR 落地時效。
英偉達(dá)的技術(shù)，給比亞迪的智能工廠的效率披上了鎧甲，節(jié)約了工廠規(guī)劃成本，加速實(shí)現(xiàn)其數(shù)字化轉(zhuǎn)型目標(biāo)。
NVIDIA Omniverse，開啟小鵬汽車協(xié)同設(shè)計創(chuàng)新
在傳統(tǒng)的汽車設(shè)計流程中，普遍面臨團(tuán)隊協(xié)作困難、溝通不暢、審查效率低下、物理原型成本高昂等挑戰(zhàn)。這些問題不僅減緩了產(chǎn)品的上市速度，也影響了設(shè)計質(zhì)量。
在提升設(shè)計流程效率和協(xié)同性方面，NVIDIA 的技術(shù)提供了一個答案。小鵬汽車使用了 NVIDIA Omniverse 精簡了其超智駕大七座旗艦級車型小鵬 X9 的設(shè)計流程，實(shí)現(xiàn)了從產(chǎn)品設(shè)計到團(tuán)隊協(xié)作的優(yōu)化創(chuàng)新。
NVIDIA Omniverse 是一個包含 API、服務(wù)和軟件開發(fā)套件 （SDK）的平臺。基于 OpenUSD，在 Omniverse 上運(yùn)行的應(yīng)用程序從根本上改變了復(fù)雜的 3D 工作流程，使個人和團(tuán)隊能構(gòu)建統(tǒng)一的工具和數(shù)據(jù)工作流，并模擬物理級精準(zhǔn)的虛擬世界。
通過使用 NVIDIA Omniverse，小鵬汽車可打造逼真、物理級精確、實(shí)時渲染的車輛外觀與內(nèi)飾的可視化資產(chǎn)，并使設(shè)計和工程團(tuán)隊能在虛擬環(huán)境中對產(chǎn)品進(jìn)行測試和調(diào)整，顯著加速了汽車設(shè)計工作流，提高了工作效率，從而節(jié)約了大量時間與金錢成本。
NVIDIA AI Enterprise + Instant NeRF，加速理想汽車大模型應(yīng)用落地
現(xiàn)在新能源汽車的主戰(zhàn)場，就是智能化。
伴隨大模型上車的機(jī)遇，理想悄然把智能化打造成了自己的長項(xiàng)。
隨著智駕技術(shù)的發(fā)展，理想汽車開始探索端到端模型，即從感知到跟蹤、預(yù)測、決策、規(guī)劃的全過程都實(shí)現(xiàn)模型化。特斯拉的 V12 版本是端到端模型的代表，實(shí)現(xiàn)了完全模型化和端到端的可虛擬性。
然而，理想汽車認(rèn)為，即使實(shí)現(xiàn)了數(shù)據(jù)驅(qū)動和端到端模型，要達(dá)到 L4 級別的自動駕駛?cè)匀幻媾R挑戰(zhàn)，因?yàn)?L4 級別要求在任何未知場景中都不需要人工監(jiān)管。
因此，理想汽車提出了知識驅(qū)動的新范式，利用大語言模型和多模態(tài)視覺語言模型來提升車輛對世界的理解和應(yīng)對未知場景的能力。
理想汽車的自動駕駛開發(fā)框架基于快慢系統(tǒng)的理念，類似于人類的思維模式�？煜到y(tǒng)（System1）負(fù)責(zé)直覺性的反應(yīng)，而慢系統(tǒng)（System2）負(fù)責(zé)邏輯思考和處理復(fù)雜場景。理想汽車的 L3 級別自動駕駛和未來的 L4 級別自動駕駛都將基于這一框架進(jìn)行開發(fā)。
目前，理想汽車已經(jīng)在端到端模型的研發(fā)上取得了進(jìn)展，尤其是在 BEV（基于攝像頭的感知）的 3D 感知、動態(tài)感知、靜態(tài)感知以及跟蹤模型化等方面。理想汽車的 ADMax3.0 系統(tǒng)已經(jīng)實(shí)現(xiàn)了業(yè)界領(lǐng)先的全場景 NOA，包括高速和城區(qū)駕駛，以及紅綠燈路口的左右轉(zhuǎn)、剎停和啟停等復(fù)雜場景的處理。
在這個過程中，理想汽車和英偉達(dá)合作比較多且比較突出的工作是，通過 NVIDIA AI Enterprise 加速整個模型的部署以及推理加速，讓視覺工作流從最初的每秒處理 9 幀畫面提升到現(xiàn)在的每秒處理 21 幀畫面。
NVIDIA AI Enterprise 是一個端到端云原生軟件平臺，包括 DALI、CV-CUDA、TensorRT 和 Triton 等 SDK 和平臺，能夠?yàn)?NVIDIA AI 平臺提供企業(yè)級的軟件和支持，可以幫助利用生成式 AI 進(jìn)行創(chuàng)新的汽車行業(yè)合作伙伴加速開發(fā)，其中 TensorRT-LLM 框架為大模型提供了高效的推理能力，能支持在 DRIVE Orin 平臺上運(yùn)行復(fù)雜的神經(jīng)網(wǎng)絡(luò)模型。
除推理加速以外，對于車企來說，車型之間數(shù)據(jù)的復(fù)用和適配也是個很大的難點(diǎn)，因此串起來整個開發(fā)流程的數(shù)據(jù)閉環(huán)以及數(shù)據(jù)復(fù)用就顯得尤為重要。
NVIDIA Instant NeRF 是一個全新的 3D 渲染技術(shù)，被美國《時代》周刊評為 2022 年度最佳發(fā)明。該項(xiàng)技術(shù)可用于訓(xùn)練機(jī)器人和自動駕駛汽車，開發(fā)者可以在短短數(shù)秒內(nèi)將多組靜態(tài)圖像轉(zhuǎn)變?yōu)?3D 數(shù)字場景，并在此基礎(chǔ)上進(jìn)行修改和構(gòu)建。
在 NVIDIA Instant NeRF 的幫助下，理想汽車能夠在系統(tǒng)之上優(yōu)化數(shù)據(jù)的使用和生成，如對理想 L9 車型的數(shù)據(jù)進(jìn)行重建和動態(tài)編輯，有效利用歷史數(shù)據(jù)，從而提高了數(shù)據(jù)處理的效率和模型訓(xùn)練的泛化能力。
而在智能座艙領(lǐng)域，由多模態(tài)認(rèn)知大模型 Mind GPT 構(gòu)建的理想汽車 AI 助手 “理想同學(xué)”，融合了語音、視覺和觸控等多種感知信息，能夠充分理解語言和用戶需求，并提供有價值的回復(fù)。
在這一過程中，NVIDIA GPU 強(qiáng)大的計算能力支撐了大模型的訓(xùn)練和推理，使得 “理想同學(xué)” 能夠快速、準(zhǔn)確地處理和響應(yīng)用戶指令。
目前，英偉達(dá)正在通過從云端到車端的全方位 AI 加速解決方案，助力理想汽車積極擁抱大模型，推進(jìn)智能駕駛和智能座艙方面的技術(shù)創(chuàng)新。
深度學(xué)習(xí) + 自動駕駛，解決蔚來感知模型訓(xùn)練難題
隨著深度學(xué)習(xí)模型的不斷發(fā)展，模型的規(guī)模和復(fù)雜度也在不斷增加，這對計算資源和內(nèi)存提出了更高的要求。為了解決這一問題，張量并行技術(shù)應(yīng)運(yùn)而生。
張量并行（Tensor Parallel）技術(shù)的優(yōu)勢是提高計算效率、減少內(nèi)存消耗、提高模型性能。這恰恰對應(yīng)了蔚來的難題在中央計算平臺 ADAM 強(qiáng)大算力加持下，蔚來自動駕駛技術(shù)在飛速發(fā)展，由于采用了多攝像頭輸入和深度卷積骨干網(wǎng)絡(luò)，用于訓(xùn)練自動駕駛感知模型的 GPU 內(nèi)存占用很大。
英偉達(dá)和蔚來合作設(shè)計并實(shí)現(xiàn)了張量并行 CNN 訓(xùn)練方案，在多個 GPU 之間分配深度學(xué)習(xí)模型的計算任務(wù)，從而顯著降低對單個 GPU 的內(nèi)存占用和帶寬壓力，實(shí)現(xiàn)更快的計算速度和更高的計算效率，最終幫助提高了自動駕駛汽車感知模型的訓(xùn)練效率和 GPU 利用率。
基準(zhǔn)測試顯示，在蔚來自動駕駛場景下，該方法表現(xiàn)良好，有效解決了視覺大模型的訓(xùn)練難題。
而在此之前，蔚來還選用了 NVIDIA Triton 推理服務(wù)器，為蔚來自動駕駛開發(fā)平臺（NADP）構(gòu)建高性能推理服務(wù)。Triton 讓模型的編排和擴(kuò)展變得更加輕松，還將推理速度提高至 6 倍，并節(jié)省了 24% 的資源。
從英偉達(dá)與四大廠商的合作，汽車行業(yè)正在呈現(xiàn)幾大趨勢
首先是，全自動駕駛，從 AI 1.0 正在邁向 AI 2.0。過去的軟件定義汽車，即 AI 1.0 時代，需要大量工程師介入。
在 AI 2.0 時代，也就是我們說的 AI 定義汽車，大部分模型都能夠在云端完成訓(xùn)練，即實(shí)現(xiàn)通過數(shù)據(jù)驅(qū)動的方式。生成式 AI、加速計算在下一代自動駕駛汽車中的作用將越來越大。
其次是，比亞迪電子的虛擬工廠，是一次工業(yè)互聯(lián)網(wǎng)從單點(diǎn)賦能到系統(tǒng)賦能的有力實(shí)踐，AI 機(jī)器人技術(shù)賦能工廠加速制造業(yè)自動化與工業(yè)化效率時代正在到來。
在比亞迪電子的生產(chǎn)車間，自主移動機(jī)器人已在為汽車制造的效率帶來助力，采用 NVIDIA 數(shù)字孿生技術(shù)復(fù)制實(shí)體工廠，可以為現(xiàn)有機(jī)器人工廠創(chuàng)建精確的實(shí)體世界規(guī)模仿真，使生產(chǎn)、倉庫物流、配送中心變得高效，引導(dǎo)我們將自動化和工業(yè)效率提升到新的水平。
其三，汽車的智能化正在進(jìn)入接近人類思維高階階段。
基于英偉達(dá) AI Enterprise 軟件平臺和 GPU 算力支持，理想汽車正在探索端到端模型，即從感知到跟蹤、預(yù)測、決策、規(guī)劃的全過程都實(shí)現(xiàn)模型化。自動駕駛開發(fā)框架基于快慢系統(tǒng)的理念，類似于人類的思維模式。
智駕沒有人聰明，復(fù)雜的駕駛場景還得人來是一個共識，從理想的案例來看，通過端到端全方位AI加速解決方案，汽車智能化已經(jīng)可以應(yīng)付高速和城區(qū)駕駛，以及紅綠燈路口的左右轉(zhuǎn)、剎停和啟停等復(fù)雜場景的處理。汽車智能化正在進(jìn)入新的高階階段。
其四，汽車廠商從生產(chǎn)到使用的智能化。綜上四個案例來看，AI 正在融入設(shè)計、工程、生產(chǎn)、銷售等多個環(huán)節(jié)，汽車智能化進(jìn)入 AI 工業(yè) 2.0 時代。
比亞迪電子、蔚來、小鵬、理想與英偉達(dá)的合作，可以視為汽車行業(yè)數(shù)字化轉(zhuǎn)型的一個信號，汽車制造正在實(shí)現(xiàn)全工作流的數(shù)字化升級。
在 AI 時代，科技服務(wù)于人，同時推動著時代的變革，也讓我們看到下一個時代的到來。
作者：王新喜 TMT資深評論人 本文未經(jīng)許可謝絕轉(zhuǎn)載
