目前全球到底需要多少算力？英偉達(dá)是否追求擴(kuò)大市場(chǎng)份額？
近日，黃仁勛在一次長(zhǎng)達(dá)約1個(gè)半小時(shí)的訪談中，談及自己對(duì)于AGI（通用人工智能）、機(jī)器學(xué)習(xí)、AI（人工智能）未來(lái)的看法，并對(duì)馬斯克、xAI、OpenAI和自己的工作生涯作出了評(píng)價(jià)。
黃仁勛表示，AGI很快會(huì)以某種形式成為個(gè)人的“口袋助手”，這個(gè)助手一開始它會(huì)很有用，但不會(huì)是完美的，隨著時(shí)間推移，它會(huì)越來(lái)越完美，就像所有的技術(shù)一樣，這也是科技的魅力所在。
黃仁勛 視覺中國(guó) 資料圖
“我們重新發(fā)明了計(jì)算”，機(jī)器學(xué)習(xí)的關(guān)鍵是飛輪效應(yīng)
黃仁勛表示英偉達(dá)“重新發(fā)明了計(jì)算”，過去十年里將計(jì)算成本降低了10萬(wàn)倍，遠(yuǎn)超過摩爾定律所能帶來(lái)的百倍。
他認(rèn)為，加速計(jì)算、新的數(shù)值精度、新的架構(gòu)以及極其快速的存儲(chǔ)器等創(chuàng)新，都推動(dòng)了算力的飛速發(fā)展，也讓我們從人類編程走向機(jī)器學(xué)習(xí)。同時(shí)，機(jī)器學(xué)習(xí)的速度也很快，隨著重新定義計(jì)算的分布方式，英偉達(dá)引入了各種形式的并行計(jì)算，變得擅長(zhǎng)在這些基礎(chǔ)上發(fā)明新的算法和訓(xùn)練方法。這些技術(shù)和創(chuàng)新互相疊加，最終帶來(lái)了令人難以置信的進(jìn)展，“整個(gè)堆棧都在增長(zhǎng)，我們?cè)谒袑用嫔线M(jìn)行創(chuàng)新，因此我們看到了前所未有的擴(kuò)展速度……以前我們討論的是預(yù)訓(xùn)練模型的擴(kuò)展，每年模型的大小和數(shù)據(jù)量翻倍，算力需求也因此每年增加四倍，而現(xiàn)在我們?cè)诤笥?xùn)練和推理階段也看到了擴(kuò)展，預(yù)訓(xùn)練再也不被視為艱難，推理也變得復(fù)雜，把所有人類思維都視為一次性是荒謬的，快速思考和深度推理、反思、迭代和模擬，這些概念現(xiàn)在都已經(jīng)開始顯現(xiàn)。”
黃仁勛強(qiáng)調(diào)，很多人過去認(rèn)為，包括現(xiàn)在還有很多人認(rèn)為，設(shè)計(jì)一款更好的芯片，就是擁有更多的算力，更多的浮點(diǎn)運(yùn)算能力。算力確實(shí)很重要，但這種思維方式已經(jīng)過時(shí)，因?yàn)檫^去的軟件都是在系統(tǒng)上運(yùn)行的，是靜態(tài)的，也就是說(shuō)提升系統(tǒng)性能的最好方法就是做出更快的芯片，但我們已經(jīng)進(jìn)入機(jī)器學(xué)習(xí)，而非人類編程了，不僅僅是軟件，更要涉及整個(gè)數(shù)據(jù)處理過程。機(jī)器學(xué)習(xí)的關(guān)鍵是“飛輪效應(yīng)”，我們要考慮的是如何讓“飛輪”高效運(yùn)轉(zhuǎn)。很多人甚至都沒有意識(shí)到，光是數(shù)據(jù)整理和訓(xùn)練都需要AI，這個(gè)過程本身就非常復(fù)雜。而正是因?yàn)橛辛烁悄艿腁I來(lái)整理數(shù)據(jù)，現(xiàn)在有了合成數(shù)據(jù)生成以及各種不同的數(shù)據(jù)整理方式。因此，在進(jìn)行訓(xùn)練之前，已經(jīng)有大量的數(shù)據(jù)處理工作。所以當(dāng)考慮這個(gè)飛輪時(shí)，應(yīng)該從整體來(lái)看待，而不僅僅是關(guān)注訓(xùn)練，應(yīng)該設(shè)計(jì)一個(gè)計(jì)算系統(tǒng)和架構(gòu)，能夠讓這個(gè)飛輪每一步都盡可能高效，而不僅僅是特定應(yīng)用場(chǎng)景的訓(xùn)練。
黃仁勛稱：“訓(xùn)練只是其中一步，每一步都是艱難的，機(jī)器學(xué)習(xí)沒有任何容易的部分。無(wú)論是OpenAI，還是DeepMind的Gemini團(tuán)隊(duì)，他們做的都不是簡(jiǎn)單的事情。所以，你應(yīng)該關(guān)注整個(gè)過程，加速每一個(gè)步驟，尊重阿姆達(dá)爾定律。如果某個(gè)步驟占用30%的時(shí)間，即使加速三倍，整體過程的提升也有限。所以，關(guān)鍵是創(chuàng)建一個(gè)可以加速每個(gè)步驟的系統(tǒng)，這樣才能真正提高循環(huán)時(shí)間和整個(gè)飛輪的效率。”
他認(rèn)為，飛輪和學(xué)習(xí)的加速最終會(huì)帶來(lái)指數(shù)級(jí)的提升，英偉達(dá)的整個(gè)過程也都是通過CUDA加速的。
推理的增長(zhǎng)將達(dá)到億倍規(guī)模，英偉達(dá)“從不談?wù)撌袌?chǎng)份額”
對(duì)于英偉達(dá)的“護(hù)城河”，黃仁勛強(qiáng)調(diào)，英偉達(dá)的優(yōu)勢(shì)在于算法，以及上層科學(xué)和底層架構(gòu)的深度融合，他相信公司在推理方面的“護(hù)城河”會(huì)像在訓(xùn)練方面一樣深厚。
他認(rèn)為，訓(xùn)練實(shí)際上就是大規(guī)模推理，如果在特定架構(gòu)上完成了良好的訓(xùn)練，那么推理過程也會(huì)表現(xiàn)優(yōu)異，如果在這個(gè)架構(gòu)上構(gòu)建它，即使沒有特別的考慮，它也會(huì)能在這個(gè)架構(gòu)上運(yùn)行。因此，架構(gòu)的兼容性對(duì)于推理任務(wù)至關(guān)重要，就像iPhone和其他設(shè)備一樣。
同時(shí)，英偉達(dá)目前40%以上的收入來(lái)自推理，推理方面即將因推理鏈的出現(xiàn)而大幅增長(zhǎng)，黃仁勛表示是一場(chǎng)智能生產(chǎn)的革命，推理的增長(zhǎng)將達(dá)到億倍的規(guī)模，“這就像上學(xué)是為了將來(lái)在社會(huì)中有所貢獻(xiàn)，訓(xùn)練模型很重要，但最終的目標(biāo)是推理”。
黃仁勛表示，英偉達(dá)的目標(biāo)是創(chuàng)建一個(gè)無(wú)處不在的計(jì)算平臺(tái)，“我們每年都在努力創(chuàng)造一臺(tái)新的計(jì)算機(jī)，其性能提升兩到三倍，成本降低兩到三倍，能源效率提高兩到三倍。這種進(jìn)步令人難以置信。因此，我們建議客戶逐年分批購(gòu)買新設(shè)備，以維持在成本上的平均水平，這樣做的好處是在架構(gòu)上保持兼容性。
黃仁勛稱，目前以公司的改進(jìn)速度來(lái)構(gòu)建單獨(dú)的系統(tǒng)是非常困難的，同時(shí)還有一個(gè)難點(diǎn)在于，英偉達(dá)不僅僅將這些創(chuàng)新作為基礎(chǔ)設(shè)施或服務(wù)出售，而是將它們分解并集成到多個(gè)平臺(tái)中。因?yàn)槊總�(gè)客戶的集成需求都各不相同，我們必須將所有的架構(gòu)庫(kù)、算法和框架集成到他們的系統(tǒng)中，當(dāng)然也包括我們的安全系統(tǒng)和網(wǎng)絡(luò)。我們基本每年都要進(jìn)行大約10次集成操作。這真是個(gè)奇跡，但這也讓我感到瘋狂，想想這件事我就快要瘋了”。
而對(duì)于市場(chǎng)，他表示英偉達(dá)不想從任何人那里搶奪市場(chǎng)份額，“如果你看我們的ppt，會(huì)發(fā)現(xiàn)我們從不談?wù)撌袌?chǎng)份額。我們內(nèi)部討論的都是如何創(chuàng)造下一個(gè)事物、下一個(gè)可以在飛輪中解決的問題是什么、如何更好地為人們服務(wù)、如何將過去可能需要一年的飛輪縮短到一個(gè)月……在考慮這些事情的同時(shí)，我們確信我們的使命非常獨(dú)特。唯一的問題是這項(xiàng)使命是否必要……所有偉大的公司都應(yīng)該以使命為核心，關(guān)鍵在于你在做什么，以及這是否必要、是否有價(jià)值、是否具有影響力和幫助他人。”
如何看待OpenAI和馬斯克，是否需要百萬(wàn)張規(guī)模集群？
對(duì)于OpenAI，黃仁勛認(rèn)為是這個(gè)時(shí)代最具影響力的公司之一，是專注于AI、致力于追求AGI愿景的公司，ChatGPT的問世標(biāo)志著人工智能的覺醒，“我非常欣賞他們的速度以及推動(dòng)這一領(lǐng)域發(fā)展的獨(dú)特目標(biāo)”。
當(dāng)被問及馬斯克和xAI，黃仁勛也不吝夸贊，他表示在19天內(nèi)搭建完成一個(gè)10萬(wàn)張GPU集群，一個(gè)采用液體冷卻、通電并獲得許可的巨大工廠，“據(jù)我所知，世界上只有一個(gè)人能做到這一點(diǎn)，那就是埃隆”。同時(shí)，他也表示，現(xiàn)在已經(jīng)進(jìn)入擁有20萬(wàn)-30萬(wàn)塊GPU集群的時(shí)代。
那么集群是否需要擴(kuò)展到50萬(wàn)張甚至100萬(wàn)張的規(guī)模？黃仁勛的回答是：“如果看擴(kuò)展能力，進(jìn)行簡(jiǎn)單數(shù)學(xué)計(jì)算，再加上每年模型大小和算力的四倍增長(zhǎng)，再結(jié)合增長(zhǎng)的使用需求，你會(huì)發(fā)現(xiàn)，我們需要上百萬(wàn)塊GPU，這是毫無(wú)疑問的。但問題是，我們?nèi)绾螐臄?shù)據(jù)中心的角度進(jìn)行架構(gòu)設(shè)計(jì)？這與數(shù)據(jù)中心的規(guī)模密切相關(guān)，比如是以千兆瓦還是250兆瓦為單位？我覺得會(huì)是二者兼而有之……所有正在進(jìn)行的模型并行和分布式訓(xùn)練的突破，所有的批處理等，都是因?yàn)槲覀冊(cè)谠缙谧龀隽伺�，現(xiàn)在我們正在為未來(lái)進(jìn)行早期的工作。”
對(duì)于開源閉源的問題，黃仁勛表示這與安全相關(guān)，但不完全關(guān)乎安全。“沒有什么問題是因?yàn)殚]源模型導(dǎo)致的，這些模型可能是商業(yè)模式的引擎，它們是推動(dòng)創(chuàng)新所必需的，我對(duì)此完全支持。重要的是，不應(yīng)是對(duì)立，而是并存”。他贊同開源對(duì)于許多行業(yè)是必不可少的，使得金融服務(wù)、醫(yī)療保艦交通運(yùn)輸?shù)阮I(lǐng)域帶來(lái)巨大潛力。
對(duì)于開源，黃仁勛打了一個(gè)比方：“我的想象是，如果你把一個(gè)超級(jí)聰明的人關(guān)在一個(gè)有緩沖的房間里一個(gè)月，出來(lái)的可能并不會(huì)是一個(gè)更聰明的人。但是，如果有兩三個(gè)人坐在一起，通過交流、討論、相互質(zhì)詢，所有人都可能變得更聰明。所以，AI模型之間的交互、爭(zhēng)論和強(qiáng)化學(xué)習(xí)，以及合成數(shù)據(jù)的生成，這些概念是合理的。”
沒指望工作永遠(yuǎn)有趣，自己每天都在使用AI
在采訪的最后，黃仁勛也對(duì)自己和行業(yè)表達(dá)了看法。他表示：“我不認(rèn)為我們工作的全部都是有趣的。我的工作并不總是有趣的，也沒指望它永遠(yuǎn)有趣。你問我這是不是我的期望，我會(huì)說(shuō)這工作是重要的。我不太看重自己，但我非常認(rèn)真對(duì)待工作、責(zé)任和在這個(gè)時(shí)代的貢獻(xiàn)……和家庭、朋友、孩子這些一樣，他們不總是有趣的，但我們總是深深地?zé)釔鬯鼈儭?rdquo;
他認(rèn)為真正的問題是，他還能保持多長(zhǎng)時(shí)間的相關(guān)性。他表示自己每天都在使用AI，即便知道答案也會(huì)用AI再檢查下，以發(fā)現(xiàn)新的內(nèi)容，“AI作為導(dǎo)師、助手，作為一起頭腦風(fēng)暴的伙伴，檢查我的工作，它徹底顛覆了一切。這對(duì)于信息工作者而言是一場(chǎng)革命。我希望能保持這種相關(guān)性，繼續(xù)作出貢獻(xiàn)，因?yàn)檫@項(xiàng)工作對(duì)我來(lái)說(shuō)非常重要，我想繼續(xù)追求。我對(duì)目前的生活質(zhì)量感到難以置信，并無(wú)法想象錯(cuò)過這樣的時(shí)刻。”
