劃重點
黃仁勛認為,傳統(tǒng)面試過程并不總是判斷一個人是否適合的好方法,他更相信背景調(diào)查。
在解釋英偉達為何放棄Arm而選擇收購Mellanox時,黃仁勛稱文化融合充滿了挑戰(zhàn)。
黃仁勛始終期待計算機能夠展現(xiàn)出智能行為,并堅信軟件將讓算法以看似智能的方式解決問題。
為了確保每一代產(chǎn)品都能實現(xiàn)性能飛躍,英偉達為每個系統(tǒng)設(shè)計了六到七款全新芯片,并通過協(xié)同設(shè)計的方式,對整個系統(tǒng)進行徹底的革新。
黃仁勛自曝每天都使用ChatGPT,并相信其推理能力將越來越強,而答案的質(zhì)量卻會顯著提升。
黃仁勛的許多演講不僅篇幅冗長,而且內(nèi)容極其專業(yè)精深,但他的表現(xiàn)通常很棒。對此,他坦言自己無暇排練,只能硬著頭皮上。
在Arm攜手美國全國公共媒體(NPM)精心打造的定制化播客系列《Tech Unheard》的首秀中,英偉達首席執(zhí)行官黃仁勛作為特邀嘉賓接受了Arm首席執(zhí)行官雷內(nèi)哈斯(Rene Haas)的獨家專訪。哈斯對黃仁勛贊譽有加,認為他是一位名副其實的遠見卓識者。
訪談期間,哈斯與黃仁勛深入交流了后者的個人創(chuàng)業(yè)歷程、人工智能的未來前景,以及英偉達如何通過其獨特的持續(xù)創(chuàng)新精神與勃勃雄心,不斷推動技術(shù)邊界的拓展。此外,黃仁勛還闡述了如何重塑英偉達使其聚焦于系統(tǒng)芯片領(lǐng)域,并引領(lǐng)人工智能的工業(yè)革命的幕后故事,同時他還表達了對創(chuàng)新步伐能夠進一步加速的渴望。
《Tech Unheard》播客系列共計12集,哈斯將邀請行業(yè)領(lǐng)袖與政策制定者進行一對一的深度對話,分享他們的獨到見解、精彩故事以及對未來的展望。該系列自美國當(dāng)?shù)貢r間2024年10月9日起,每月播放一集,內(nèi)容涵蓋從人工智能的未來展望到構(gòu)建當(dāng)今頂尖技術(shù)與運營企業(yè)所需的思維模式。
以下為哈斯與黃仁勛對話全文:
01 如何招募合適的員工和高管?
哈斯:英偉達如今已發(fā)展得如此龐大,關(guān)于你們的招聘我一直很好奇的是,你們是如何在眾多候選人中識別出那些將在英偉達取得成功的人呢?畢竟,你們的公司文化獨特,行事風(fēng)格也別具一格。
黃仁勛:說實話,我們在這方面并不總是能做得完美,這確實需要一些運氣。我認為傳統(tǒng)的面試過程并不總是判斷一個人是否適合的好方法。畢竟,每個人都可以通過觀看YouTube上的面試技巧視頻來準(zhǔn)備一場看似建設(shè)性的對話。當(dāng)然,技術(shù)問題是可以提前準(zhǔn)備的,甚至有人分享過英偉達的技術(shù)面試題。我們盡量讓面試顯得既嚴(yán)格又具有挑戰(zhàn)性,但說實話,這仍然很難準(zhǔn)確評估一個人。因此,我的方法總是回到背景調(diào)查,我會去了解他們過去的工作經(jīng)歷和表現(xiàn)。
我之所以這么做,是因為一個人可以制造一個好的瞬間,但很難長期隱藏自己的過去和真實能力。所以我認為背景調(diào)查是一個很好的方法。我還會問一些深入的問題,然后觀察他們的推理過程和思維方式。但我認為,英偉達之所以對很多人來說都很成功,一方面是因為我們找到了優(yōu)秀的人,另一方面更在于我們創(chuàng)造了條件,讓這些人在這里能夠超越自我,發(fā)揮出比他們自認為能做到的更好水平。這很大程度上取決于我們是否透明地解釋了英偉達的愿景、戰(zhàn)略以及我們的工作方式。我一直很重視這件事,并為此花了很多時間。我們公司一直以透明地解釋我們所面臨的挑戰(zhàn)、機遇以及我們正在執(zhí)行的戰(zhàn)略而聞名。
我們的離職率很低,而且,這是一個非常多元化的環(huán)境,有很多背景各異的有趣的人,我們公司的人幾乎來自世界上所有偉大的公司。在公司內(nèi)部,信息流動得非常順暢,特別是關(guān)于公司戰(zhàn)略的信息。我一直覺得奇怪的是,有些公司存在很多信息壁壘,員工需要知道很多信息才能參與決策。當(dāng)然,人們不需要知道所有事情,但他們知道得越多,就越能夠代表公司做出明智的決策。所以我盡量保持透明,盡量讓人們擁有更多的權(quán)力和信息。
因此,我認為英偉達是世界上最小的大型公司之一,這得益于我們員工不可思議的生產(chǎn)力。我們現(xiàn)在大約有3萬名員工,也許現(xiàn)在稍微多一點。他們每天都需要做出數(shù)百個決策。如果這3萬人在統(tǒng)計上都在朝著一個方向前進,即使他們做出的決策往往是模糊的,但都是出于公司的長期利益考慮,那么這些決策很快就會累積起來產(chǎn)生巨大的正面影響。
哈斯:我一直感到驚訝的是,無論是通過精心挑選還是自然選擇,英偉達擁有那些對模糊性高度適應(yīng)的高級領(lǐng)導(dǎo)者,并且這些領(lǐng)導(dǎo)者會深入到組織的各個層級,這一點至關(guān)重要。我想了解的是,這種情況是如何形成的?是不是隨著公司的發(fā)展,你逐漸找到了一批與你的愿景相契合的高管,從而形成了這樣的氛圍?因為在英偉達,很多現(xiàn)在身處高層的管理者,在我還在這里工作或他們還在這里任職時,就完全接受你會四處尋找合適的人來解決問題的做法。
黃仁勛:首先,我并沒有特意去征求他們的意見。因為對于顯而易見的事情,你不應(yīng)該請求許可。英偉達從一開始就被定位為一個全棧計算公司,我們的目標(biāo)是制造GPU、CPU和網(wǎng)絡(luò)芯片,甚至包括交換機。同時,我們還要負責(zé)芯片架構(gòu)和設(shè)計、系統(tǒng)軟件的開發(fā)、算法的創(chuàng)建,甚至是求解器的開發(fā)。
那么,如何組織這樣一個既需要各部分協(xié)同工作,又需要分步驟構(gòu)建的整體呢?我們的解決方案是,不設(shè)立組織壁壘,而是將組織視為一個領(lǐng)導(dǎo)者可以培養(yǎng)人才、為他們創(chuàng)造成功條件、提供服務(wù)、幫助他們排除障礙的平臺。但關(guān)鍵在于,老板需要堅守使命,這個使命要貫穿整個公司。
因此,它可以跨越系統(tǒng)、芯片、網(wǎng)絡(luò)芯片、軟件和算法等各個領(lǐng)域。通過這種組織方式,我們還實現(xiàn)了透明度,所有的壁壘都變得具有滲透性。當(dāng)組織具有滲透性時,它往往會變得更好,因為會有更多的人來幫助你批評它、證明它。所以,我喜歡這種滲透性,如果你愿意的話,也可以稱之為我們公司的開放性。我就喜歡一切都很透明,大家共同努力讓它變得更好。這與一切都被封閉在黑暗的壁壘中截然不同。
02 為何放棄Arm選擇并購Mellanox?
哈斯:英偉達曾差點收購了Arm,但最終,你們選擇了收購Mellanox,這不僅是一次戰(zhàn)略上令人矚目的收購,而且從執(zhí)行層面看,對于一個注重滲透性的組織來說,這次收購似乎無縫銜接,進行得異常順利。你是如何做到這一點的?我是說,并購?fù)ǔ6己茈y,你是如何讓這次并購如此順暢的?
黃仁勛:確實,文化融合總是并購中的一大挑戰(zhàn)。但幸運的是,在Mellanox的管理團隊和英偉達以色列的管理團隊中,有多位我們的E-staff(執(zhí)行團隊)成員。我們涵蓋了架構(gòu)、研發(fā)、軟件系統(tǒng)、芯片、網(wǎng)絡(luò)和交換機等多個領(lǐng)域,現(xiàn)在還加入了NVLink交換機業(yè)務(wù)。在合并后的短時間內(nèi),Mellanox的產(chǎn)品組合迅速擴展了四倍,并且已經(jīng)深度融入到我們業(yè)務(wù)的各個方面。回顧這次收購,你可以看到我們的愿景是如何推動這一切的。我們意識到,計算單元不再僅僅是像GPU這樣的外設(shè),而Arm在很大程度上幫助我們完成了向構(gòu)建SoC(系統(tǒng)級芯片)公司的轉(zhuǎn)型。你還記得SoC嗎?它基本上就是一臺完整的計算機,而GPU只是其中的一部分。在SoC中,你必須自己負責(zé)整個系統(tǒng)的啟動。因此,這促使英偉達從一家以算法為核心的公司(這實際上是GPU公司的本質(zhì))轉(zhuǎn)變?yōu)橐患艺嬲挠嬎愎。這是我們的首次嘗試,一開始并不容易,但現(xiàn)在我們已經(jīng)能夠制造出令人驚嘆的SoC產(chǎn)品。
接下來,我們的發(fā)展方向是構(gòu)建系統(tǒng)。DGX-1是我們的第一個系統(tǒng)級產(chǎn)品。事實上,我仍然對SHIELD情有獨鐘,那是我們的Android TV電腦,我非常喜歡它,因為它是我們創(chuàng)造的第一個完整的英偉達系統(tǒng)。從SHIELD到DGX-1,我們學(xué)到了很多。直到今天,我們?nèi)匀辉诰S護SHIELD軟件的更新。
這正是英偉達向系統(tǒng)公司轉(zhuǎn)型的開始。人們有時會問我DGX-1是怎么來的,它如何改變了一切。其實,DGX-1只是一個大型的SHIELD。SHIELD是用塑料做的,而DGX-1重達600磅(約272千克)。這種轉(zhuǎn)變對我們來說并不是什么大問題,因為我們已經(jīng)有了制造系統(tǒng)的經(jīng)驗。真正重要的是,我們現(xiàn)在能夠構(gòu)建完整的系統(tǒng)。當(dāng)我們收購Mellanox時,我們的主要想法是計算機將不再是單個節(jié)點,而是整個數(shù)據(jù)中心將成為計算的單元。如果你沒有設(shè)計GPU、CPU、網(wǎng)絡(luò)接口卡(NIC)、交換機以及所有的收發(fā)器,并且無法把它們連接在一起,從無到有地啟動整個系統(tǒng),讓一切連接起來并運行起來,把工作負載分布到各個部分,那么你就不會真正理解構(gòu)建這些人工智能超級集群以及這一轉(zhuǎn)型的意義所在。
這個愿景非常清晰,對于激勵兩支團隊來說至關(guān)重要。為了激勵團隊,你必須有一個明確且令人振奮的愿景。我們就有這樣的愿景,而且它非常切實可行,因為你可以親眼看到它就在眼前超級集群以及從兩家公司獲得的所有設(shè)備。那個愿景既清晰又鼓舞人心,我們必須讓它變得切實可行。作為首席執(zhí)行官,你們必須把抽象的事物具體化,然后我們開始著手構(gòu)建它。此外,我還覺得Mellanox的企業(yè)文化非常出色,這也是我們并購能夠順利進行的重要原因之一。
哈斯:這種清晰度對于推動公司發(fā)展的確非常有幫助。再回到愿景這個話題,當(dāng)我講述公司故事時,我還注意到另一件事。比如SHIELD和早期的CUDA在石油和天然氣領(lǐng)域的應(yīng)用,當(dāng)時這些應(yīng)用的終極形態(tài)或市場潛力并不明顯。
黃仁勛:確實,很多人并沒有意識到這些應(yīng)用的潛力。事實上,那都是我們的初步嘗試。
哈斯:在當(dāng)時,很難看出這些嘗試會演變成什么真正的殺手級應(yīng)用或最終形態(tài),但你們展現(xiàn)出了令人難以置信的韌性和決心,在早期就去嘗試并測試各種想法,即使市場似乎還沒有準(zhǔn)備好,或者應(yīng)用場景還沒有被明確定義。你把這種能力歸功于什么?是驚人的直覺嗎?還是預(yù)見未來的能力?
黃仁勛:英偉達的優(yōu)勢在于我們身邊聚集了很多杰出人才,他們是世界上最優(yōu)秀的計算機科學(xué)家、戰(zhàn)略家和商業(yè)人才。他們不僅個人能力出眾,更重要的是,他們沒有個人主義傾向,都渴望為公司創(chuàng)造更大的價值。我認為,我們的成功首先是從這一點開始的。其次,我們在直覺方面也很擅長。我們對于需要解決什么問題,以及如何從現(xiàn)在走向我們想要成為的公司,都有很好的直覺。因此,我們能夠準(zhǔn)確地判斷出各種階段性目標(biāo)。
當(dāng)我們決定開發(fā)SHIELD時,很多人都不理解,認為我們在浪費時間。但我告訴他們,我們總有一天會成為一家系統(tǒng)公司。而SHIELD就是我們向這個目標(biāo)邁進的第一步。所有這些系統(tǒng)都將連接到云服務(wù)。為什么我們不先從最大的系統(tǒng)入手呢?為什么我們不首先開發(fā)這樣的系統(tǒng)呢?如果我們連這個都做不到,那更大的系統(tǒng)我們也做不出來。我們希望通過開發(fā)這樣的系統(tǒng),讓公司學(xué)習(xí)到新的技能,去嘗試、去失敗,但又不至于傷筋動骨。這樣,我們才能為未來的挑戰(zhàn)做好充分的準(zhǔn)備。
03 創(chuàng)始人模式 VS 經(jīng)理人模式
哈斯:你是否認為,只有創(chuàng)始人領(lǐng)導(dǎo)的公司才能像你剛才描述的那樣,既擁有清晰的愿景,又具備持續(xù)明確前進方向的韌性呢?因為最近關(guān)于創(chuàng)始人模式與經(jīng)理人模式的討論很多,而你作為一位領(lǐng)導(dǎo)公司30年的創(chuàng)始人,已經(jīng)取得了巨大的成功。但是,你所描述的這些,只能由創(chuàng)始人領(lǐng)導(dǎo)的公司做到嗎?
黃仁勛:我并不這么認為。我覺得你在Arm就做得很好。你知道,每當(dāng)我目睹你工作時,我的心中便充滿了無比的自豪感。我非常享受觀察你工作的過程,這總能帶給我極大的喜悅與驕傲。我深信,要想在工作上有所建樹,必須具備堅韌不拔的精神和堅定不移的毅力。我愿將其形容為歷經(jīng)痛苦與磨難的洗禮。在諸多方面,你必須學(xué)會去適應(yīng)這樣的現(xiàn)實:成功之路絕非坦途,而是布滿了痛苦與磨礪。它并非一系列成就的輕松累積,而是需要付出巨大的努力與堅持。
我當(dāng)然希望一切都能發(fā)生,因為這無疑會對你大有裨益。然而,回顧那些充滿挑戰(zhàn)的時刻,盡管當(dāng)時我可能并未完全意識到從中學(xué)到了什么,但它們確實使我變得更加堅強。我深知自己能夠克服一切困難,盡管在經(jīng)歷時可能并不喜歡那種感覺。然而,當(dāng)我回首往事,那些艱難的時刻恰恰是我成長的見證,也是你與公司最為自豪的時刻,因為我們共同挺過了那些難關(guān)。因此,我認為我們的公司之所以強大,正是因為我們擁有眾多這樣的勵志故事。在公司的每一個角落,都流傳著無數(shù)次歷經(jīng)挫折卻最終取得非凡成就的動人故事。它們?nèi)缤瑢氋F的財富,助力公司度過了一個又一個艱難時期。
04 期待計算機能夠展現(xiàn)出智能行為
哈斯:我們都已經(jīng)在這個行業(yè)中拼搏多年,關(guān)于人工智能的發(fā)展,我有種感覺,仿佛有些場景是我之前從未設(shè)想過的。我甚至覺得,這種轉(zhuǎn)變可能要到下一代才能完全體驗到。這種感覺就像是觸碰到了《星際迷航》中的未來邊界,就我的認知而言,我難以想象在人工智能如此廣泛應(yīng)用的未來之后,還會有什么新的變革。你對此有何看法?我們是否正在以驚人的速度推動行業(yè)的轉(zhuǎn)型,而這場轉(zhuǎn)型之后又會迎來什么呢?眼前所發(fā)生的一切,真是令人難以置信。
黃仁勛:我一直都對計算機能夠展現(xiàn)出智能行為抱有期待。我們有能力創(chuàng)造出如此卓越的軟件,我認為我們終將編寫出那樣的軟件,讓算法以看似智能的方式解決問題,仿佛計算機真的擁有了智慧。然而,我從未預(yù)料到這會引發(fā)一場工業(yè)革命。我曾多次提及,如今的計算機行業(yè)已經(jīng)超越了傳統(tǒng)范疇,它不再僅僅是一個工具或器具,而是成為了一個全新的制造業(yè)。
在我與你交談的此刻,我的手機靜靜地躺在口袋里,并未被使用;我的筆記本電腦也安靜地待在辦公室里。大多數(shù)人的電腦也是如此,只有在需要時才會被啟用。但與此不同的是,這個新的人工智能產(chǎn)業(yè),即我們正在構(gòu)建的產(chǎn)業(yè),它們始終在運行。無論你是否在使用它們,它們都在不斷地處理數(shù)據(jù)、生成Token,并在這一過程中產(chǎn)生智能。智能正在被大規(guī)模地制造出來。曾經(jīng),計算機只是一個工具或器具,而現(xiàn)在,它已經(jīng)成為了一個工廠,一個能夠大量生產(chǎn)極具價值物品的制造業(yè)。這對我們的行業(yè)來說,無疑是一個全新的時代。這是前所未有的變革。計算機現(xiàn)在成為了制造工具,是那些被稱為Token、特別是智能Token的驚人成果的創(chuàng)造者。這是一個非凡的觀念。因此,我認為我們正站在一場新工業(yè)革命的起跑線上。
哈斯:計算機行業(yè)的發(fā)展步伐是否超越了你原先的預(yù)想?作為這一領(lǐng)域最接近前沿的見證者,從AlexNet到DGX-1的每一次創(chuàng)新飛躍,你都親歷其中。自從我接手Arm以來,我們也在內(nèi)部對此進行了深入的探索,發(fā)現(xiàn)其進步的速度遠遠超出了我兩年半前乃至一年前所能想象的范疇。那么,對于你親身參與推動的這一切,你是否覺得它的發(fā)展比預(yù)期中還要迅猛?
黃仁勛:并非如此,我們實際上正在竭力加速其發(fā)展的步伐。我們的研發(fā)周期已經(jīng)成功地縮短至一年,這一決策的背后,是源自于對這項技術(shù)擁有巨大發(fā)展?jié)摿Φ纳羁陶J識。而且,我們今的努力已遠遠超越了單純制造芯片的范疇。我們深知,即便在最新的制程節(jié)點上,芯片的性能提升也僅僅是幾個百分點的量級,但這已是極為不易的成就。那么,我們?nèi)绾未_保每一代產(chǎn)品都能實現(xiàn)性能的顯著飛躍呢?答案是,我們?yōu)槊總系統(tǒng)設(shè)計了六到七款全新的芯片,并通過協(xié)同設(shè)計的方式,對整個系統(tǒng)進行徹底的革新,同時創(chuàng)造出諸如NVLink交換機和新型系統(tǒng)機架等革命性的發(fā)明。這些創(chuàng)新使得我們能夠在系統(tǒng)背部的主干上,利用銅質(zhì)導(dǎo)線將所有GPU緊密相連,從而實現(xiàn)了前所未有的大型封裝和3D封裝技術(shù)。
我們運用了多種先進的技術(shù)手段來實現(xiàn)這一目標(biāo)。因此,我們得以在相同的能耗和成本約束下,每年提供兩到三倍的性能提升。這實際上意味著,我們每年都在以遠超摩爾定律的速度降低人工智能的成本。若將這種復(fù)利效應(yīng)持續(xù)五年、六年乃至十年,我們將會見證智能成本以令人驚嘆的速度下降。我們之所以如此全力以赴,是因為我們堅信,現(xiàn)在正是所有人深刻認識到其價值的關(guān)鍵時刻。如果我們能夠大幅度地降低智能的成本,那么我們就可以在諸如推理等需要時間的場景中實現(xiàn)更多的可能。
當(dāng)你今天使用ChatGPT這個令人贊嘆的服務(wù)時,我也每天都在使用它。今天早上我就體驗了它的魅力,你按下回車鍵,提示被迅速加載,隨后它便生成了輸出。但在不遠的將來,它將通過迭代推理的方式尋找答案,或許還會采用樹搜索等復(fù)雜方法,甚至進行某種形式的迭代和反思,最終呈現(xiàn)出更加優(yōu)質(zhì)的輸出。在這個過程中,它可能已經(jīng)進行了上百次、上千次的推理,但答案的質(zhì)量卻會顯著提升。我們渴望降低成本,以便在保持原有成本和響應(yīng)速度的同時,提供這種新型、高效的推理推斷服務(wù)。
哈斯:我曾親眼目睹OpenAI模型的演示,其推理能力著實令人震撼,正如你所描述的那樣。它仿佛經(jīng)歷了一棵邏輯樹的探索,展現(xiàn)出與人類相似的權(quán)衡過程,但其速度卻遠超人類。然而,當(dāng)我深入思考當(dāng)前正在發(fā)生的變革時,我深感著迷。正如你所言,你正在以前所未有的速度引入全新的系統(tǒng)、數(shù)據(jù)集以及基礎(chǔ)設(shè)施。過去,人們每兩三年購買的CPU最終都會面臨貶值。而現(xiàn)在,你卻以每年一次的頻率構(gòu)建新的系統(tǒng)。人們迫切希望盡快采購并部署這些系統(tǒng)。
黃仁勛:雖然說起來簡單,但我們每年都在交付像這個房間一樣龐大的新型計算機,包括所有的布線、網(wǎng)絡(luò)、交換機和軟件。這確實令人難以置信。
哈斯:你明白我的意思嗎?我并不是在讓你預(yù)測未來。這更多是一個關(guān)于技術(shù)普及的問題。它能否保持當(dāng)前的發(fā)展速度繼續(xù)前行?
黃仁勛:我認為可以。但這必須以一種系統(tǒng)化的方式進行,也就是說,我們所做的每一項工作,都是基于一種架構(gòu)思維。這意味著,為昨天的集群(例如Hopper)開發(fā)的軟件,將能夠無縫地在Blackwell和Rubin上運行。同樣,為Rubin創(chuàng)建的軟件,也將能夠在Hopper上運行。這種架構(gòu)兼容性至關(guān)重要,因為行業(yè)在軟件上的投資遠超硬件,甚至達到上千倍。更不用說,軟件具有永恒的生命力。一旦開發(fā)或發(fā)布了軟件,就必須在其整個生命周期內(nèi)進行維護。CUDA的理念并非為了讓數(shù)百萬人學(xué)習(xí)編程,而是為了讓數(shù)百萬個GPU能夠與之兼容。
因此,你在一個GPU上的投資,將能夠延續(xù)到所有其他GPU上,而你今天編寫的軟件,在明天將會變得更加出色。我們未來編寫的所有軟件都將在已安裝的基礎(chǔ)設(shè)施上運行。因此,首先,我們必須具備架構(gòu)意識,并且對此保持高度的自律。其次,即使在系統(tǒng)層面,我們現(xiàn)在也極具架構(gòu)意識。我們會采用新的技術(shù)來推動系統(tǒng)設(shè)計的發(fā)展,同時確保不會放棄你昨天所做的工作。例如,當(dāng)我們首次進入數(shù)據(jù)中心業(yè)務(wù)時,一個超大規(guī)模數(shù)據(jù)中心的配電是每個機架12千瓦,而到了Blackwell時代,每個機架的配電已經(jīng)達到了120千瓦。密度提升了十倍,這意味著數(shù)百萬美元的服務(wù)器被壓縮到了一個機架中。因此,所節(jié)省的金額、能源和空間都是難以估量的。
哈斯:我們的故事有著諸多相似之處。Arm架構(gòu)歷經(jīng)30載,我們?yōu)槠鋬A注了數(shù)十年的心血軟件編寫,這一點有時并未得到人們的充分理解。
黃仁勛:對于每一塊Arm芯片,我們所做的每一項工作都備受關(guān)注。前幾天,我們剛展示了一些成果。有基準(zhǔn)測試顯示,Grace在每瓦性能上比全球頂尖的CPU高出四倍,這凸顯了能源效率的重要性,它無處不在,至關(guān)重要。
哈斯:當(dāng)你從500兆瓦的數(shù)據(jù)中心規(guī)模擴展到5吉瓦時,從網(wǎng)絡(luò)延遲等相關(guān)因素考慮,你是否觀察到某些架構(gòu)層面的問題開始浮現(xiàn)?當(dāng)然,我們無需深入探討具體技術(shù)細節(jié),但從物理學(xué)的基本原理出發(fā),你是否發(fā)現(xiàn)了一些開始不再適用的東西?
黃仁勛:確實,一切都會失效,因為物理定律是鐵律,無法違背,而失效是必然的過程。當(dāng)然,我們正沿著功率密度曲線迅速攀升,增長態(tài)勢呈指數(shù)級。從12千瓦到40千瓦,再到120千瓦、200千瓦,甚至更高,我們不斷壓縮、密集化計算資源。在此過程中,液冷技術(shù)的效率顯著提升。同時,我們盡可能延長銅線的使用壽命,因為只要條件允許,使用銅線傳輸電力就更為有利,無需在電信號和光信號之間轉(zhuǎn)換。盡管最終我們不得不轉(zhuǎn)向光學(xué)技術(shù),但我們會盡可能長時間地利用電信號的優(yōu)勢。在大多數(shù)數(shù)據(jù)中心中,使用電信號在成本效益、能源效率和可靠性方面更具優(yōu)勢。因此,我們選擇了密集化策略。密集化的另一個顯著優(yōu)勢是,特定機架或相鄰機架中的所有GPU可以作為一個巨型GPU協(xié)同工作,這確實令人驚嘆不已。
05 沒時間練習(xí)演講,只能硬著頭皮上
哈斯:我一直很好奇,記得你在Computex的演講內(nèi)容之豐富簡直令人嘆為觀止,尤其是我觀看的時候還是周日晚上。作為另一個經(jīng)常做演講但無論是深度還是長度都遠不及你的人,我很想知道你是如何做到這一點的。你是否進行了大量的排練?我記得我們以前共事時,有時甚至在演講前一晚你還在調(diào)整內(nèi)容,但你總是能出色地完成演講,F(xiàn)在,你的演講內(nèi)容之深入,特別是當(dāng)涉及到數(shù)據(jù)中心架構(gòu)的詳細闡述時,你的準(zhǔn)備過程是怎樣的?
黃仁勛:其實,我們每天都在為這樣的演講做準(zhǔn)備。你知道嗎,我們的工作有一個獨特的優(yōu)勢,那就是我們不是專業(yè)的演員。所以,這些內(nèi)容真的是我們?nèi)粘9ぷ鞯恼鎸嵎从。我們每天都沉浸在這些領(lǐng)域里。首先,我們每天都在學(xué)習(xí)和準(zhǔn)備。但很多時候,我們做的事情,坦白說,都是在教學(xué)。為了推動一個行業(yè)的發(fā)展,為了塑造市場,并引入我們正在探索的新理念,其中很多都涉及到教學(xué)的成分。這不是在做廣告,你明白嗎?我們是一家平臺公司,這意味著我們不能單打獨斗。我們需要其他人的合作與支持。所以,我們的工作就是教學(xué)、啟發(fā)、展示,也許還有演示,希望越來越多的人能夠相信CUDA,相信英偉達在加速計算領(lǐng)域的實力,今天就能加入我們的行列,共同推動人工智能的發(fā)展。我們現(xiàn)在正在研究的下一個重大項目是物理AI,以及我們?nèi)绾巫屓斯ぶ悄芤环矫鎸W(xué)習(xí)遵守物理定律,另一方面又能深入理解這些定律。我認為這將是一個漫長的旅程。所以,GTC和Computex這樣的活動對我們來說,都是進行這些工作的重要機會,慶祝我們的生態(tài)系統(tǒng)以及合作伙伴所取得的成就,向他們傳授我們的理念,激勵他們展望未來。
哈斯:這確實很相似。當(dāng)我做QBU演講時,我的首席助理會說:“哇,這些幻燈片好簡潔。”但其實這就是我整天都在談?wù)摰膬?nèi)容。我在想,怎么可能不這樣呢?
黃仁勛:說實話,這仍然很有挑戰(zhàn)性。因為我們沒有專門的時間去排練。所以,這并不是因為我們故意不排練,等到我們把所有的內(nèi)容都準(zhǔn)備好之后,通常就沒有多余的時間去排練了。因此,最后我只能硬著頭皮上。(科技新聞特約編譯金鹿)