從預(yù)訓(xùn)練轉(zhuǎn)向推理，人工智能領(lǐng)域正在經(jīng)歷的一個(gè)關(guān)鍵轉(zhuǎn)變，而這將顛覆AI投資邏輯。
近日， 在知名商業(yè)博客節(jié)目Invest Like The Best中，Patrick O'Shaughnessy對(duì)談了Benchmark普通合伙人Chetan Puttagunta和基金經(jīng)理Modest Proposal，就人工智能模型當(dāng)前面臨的擴(kuò)展挑戰(zhàn)、開(kāi)源模型的驚人普及以及對(duì)一級(jí)和二級(jí)市場(chǎng)的投資影響等話(huà)題展開(kāi)討論。
由于人類(lèi)文本數(shù)據(jù)的耗盡，大模型訓(xùn)練轉(zhuǎn)向使用由LLMs生成的合成數(shù)據(jù)，但這未能使預(yù)訓(xùn)練繼續(xù)擴(kuò)展，導(dǎo)致AI大模型正在轉(zhuǎn)向一個(gè)新的范式從預(yù)訓(xùn)練（pre-training）轉(zhuǎn)向測(cè)試時(shí)計(jì)算（test-time compute）。
Chetan介紹道，測(cè)試時(shí)計(jì)算實(shí)際上是讓大型語(yǔ)言模型審視問(wèn)題，想出一系列可能的解決方案，并行推進(jìn)多種解決方案，同時(shí)有一個(gè)叫做驗(yàn)證器的東西，反復(fù)地對(duì)解決方案進(jìn)行迭代處理。
從預(yù)訓(xùn)練轉(zhuǎn)向推理，對(duì)AI究竟意味著什么？這在過(guò)去六到八周里，已經(jīng)改變了風(fēng)投的投資邏輯。
從預(yù)訓(xùn)練轉(zhuǎn)向推理，究竟意味著什么？
Chetan 強(qiáng)調(diào)了測(cè)試時(shí)推理范式的兩個(gè)關(guān)鍵挑戰(zhàn)：首先，用于測(cè)試時(shí)計(jì)算的算法可能很快就會(huì)耗盡解決方案的有用搜索空間；其次，驗(yàn)證器在區(qū)分好的和壞的解決方案以及尋找最優(yōu)路徑方面的能力，并不確定是否能隨著計(jì)算力的無(wú)限擴(kuò)展而線(xiàn)性增長(zhǎng)。此外，任務(wù)本身的復(fù)雜性和模糊性意味著限制因素可能不僅僅是計(jì)算力。
盡管存在這些挑戰(zhàn)，Chetan 對(duì)通過(guò)算法、數(shù)據(jù)、硬件和優(yōu)化改進(jìn)來(lái)解決這些問(wèn)題持樂(lè)觀態(tài)度。
Modest從微觀層面分析了從預(yù)訓(xùn)練轉(zhuǎn)向推理時(shí)間的幾個(gè)重大影響。其一，它能使收入生成與支出更好地協(xié)調(diào)一致：
我認(rèn)為這對(duì)于整個(gè)行業(yè)來(lái)說(shuō)是一個(gè)非常非常有益的結(jié)果，因?yàn)樵陬A(yù)訓(xùn)練領(lǐng)域，情況并非如此。將投入 200 億、300 億、400 億美元用于資本支出，在 9 到 12 個(gè)月內(nèi)訓(xùn)練模型，進(jìn)行訓(xùn)練后的工作，然后將其推出，然后希望通過(guò)推理從中獲得收入。在測(cè)試時(shí)間計(jì)算擴(kuò)展的世界里，你現(xiàn)在正在使你的支出與模型的底層使用情況相匹配。因此，就純粹的效率和財(cái)務(wù)方面的可擴(kuò)展性而言，對(duì)于超大規(guī)模企業(yè)來(lái)說(shuō)，這要好得多。
Modest認(rèn)為第二個(gè)重大影響在于，但如果確實(shí)看到了向推理時(shí)間的轉(zhuǎn)變，在網(wǎng)絡(luò)架構(gòu)、芯片集群布局等方面，以及支撐投資世界很大一部分的諸多敘述，都需要進(jìn)行重新思考：
需要開(kāi)始思考如何重新設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)？是否需要在能源低成本的陸地上建立數(shù)百萬(wàn)個(gè)芯片超級(jí)集群，還是需要在全國(guó)范圍內(nèi)分散布局更小、更低延遲、更高效的推理時(shí)間數(shù)據(jù)中心？而且當(dāng)你重新設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)時(shí)，對(duì)電力利用率和電網(wǎng)設(shè)計(jì)的影響是什么？
我想說(shuō)，支撐投資世界很大一部分的諸多敘述，我認(rèn)為都得重新思考。而且我要說(shuō)，由于這是一種相對(duì)較新的現(xiàn)象，如今公眾市場(chǎng)尚未開(kāi)始著手應(yīng)對(duì)這種潛在的新架構(gòu)是什么樣子，以及它可能會(huì)如何影響一些潛在的支出。
過(guò)去的六到八周里，小模型改變風(fēng)投思維
Chetan和Modest都不確定預(yù)訓(xùn)練是否會(huì)回歸，但當(dāng)前的瓶頸意味著小型團(tuán)隊(duì)有機(jī)會(huì)在特定領(lǐng)域展現(xiàn)創(chuàng)新。
Chetan觀察到，在過(guò)去的六到八周里，不斷有小型團(tuán)隊(duì)（2-5人）涌出，他們正在以相對(duì)較少的資金開(kāi)發(fā)新模型，并在性能上與前沿模型競(jìng)爭(zhēng)，這是過(guò)去兩年中未曾見(jiàn)到的現(xiàn)象。
Chetan指出，開(kāi)源模型，特別是Meta的LLaMA系列，使得小型團(tuán)隊(duì)能夠快速追趕技術(shù)前沿，無(wú)需巨額投資。小型團(tuán)隊(duì)能夠通過(guò)下載、部署和優(yōu)化開(kāi)源模型，以較低成本迅速達(dá)到技術(shù)前沿。由于不需要大量的計(jì)算資源或數(shù)據(jù)，小型團(tuán)隊(duì)可以在特定領(lǐng)域快速展現(xiàn)創(chuàng)新能力，迅速達(dá)到技術(shù)前沿。一旦小型團(tuán)隊(duì)達(dá)到技術(shù)前沿，他們可以與大型服務(wù)提供商（如AWS）建立合作關(guān)系。
在這一趨勢(shì)下，GPU的限制也減少了。與2022年相比，對(duì)于處于技術(shù)前沿的團(tuán)隊(duì)來(lái)說(shuō)，GPU資源的限制已不再那么嚴(yán)重，尤其是在測(cè)試時(shí)推理和計(jì)算方面。
這也帶來(lái)了風(fēng)險(xiǎn)投資的轉(zhuǎn)變，從一度回避資本密集型的大型模型訓(xùn)練而專(zhuān)注于應(yīng)用投資，轉(zhuǎn)向開(kāi)始關(guān)注更靈活、資本效率更高的小型模型團(tuán)隊(duì)創(chuàng)新。Chetan表示：
風(fēng)險(xiǎn)投資模式一直是能否組建一支非凡的團(tuán)隊(duì)，實(shí)現(xiàn)技術(shù)突破，做到資本輕型化，迅速超越現(xiàn)有企業(yè)，然后以某種方式獲得分銷(xiāo)立足點(diǎn)并推進(jìn)。在過(guò)去兩年的模式層面，這似乎絕無(wú)可能實(shí)現(xiàn)。但在過(guò)去的六、八周里，這種情況確實(shí)發(fā)生了改變。
以下是部分對(duì)談要點(diǎn)和精華：
在測(cè)試時(shí)間或推理范例中，有兩件事很快就會(huì)凸顯出來(lái)。第一，大型語(yǔ)言模型（LLMs）會(huì)非常迅速地探索潛在解決方案的空間，用于測(cè)試時(shí)間計(jì)算的算法可能會(huì)很快耗盡有用的解決方案搜索空間。第二點(diǎn)，存在一種被稱(chēng)為驗(yàn)證器的東西，它正在審視哪些可能是好的解決方案，哪些可能是壞的解決方案，應(yīng)該追求什么。
在微觀層面上，從預(yù)訓(xùn)練轉(zhuǎn)向推理時(shí)間有幾個(gè)重大影響。其一，它能使收入生成與支出更好地協(xié)調(diào)一致。在測(cè)試時(shí)間計(jì)算擴(kuò)展的世界里，你現(xiàn)在正在使你的支出與模型的底層使用情況相匹配。因此，就純粹的效率和財(cái)務(wù)方面的可擴(kuò)展性而言，對(duì)于超大規(guī)模企業(yè)來(lái)說(shuō)，這要好得多。
第二個(gè)重大影響在于，向推理時(shí)間的轉(zhuǎn)變需要開(kāi)始思考如何重新設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)？是否需要在能源低成本的陸地上建立數(shù)百萬(wàn)個(gè)芯片超級(jí)集群，還是需要在全國(guó)范圍內(nèi)分散布局更小、更低延遲、更高效的推理時(shí)間數(shù)據(jù)中心？而且當(dāng)重新設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)時(shí)，對(duì)電力利用率和電網(wǎng)設(shè)計(jì)的影響是什么？
在當(dāng)下這個(gè)大模型平臺(tái)期，小團(tuán)隊(duì)開(kāi)始趕上前沿模型。只有兩到五個(gè)人的團(tuán)隊(duì)，能夠以遠(yuǎn)低于大型實(shí)驗(yàn)室投入的資金，追趕前沿。部分原因在于開(kāi)源模型的數(shù)量驚人地激增。具體來(lái)說(shuō)，Meta 在 LLaMA 方面的所作所為在這里產(chǎn)生了巨大的影響。
你不需要大量的計(jì)算資源，或者你不需要大量的數(shù)據(jù)，你就能夠在特定的垂直領(lǐng)域、特定的技術(shù)或者特定的用例方面展現(xiàn)出特別的聰明才智和創(chuàng)新能力，從而非常迅速地躍升至前沿。我認(rèn)為這在很大程度上改變了我個(gè)人對(duì)模型層以及模型層潛在早期投資的看法。
對(duì)于處于技術(shù)前沿的團(tuán)隊(duì)來(lái)說(shuō)，他們不再特別受限于GPU資源，尤其是在追求測(cè)試時(shí)推理或計(jì)算的情況下。與2022年相比，計(jì)算方面的挑戰(zhàn)已不再那么嚴(yán)峻，特別是對(duì)于服務(wù)少量企業(yè)客戶(hù)或針對(duì)特定用例優(yōu)化的消費(fèi)者解決方案的團(tuán)隊(duì)。
到 2025 年，我們將非常接近或達(dá)到通用人工智能的水平。鑒于當(dāng)前的進(jìn)展和創(chuàng)新，再加上現(xiàn)在轉(zhuǎn)向測(cè)試時(shí)的計(jì)算和推理，從這個(gè)角度來(lái)看，通用人工智能即將到來(lái)。
如果 OpenAI 選擇宣稱(chēng)已實(shí)現(xiàn)通用人工智能，我認(rèn)為這將在他們和微軟之間引發(fā)一種非常有趣的動(dòng)態(tài)，這將加劇當(dāng)前已經(jīng)在發(fā)揮作用的、本就非常有趣的動(dòng)態(tài)。所以，這在明年肯定是值得關(guān)注的，不僅對(duì)公開(kāi)市場(chǎng)的投資者而言是如此，對(duì)更廣泛的生態(tài)系統(tǒng)的影響也是如此。
六、九個(gè)月前大家都非常擔(dān)憂(yōu)的增量資本。但從第三季度的數(shù)據(jù)中得出的看法是，這里有應(yīng)用場(chǎng)景。推理正在進(jìn)行。技術(shù)正在發(fā)揮其應(yīng)有的作用，推理的成本在驟降，利用率在飆升。把這兩者結(jié)合起來(lái)，你會(huì)得到一個(gè)不斷增長(zhǎng)的可觀收入，一切都很好。
在私人市場(chǎng)中，正在發(fā)生的事情之一就是計(jì)算價(jià)格的急劇下降，無(wú)論是推理還是訓(xùn)練，或者其他什么，因?yàn)樗兊迷絹?lái)越容易獲得。如果你今天坐在這里，作為一名應(yīng)用程序開(kāi)發(fā)人員，與兩年前相比，這些模型的推理成本下降了 100 倍、200 倍。坦率地說(shuō)，這太離譜了。從未見(jiàn)過(guò)成本曲線(xiàn)看起來(lái)如此陡峭、如此之快。
以下為對(duì)談全文：
Patrick
今天我的嘉賓是Chetan Puttagunta和Modest Proposal。如果你像我一樣癡迷于人工智能前沿以及商業(yè)和投資影響，那你一定會(huì)喜歡這場(chǎng)對(duì)話(huà)。Chetan是基準(zhǔn)資本Benchmark的普通合伙人兼投資者，而Modest Proposal是一位匿名投資者，他在公開(kāi)市場(chǎng)管理著一大筆資金。兩人都是我的好朋友，也是這個(gè)節(jié)目的�？�，但這是他們第一次一起出鏡。
時(shí)機(jī)再好不過(guò)了。隨著頂尖實(shí)驗(yàn)室達(dá)到規(guī)模極限，并從預(yù)訓(xùn)練轉(zhuǎn)向測(cè)試時(shí)的計(jì)算，我們可能正在見(jiàn)證人工智能發(fā)展的一個(gè)關(guān)鍵轉(zhuǎn)變。我們一起探討這一變化如何能夠使人工智能開(kāi)發(fā)民主化，同時(shí)重塑公共和私人市場(chǎng)的投資格局。請(qǐng)享受與我的朋友Chetan Puttagunta和Modest Proposal的精彩討論。
LLMs的現(xiàn)狀及其規(guī)模
Patrick
那么，Chetan，或許你可以先從你的角度跟我們講講，在關(guān)于大型語(yǔ)言模型及其擴(kuò)展的故事中，在技術(shù)方面當(dāng)下最有趣的部分是什么。
Chetan
是的，我認(rèn)為我們現(xiàn)在處于這樣一個(gè)階段，即人們普遍認(rèn)同或知曉，在過(guò)去的兩年里，所有實(shí)驗(yàn)室在如何看待規(guī)模擴(kuò)展方面都遇到了某種趨于平穩(wěn)的效果，這特別是在預(yù)訓(xùn)練領(lǐng)域。據(jù)規(guī)模擴(kuò)展的規(guī)律，在預(yù)訓(xùn)練中，計(jì)算能力增加得越多，得到的模型就越好。一切都以數(shù)量級(jí)來(lái)考慮。所以，在這個(gè)問(wèn)題上增加 10 倍的計(jì)算能力，模型性能和智能就會(huì)有一個(gè)階躍函數(shù)式的提升。
這無(wú)疑在這里帶來(lái)了令人難以置信的突破，我們從所有實(shí)驗(yàn)室看到的都是非常出色的模型。但這一切的陰影甚至從2022年底開(kāi)始，在某個(gè)時(shí)候，我們將耗盡由人類(lèi)生成的文本數(shù)據(jù)。
而且我們很快就要進(jìn)入合成數(shù)據(jù)的世界了。世界上所有的知識(shí)實(shí)際上都已被標(biāo)記化，并被這些模型所吸收。當(dāng)然，存在小眾數(shù)據(jù)、私人數(shù)據(jù)以及所有這些尚未被標(biāo)記化的小型存儲(chǔ)庫(kù)，但就數(shù)量級(jí)而言，這不會(huì)對(duì)這些模型的可用數(shù)據(jù)量產(chǎn)生特別顯著的增加。
在 2022 年展望未來(lái)時(shí)，你們看到了合成數(shù)據(jù)是否能讓這些模型繼續(xù)擴(kuò)展這個(gè)重大問(wèn)題。
正如你們看到的那條線(xiàn)，大家都認(rèn)為這個(gè)問(wèn)題會(huì)在 2024 年真正凸顯出來(lái)。而現(xiàn)在我們就在這里，我們身處當(dāng)下，大型模型供應(yīng)商都在努力用合成數(shù)據(jù)進(jìn)行訓(xùn)練。而現(xiàn)在，正如媒體所報(bào)道的，以及所有這些人工智能實(shí)驗(yàn)室的領(lǐng)導(dǎo)者都公開(kāi)表示，由于合成數(shù)據(jù)，我們現(xiàn)在遇到了限制。
由大型語(yǔ)言模型自身生成的合成數(shù)據(jù)無(wú)法使預(yù)訓(xùn)練中的規(guī)模擴(kuò)展得以持續(xù)。因此，我們現(xiàn)在轉(zhuǎn)向一種被稱(chēng)為測(cè)試時(shí)計(jì)算的新范例。從非�；镜膶用鎭�(lái)說(shuō)，測(cè)試時(shí)計(jì)算就是你實(shí)際上讓大型語(yǔ)言模型審視這個(gè)問(wèn)題，想出一系列可能的解決方案，并并行推進(jìn)多種解決方案。你創(chuàng)建了這個(gè)叫做驗(yàn)證器的東西，反復(fù)地對(duì)解決方案進(jìn)行迭代處理，而這種新的擴(kuò)展范例，可以說(shuō)，在 X 軸上以對(duì)數(shù)刻度測(cè)量的時(shí)間，以及在 Y 軸上的智能。
這就是我們?nèi)缃竦奶幘�，似乎幾乎所有人都在邁向這樣一個(gè)世界：在這個(gè)世界里，我們從基于預(yù)訓(xùn)練和訓(xùn)練的擴(kuò)展，發(fā)展到基于如今被稱(chēng)為推理的擴(kuò)展，或者說(shuō)推理時(shí)間、測(cè)試時(shí)間，無(wú)論你怎么稱(chēng)呼它。這就是截至 2024年第四季度我們的現(xiàn)狀。
Patrick
這是一個(gè)關(guān)于整體情況的后續(xù)問(wèn)題。那么，先把資本支出以及我們稍后與大型公共科技公司討論的所有其他問(wèn)題放在一邊，基于你現(xiàn)在所了解的情況，能否說(shuō)，轉(zhuǎn)向以時(shí)間為變量的測(cè)試時(shí)縮放，就像“誰(shuí)在乎呢？”只要這些東西變得越來(lái)越強(qiáng)大，這不就是最重要的嗎？而且我們是以一種不同于僅僅基于預(yù)訓(xùn)練的方式來(lái)做這件事的，這一事實(shí)又如何呢？真的有人在乎嗎？這重要嗎？
Chetan
在測(cè)試時(shí)間或推理范例中，有兩件事很快就會(huì)凸顯出來(lái)，那就是大型語(yǔ)言模型（LLMs）會(huì)非常迅速地探索潛在解決方案的空間。作為模型開(kāi)發(fā)者或從事模型工作的人員，很快就會(huì)意識(shí)到，用于測(cè)試時(shí)間計(jì)算的算法可能會(huì)很快耗盡有用的解決方案搜索空間。這是第一點(diǎn)。
第二點(diǎn)，存在一種被稱(chēng)為驗(yàn)證器的東西，它正在審視哪些可能是好的解決方案，哪些可能是壞的解決方案，應(yīng)該追求什么，以及能夠辨別出哪些是好的解決方案，哪些是壞的解決方案，或者哪些是最佳路徑，哪些不是最佳路徑。目前尚不清楚這是否會(huì)隨著計(jì)算能力的無(wú)限增強(qiáng)而呈線(xiàn)性擴(kuò)展。最后，任務(wù)本身可能是復(fù)雜的、不明確的，而限制因素可能是計(jì)算能力，也可能不是。
所以，思考這些問(wèn)題總是非常有趣的，就好像你有無(wú)限的計(jì)算能力來(lái)解決這個(gè)問(wèn)題，你能否做得更快？當(dāng)然，在推理方面，肯定會(huì)有一些問(wèn)題，如果你只是擴(kuò)大計(jì)算規(guī)模就能做得更快。但很多時(shí)候，我們開(kāi)始看到證據(jù)表明，在我們當(dāng)今擁有的技術(shù)中，這不一定是能隨計(jì)算呈線(xiàn)性擴(kuò)展的東西。
現(xiàn)在我們能夠解決所有這些問(wèn)題嗎？當(dāng)然，會(huì)有算法的改進(jìn)，會(huì)有數(shù)據(jù)的改進(jìn)，會(huì)有硬件的改進(jìn)，這里會(huì)有各種各樣的優(yōu)化改進(jìn)。我們?nèi)栽诎l(fā)現(xiàn)的是，用于推理的基礎(chǔ)模型所擁有的固有知識(shí)或可用數(shù)據(jù)仍然有限。僅僅因?yàn)槟阍谧非鬁y(cè)試時(shí)間，并不意味著你就能通過(guò)在測(cè)試時(shí)間擴(kuò)大計(jì)算規(guī)模來(lái)突破之前所有的數(shù)據(jù)限制。
所以，這并不是說(shuō)我們?cè)谕评矸矫嬗龅搅苏系K，也不是說(shuō)我們?cè)跍y(cè)試時(shí)間遇到了障礙。這只是問(wèn)題集、挑戰(zhàn)以及計(jì)算機(jī)科學(xué)問(wèn)題開(kāi)始演變。作為一名風(fēng)險(xiǎn)投資家，我非常樂(lè)觀，相信我們能夠解決所有這些問(wèn)題。但它們是可以解決的。
宏觀視角
Patrick
那么，如果這就是研究實(shí)驗(yàn)室的觀點(diǎn)，Modest，我很好奇你能給我們講講大型公共科技公司的悲觀看法，因?yàn)樵谶@個(gè)話(huà)題上，很多內(nèi)容都是關(guān)于支出資本、戰(zhàn)略定位、所謂的所有這些支出的投資回報(bào)率，以及他們將如何在這一巨額資本支出中獲取回報(bào)。你認(rèn)為Chetan剛剛所說(shuō)的一切都能很好地反映在公共科技公司的立場(chǎng)、定價(jià)和估值中嗎？
Modest
我認(rèn)為你必須從宏觀層面開(kāi)始，然后再深入到微觀層面。為什么這很重要呢？因?yàn)榇蠹叶贾�，如今在�?biāo)準(zhǔn)普爾 500 指數(shù)中，大型科技公司所占比例更大。但除此之外，我認(rèn)為從主題上講，人工智能已經(jīng)更廣泛地滲透到工業(yè)、公用事業(yè)領(lǐng)域，而且我認(rèn)為，作為對(duì)這一領(lǐng)域的直接投資，其市值占比在 40%到 45%之間。
而且，如果你甚至將其擴(kuò)展到世界其他地區(qū)，你就會(huì)把阿斯麥（ASML）、臺(tái)積電（TSMC）以及整個(gè)日本芯片行業(yè)都牽扯進(jìn)來(lái)。
所以，如果你看看累計(jì)市值，這是當(dāng)下對(duì)人工智能的直接投資，規(guī)模巨大。所以我認(rèn)為，當(dāng)你審視整個(gè)投資格局時(shí)，你幾乎被迫對(duì)此形成看法，因?yàn)閹缀跛腥硕紩?huì)在某種形式上與一個(gè)指數(shù)進(jìn)行對(duì)比，而該指數(shù)在微觀層面上將是人工智能的衍生投資。我認(rèn)為這是一個(gè)令人著迷的時(shí)代，因?yàn)樗械墓_(kāi)市場(chǎng)投資都是對(duì)不同路徑進(jìn)行情景分析和概率加權(quán)。如果你回想一下大概四個(gè)月前我們談?wù)摰臅r(shí)候，我想說(shuō)，結(jié)果的分布已經(jīng)發(fā)生了變化。
當(dāng)時(shí)，在那個(gè)時(shí)間點(diǎn)，在那個(gè)層面上進(jìn)行預(yù)訓(xùn)練和擴(kuò)大規(guī)模絕對(duì)是可行之道。當(dāng)時(shí)我們就討論了其影響。我們談?wù)撨^(guò)帕斯卡的賭注，也談?wù)撨^(guò)囚徒困境。在我看來(lái)，當(dāng)投入成本是 10 億美元或 50 億美元時(shí)，談?wù)撨@些是容易的。但我們很快就要接近這樣一個(gè)時(shí)間點(diǎn)，屆時(shí)賭注將達(dá)到 200 億美元或 500 億美元。你可以看看這些公司的現(xiàn)金流量表。很難悄悄加入300億美元的交易額度。
因此，GPT-5 的成功總體上崩潰了。讓我們將其應(yīng)用于所有不同的實(shí)驗(yàn)室。我認(rèn)為這原本會(huì)是關(guān)于投入資金量的一個(gè)重大證明點(diǎn)，因?yàn)檫@些都是三到四年的投入承諾。如果你回到寫(xiě)這篇文章的時(shí)候，當(dāng)時(shí)是在談?wù)?Stargate，即假設(shè)的由 OpenAI 和微軟討論的 1000 億美元數(shù)據(jù)中心，那是在 2028 年的交付承諾。
但在接下來(lái)的六到九個(gè)月中的某個(gè)時(shí)候，要么行，要么不。我們已經(jīng)知道，30 萬(wàn)到 40萬(wàn)個(gè)芯片的超級(jí)集群將在明年年底到 2026 年初交付。但我們可能需要看到下一款機(jī)型取得一些成功的證據(jù)，才能獲得下一輪的承諾。所以，我認(rèn)為所有這些都是背景。在微觀層面上，如果我們從預(yù)訓(xùn)練轉(zhuǎn)向推理時(shí)間，這將是一個(gè)非常有力的轉(zhuǎn)變，并且有幾個(gè)重大影響。
其一，它能使收入生成與支出更好地協(xié)調(diào)一致。我認(rèn)為這對(duì)于整個(gè)行業(yè)來(lái)說(shuō)是一個(gè)非常非常有益的結(jié)果，因?yàn)樵陬A(yù)訓(xùn)練領(lǐng)域，情況并非如此。
將投入 200 億、300 億、400 億美元用于資本支出，在 9 到 12 個(gè)月內(nèi)訓(xùn)練模型，進(jìn)行訓(xùn)練后的工作，然后將其推出，然后希望通過(guò)推理從中獲得收入。在測(cè)試時(shí)間計(jì)算擴(kuò)展的世界里，你現(xiàn)在正在使你的支出與模型的底層使用情況相匹配。因此，就純粹的效率和財(cái)務(wù)方面的可擴(kuò)展性而言，對(duì)于超大規(guī)模企業(yè)來(lái)說(shuō)，這要好得多。
我認(rèn)為第二個(gè)重大影響在于，同樣，我們必須說(shuō)，我們不知道預(yù)訓(xùn)練的規(guī)�；欠駮�(huì)停止。但如果你確實(shí)看到了這種向推理時(shí)間的轉(zhuǎn)變，我認(rèn)為你需要開(kāi)始思考如何重新設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)？你是否需要在能源低成本的陸地上建立數(shù)百萬(wàn)個(gè)芯片超級(jí)集群，還是需要在全國(guó)范圍內(nèi)分散布局更小、更低延遲、更高效的推理時(shí)間數(shù)據(jù)中心？而且當(dāng)你重新設(shè)計(jì)網(wǎng)絡(luò)架構(gòu)時(shí)，對(duì)電力利用率和電網(wǎng)設(shè)計(jì)的影響是什么？
我想說(shuō)，支撐投資世界很大一部分的諸多敘述，我認(rèn)為都得重新思考。而且我要說(shuō)，由于這是一種相對(duì)較新的現(xiàn)象，如今公眾市場(chǎng)尚未開(kāi)始著手應(yīng)對(duì)這種潛在的新架構(gòu)是什么樣子，以及它可能會(huì)如何影響一些潛在的支出。
小團(tuán)隊(duì)也在打造出色的模型
Patrick
Chetan，我很好奇，或許能講講 DeepSeek 以及其他類(lèi)似的情況，在這些情況中，你會(huì)看到小團(tuán)隊(duì)用相對(duì)較少的資金構(gòu)建新模型，在性能上與一些前沿模型相競(jìng)爭(zhēng)。你能談?wù)勥@種現(xiàn)象以及它讓你想到了什么，或者對(duì)整個(gè)行業(yè)有何影響嗎？
Chetan
這真的令人驚嘆。在過(guò)去的，大概六周的時(shí)間里，我們?cè)?Benchmark 這里見(jiàn)到的團(tuán)隊(duì)，成員人數(shù)在兩到五人之間。Modest之前在你們的播客中談過(guò)這個(gè)，那就是技術(shù)創(chuàng)新的故事一直是，在帕洛阿爾托的某個(gè)車(chē)庫(kù)里，總是有兩到三個(gè)人在做一些事情，以非常非常迅速地趕上老牌企業(yè)。
我認(rèn)為我們現(xiàn)在在模型層看到了這種情況，坦率地說(shuō)，這是兩年來(lái)未曾見(jiàn)過(guò)的。具體而言，我認(rèn)為我們?nèi)匀徊荒馨俜种俅_定預(yù)訓(xùn)練和訓(xùn)練規(guī)模的回歸不會(huì)發(fā)生。
我們目前還不知道。但在當(dāng)下這個(gè)趨于平穩(wěn)的時(shí)期，我們開(kāi)始看到這些小團(tuán)隊(duì)趕上前沿。我所說(shuō)的前沿是指最先進(jìn)的模型在哪里，特別是在文本處理方面？我們看到這些小團(tuán)隊(duì)，確切地說(shuō)，只有兩到五個(gè)人，以遠(yuǎn)低于大型實(shí)驗(yàn)室投入多個(gè)數(shù)量級(jí)的資金躍上了前沿。
我認(rèn)為部分原因在于開(kāi)源模型的數(shù)量驚人地激增。具體來(lái)說(shuō)，Meta 在 LLaMA 方面的所作所為在這里產(chǎn)生了巨大的影響。LLaMA 3.1 有三種版本，分別為 4050 億、700 億和80 億。而 LLaMA 3.2 則有 10 億、30 億、110 億和 900 億這幾種版本。
你可以獲取這些模型，下載它們，將它們放在本地機(jī)器上，你可以將其放入云端，可以將其放在服務(wù)器上，并且你可以使用這些模型來(lái)進(jìn)行提煉，優(yōu)化調(diào)整、訓(xùn)練、改進(jìn)等等，等等，并憑借相當(dāng)有趣的算法技術(shù)跟上前沿。
而且由于你不需要大量的計(jì)算資源，或者你不需要大量的數(shù)據(jù)，你就能夠在特定的垂直領(lǐng)域、特定的技術(shù)或者特定的用例方面展現(xiàn)出特別的聰明才智和創(chuàng)新能力，從而非常迅速地躍升至前沿。我認(rèn)為這在很大程度上改變了我個(gè)人對(duì)模型層以及模型層潛在早期投資的看法。這里存在很多不確定性，很多依賴(lài)變量，而且實(shí)際上在六周內(nèi)，這一切可能都不再成立了。
但如果這種狀態(tài)成立，即預(yù)訓(xùn)練并非因合成數(shù)據(jù)而擴(kuò)展，這僅僅意味著你現(xiàn)在可以做得更多，以最少的資金迅速跳到前沿，找到你的用例，找到你最強(qiáng)大的地方，然后從這一點(diǎn)出發(fā)，坦率地說(shuō)，超級(jí)巨頭會(huì)成為最好的朋友。
因?yàn)樵诋?dāng)今，如果你處于前沿領(lǐng)域，你正在推動(dòng)一個(gè)用例，你不再受到 GPU 的特別限制。特別是如果你打算進(jìn)行測(cè)試時(shí)推理、測(cè)試時(shí)計(jì)算之類(lèi)的工作，并且你為比如說(shuō) 10 家企業(yè)客戶(hù)提供服務(wù)�；蛘咭苍S這是一個(gè)針對(duì)特定用例優(yōu)化的消費(fèi)解決方案。
計(jì)算方面的挑戰(zhàn)已經(jīng)不像2022年那么大了。在 2022 年，你會(huì)和這些開(kāi)發(fā)者交流，這就變成了這樣一個(gè)問(wèn)題：嗯，你能把十萬(wàn)個(gè)集群拼湊在一起嗎？因?yàn)槲覀冃枰M(jìn)行訓(xùn)練，然后還得去買(mǎi)所有這些數(shù)據(jù)，即便你知曉所有技術(shù)，突然間你一算，就會(huì)說(shuō)，要啟動(dòng)第一次訓(xùn)練運(yùn)行我得花十億美元。而這可不是一種可行的模式。
從歷史上看，這就是風(fēng)險(xiǎn)投資模式。風(fēng)險(xiǎn)投資模式一直是能否組建一支非凡的團(tuán)隊(duì)，實(shí)現(xiàn)技術(shù)突破，做到資本輕型化，迅速超越現(xiàn)有企業(yè)，然后以某種方式獲得分銷(xiāo)立足點(diǎn)并推進(jìn)。在過(guò)去兩年的模式層面，這似乎絕無(wú)可能實(shí)現(xiàn)。但在過(guò)去的六、八周里，這種情況確實(shí)發(fā)生了改變。
Modest
我認(rèn)為這很重要。關(guān)于 Meta 開(kāi)源以及超大規(guī)模公司的開(kāi)源推動(dòng)前沿發(fā)展，小型模型能夠擴(kuò)展到非常成功的程度，這是極其有益的，特別是對(duì)于沒(méi)有原生大型語(yǔ)言模型的 AWS 來(lái)說(shuō)。但如果你退一步思考一下云計(jì)算的歷史，就會(huì)發(fā)現(xiàn)它為開(kāi)發(fā)者和建設(shè)者提供了一套工具。AWS 率先清晰地闡述了這一愿景。
9 月份在高盛的一次會(huì)議上，馬特加曼公開(kāi)談到了此事。但他們的觀點(diǎn)顯然一直是，大型語(yǔ)言模型只是另一種工具，生成式人工智能是他們能夠?yàn)槠淦髽I(yè)客戶(hù)和開(kāi)發(fā)者客戶(hù)提供以打造下一代產(chǎn)品的另一種工具。這種愿景面臨的風(fēng)險(xiǎn)是一個(gè)全能且具有普遍性的暴民。
所以，這再次讓你不得不重新思考，如果我們不構(gòu)建這些大規(guī)模的預(yù)訓(xùn)練實(shí)體，將訓(xùn)練損失降至近乎為零，并以這樣或那樣的形式構(gòu)建出那個(gè)隱喻中的上帝，那會(huì)怎樣。
相反，如果行業(yè)的重點(diǎn)是在測(cè)試階段、推理階段，并試圖在客戶(hù)需要的地方解決實(shí)際問(wèn)題，我認(rèn)為這再次重新設(shè)計(jì)并重新構(gòu)建了這項(xiàng)技術(shù)如何推出的整個(gè)愿景。而且我認(rèn)為我們需要謙遜，因?yàn)槲覀儾恢?LLaMA 4 會(huì)是什么樣子。我們不知道Grok 3 即將推出。這是目前在有史以來(lái)最大的集群上進(jìn)行訓(xùn)練的兩個(gè)模型。
所以我們現(xiàn)在所說(shuō)的一切可能在三個(gè)月內(nèi)都是錯(cuò)的。但我認(rèn)為，當(dāng)下的整個(gè)工作就是吸收所有可用的信息，并根據(jù)我們?nèi)缃袼匦旅枥L各種情景路徑。如果這是正確的，我覺(jué)得人們還沒(méi)有更新他們對(duì)于這些路徑可能如何發(fā)展的先驗(yàn)判斷。
Patrick
我很好奇，Chetan，對(duì)于這種變化，也許現(xiàn)在你會(huì)投資一家模式公司，你怎么看。我記得兩年前我們一起吃晚餐的時(shí)候，你跟我說(shuō)，作為一家公司，你們剛剛決定不投資這些公司。就像你說(shuō)的，這不符合我們的模式。我們不會(huì)在首次試運(yùn)行時(shí)就開(kāi)出數(shù)十億美元的支票。
因此，我們不在那部分堆棧上進(jìn)行投資。我們更多地投資于應(yīng)用層，在這場(chǎng)討論中稍后我們會(huì)再次回到這個(gè)話(huà)題。但也許再多談?wù)勥@種關(guān)于其如何運(yùn)作的更新觀點(diǎn)，一個(gè)示例投資可能是什么樣子，以及即使 LLaMA 4 是預(yù)訓(xùn)練縮放損失保持不變，這是否會(huì)改變，因?yàn)檫@似乎只是像 DeepSeek 那樣受益。好的，現(xiàn)在不是 3.2，而是 4，我們?nèi)栽谧鑫覀兊氖拢胰匀桓�、更便宜、更快等等�?br/>
那么，是的，對(duì)于這種新觀點(diǎn)，即有可能投資于模式公司，而不僅僅是應(yīng)用公司，你有何看法？
Chetan
在 Meta 的上一次財(cái)報(bào)電話(huà)會(huì)議上，馬克扎克伯格談到了他們開(kāi)始開(kāi)發(fā) LLaMA 4，并表示 LLaMA 4 正在一個(gè)比以往他所見(jiàn)過(guò)的任何集群都大的集群上進(jìn)行訓(xùn)練。
所引用的數(shù)字表明，它比十萬(wàn)臺(tái) H100 還要強(qiáng)大，或者比我所看到的關(guān)于其他公司正在做的任何事情都要強(qiáng)大。而且他還說(shuō)，你知道，較小的 Llama 4 型號(hào)應(yīng)該會(huì)在 2025年初準(zhǔn)備好。這真的很有趣，因?yàn)闊o(wú)論 Llama 4 相對(duì)于 Llama 3 是否是階躍函數(shù)，這都不重要，重要的是他們是否突破了效率的界限，達(dá)到了即使只是逐步提升的程度，這對(duì)開(kāi)發(fā)者群體產(chǎn)生的影響也是相當(dāng)深遠(yuǎn)的，因?yàn)槿缃?Llama 的影響力有兩個(gè)方面，我認(rèn)為這對(duì) Meta 非常有利，其一。Llama 所使用的 Transformer 架構(gòu)是一種標(biāo)準(zhǔn)架構(gòu)，但它有自己的細(xì)微差別。
而且，如果構(gòu)建于 Llama 之上的整個(gè)開(kāi)發(fā)者生態(tài)系統(tǒng)開(kāi)始僅僅假定 Llama 3 變換器架構(gòu)是基礎(chǔ)且某種標(biāo)準(zhǔn)的做法，那么這就有點(diǎn)像是將整個(gè)堆棧朝著 Llama 的思維方式標(biāo)準(zhǔn)化，從硬件供應(yīng)商如何支持你的訓(xùn)練運(yùn)行，到超級(jí)巨頭等等，不一而足。因此，對(duì) Llama 本身的標(biāo)準(zhǔn)化開(kāi)始變得越來(lái)越普遍。
所以，如果你要?jiǎng)?chuàng)辦一家新的模式公司，最終的結(jié)果是，如今從 Llama 開(kāi)始，不僅很棒，因?yàn)?Llama 是開(kāi)源的，而且還極其高效，因?yàn)檎麄�(gè)生態(tài)系統(tǒng)都在采用這種架構(gòu)。所以你是對(duì)的，作為一家擁有 5 億美元資金的早期基金，我們?cè)噲D在每個(gè)基金周期進(jìn)行 30 項(xiàng)投資，10 億美元的試運(yùn)行基本上意味著你要投入兩筆資金來(lái)進(jìn)行一次可能成功也可能不成功的試運(yùn)行。
因此，這是一項(xiàng)資本高度密集型的業(yè)務(wù)。順便說(shuō)一下，這些模型的折舊時(shí)間表令人望而生畏。蒸餾作為一種技術(shù)，使得這些模型的防御性和這些模型的注釋極其具有挑戰(zhàn)性。這實(shí)際上歸結(jié)為你在其之上進(jìn)行的應(yīng)用是什么，你的網(wǎng)絡(luò)效應(yīng)是什么，你如何在那里獲取經(jīng)濟(jì)效益等等。
我認(rèn)為，就目前的情況而言，如果你是一個(gè)兩到五人的團(tuán)隊(duì)，你可以以編程為例，通過(guò)在 Llama 的基礎(chǔ)上進(jìn)行微調(diào)訓(xùn)練，推動(dòng)建立一個(gè)能更快生成更好編程答案的模型，然后提供一個(gè)應(yīng)用程序，其中包含你自己的定制模型，這確實(shí)能為你的客戶(hù)（無(wú)論是開(kāi)發(fā)者還是其他類(lèi)似的人員）帶來(lái)非凡的效果。所以，我們這里的特定方法和策略一直是，從我們看到 OpenAI API 開(kāi)始流行起的時(shí)候起，就大力投資于應(yīng)用程序。
2022 年夏天，我們開(kāi)始看到開(kāi)發(fā)者談?wù)撨@些 OpenAI API。從那時(shí)起，我們的很多努力就是尋找那些考慮利用這些 API 來(lái)開(kāi)拓應(yīng)用層的企業(yè)家，并真正開(kāi)始思考在當(dāng)前這波人工智能浪潮之前根本不可能存在哪些應(yīng)用。
顯然，我們已經(jīng)看到一些非常出色的成功公司從中脫穎而出，它們?nèi)蕴幱谠缙陔A段，但它們所展現(xiàn)出的發(fā)展勢(shì)頭、所提供的客戶(hù)體驗(yàn)、所采用的生物識(shí)別技術(shù)等等，都非同凡響。幾周前，布雷特泰勒（Brett Taylor）曾在你們的播客節(jié)目中，塞拉（Sierra）就是一個(gè)這樣的例子。在采購(gòu)方面，我們有一個(gè)叫做 Levelpath 的項(xiàng)目。在整個(gè)投資組合中，在應(yīng)用層還有許多其他例子，在那里，你可以審視每一個(gè)大型 SaaS 市場(chǎng)，用應(yīng)用層的投資去開(kāi)拓它，并開(kāi)始思考如今哪些是兩年、三年、四年前還無(wú)法實(shí)現(xiàn)的事情。
深入探究基礎(chǔ)模型及主要參與者
Patrick
我很好奇，想稍微談?wù)勎覀冋劦降哪切┐笮突A(chǔ)模型參與者，比如 Llama，但不太想談 xAI、 Anthropic 和 OpenAI，也許還有 Meta。先從你說(shuō)起，我很好奇你對(duì)于它們的戰(zhàn)略定位以及每家重要的方面的想法。
也許以 OpenAI 為例，也許這里的關(guān)鍵在于他們打造了一個(gè)多么出色的品牌，他們擁有龐大的用戶(hù)群體，他們有眾多出色的合作伙伴，人們知曉并使用他們的產(chǎn)品，有很多人為他們付費(fèi)，比如 20 美元之類(lèi)的。也許在這種模式中，分發(fā)渠道比產(chǎn)品本身更為重要。
我很好奇你對(duì)這三位球員的看法，到目前為止他們占據(jù)主導(dǎo)地位，但通過(guò)你目前的分析，似乎重要的是他們要不斷創(chuàng)新。
Modest
所以我認(rèn)為對(duì) OpenAI 來(lái)說(shuō)有趣的部分在于，他們剛剛完成了最近一輪融資，而且對(duì)于投資理由有一些相當(dāng)公開(kāi)的評(píng)論。沒(méi)錯(cuò)，很多評(píng)論都圍繞著這樣一個(gè)觀點(diǎn)，即他們?cè)谙M(fèi)端已經(jīng)獲得了逃逸速度，ChatGPT 現(xiàn)在是認(rèn)知的參考，隨著時(shí)間的推移，他們將能夠聚集巨大的消費(fèi)需求端，并據(jù)此收取適當(dāng)?shù)馁M(fèi)用，而他們?cè)谄髽I(yè) API 和應(yīng)用程序構(gòu)建方面的投入要少得多。
如果你仔細(xì)想想我們所談?wù)摰膬?nèi)容，就會(huì)發(fā)現(xiàn)這超級(jí)有趣。
在他們的財(cái)務(wù)數(shù)據(jù)中，如果你剔除培訓(xùn)費(fèi)用，如果你剔除這筆巨大的前期支出需求，按照他們的預(yù)測(cè)，這實(shí)際上很快就會(huì)成為一家利潤(rùn)豐厚的公司。所以從某種意義上說(shuō)，這可能會(huì)更好。
那么現(xiàn)在問(wèn)題變成了，一家不再在前沿領(lǐng)域呈階躍式推進(jìn)的公司，其防御能力如何？在這 方面，我認(rèn)為這最終將歸結(jié)為一點(diǎn)，谷歌也在前沿推進(jìn)，而且他們很可能會(huì)免費(fèi)贈(zèng)送產(chǎn)品，還有 Meta。我認(rèn)為我們或許可以花一整集來(lái)談?wù)?Meta 以及他們?cè)谄髽I(yè)和消費(fèi)者方面的嵌 入式選擇權(quán)。但讓我們先談?wù)勏M(fèi)者方面。
這是一家擁有超過(guò) 30 億消費(fèi)者接觸點(diǎn)的企業(yè)。他們顯然正在將 Meta AI 應(yīng)用于各種場(chǎng)景。不難看出，他們應(yīng)該收購(gòu) Perplexity 公司。
但你剛剛還看到司法部站出來(lái)表示，谷歌應(yīng)該被迫授權(quán)其搜索索引。我想不出還有誰(shuí)比 Meta 更有利可圖，它有機(jī)會(huì)以極低的成本承接谷歌的搜索索引。但關(guān)鍵在于，我認(rèn)為將會(huì)有兩個(gè)大規(guī)模的互聯(lián)網(wǎng)巨頭免費(fèi)提供本質(zhì)上類(lèi)似于 ChatGPT 的產(chǎn)品。所以這將是一個(gè)引人入勝的案例研究，探討“這種產(chǎn)品能否在消費(fèi)者心目中占據(jù)主導(dǎo)地位”。
我的孩子們知道 ChatGPT 是什么，他們不知道 Claude 是什么。我的家人知道 ChatGPT 是什么，他們不知道 Grok 是什么。所以我認(rèn)為對(duì)于 OpenAI 來(lái)說(shuō)，問(wèn)題在于你能否超越免費(fèi)？如果你能，而且訓(xùn)練成本降低，這將是一家很快就能盈利的公司。
如果你去了解 Anthropic 公司，我認(rèn)為他們面臨著一個(gè)有趣的困境，即人們認(rèn)為 Sonnet 3. 5 可能是現(xiàn)有的最佳模型。他們擁有令人難以置信的技術(shù)人才。他們不斷吸納越來(lái)越多的 OpenAI 研究人員，我認(rèn)為他們會(huì)構(gòu)建出出色的模型，但他們有點(diǎn)受困。他們?cè)谙M(fèi)者中的知名度不高。
在企業(yè)方面，我認(rèn)為 Llama 會(huì)讓前沿的模型構(gòu)建者很難試圖在那里創(chuàng)造巨大的價(jià)值。所以他們被困在中間。出色的技術(shù)專(zhuān)家，優(yōu)質(zhì)的產(chǎn)品，但并非真正可行的策略。而且你看，他們又籌集了 40 億美元。
對(duì)我來(lái)說(shuō)，這表明預(yù)訓(xùn)練的擴(kuò)展效果不太好，因?yàn)?40 億美元遠(yuǎn)遠(yuǎn)達(dá)不到他們的需求。如果擴(kuò)展的途徑是預(yù)訓(xùn)練，那我對(duì)他們未來(lái)的戰(zhàn)略路徑就沒(méi)什么好的判斷力了。我認(rèn)為他們陷入了困境。關(guān)于 xAI，我就當(dāng)不知道了。
他是一位獨(dú)一無(wú)二的人才，他們將擁有一個(gè) 20 萬(wàn)芯片集群，并且有一個(gè)面向消費(fèi)者的接觸點(diǎn)，他們正在構(gòu)建一個(gè)應(yīng)用程序編程接口（API）。但我認(rèn)為，如果預(yù)訓(xùn)練是擴(kuò)展的途徑，那么他們將面臨與其他所有人相同的數(shù)學(xué)難題，只不過(guò)可能因埃隆獨(dú)特的籌資能力而有所緩解。
但同樣，在接下來(lái)的四五年的時(shí)間里，數(shù)字會(huì)迅速變得如此龐大，甚至可能超過(guò)他。然后，如果到了測(cè)試階段，計(jì)算和算法改進(jìn)以及推理，它們的差異在哪里，它們的市場(chǎng)切入點(diǎn)在 哪里，當(dāng)你有人在消費(fèi)端站穩(wěn)腳跟，而企業(yè)端又有一個(gè)同樣強(qiáng)大的開(kāi)源實(shí)體時(shí)，情況會(huì)怎樣？
所以當(dāng)你審視這三者時(shí)，我認(rèn)為最容易看清的是 OpenAI 未來(lái)的發(fā)展方向是什么。
不過(guò)，關(guān)于 OpenAI，我要說(shuō)的是諾姆布朗，我發(fā)現(xiàn)他是研究領(lǐng)域最出色的溝通者之一。他最近上了紅杉資本的播客節(jié)目，當(dāng)被問(wèn)及通用人工智能時(shí)，他說(shuō)，你看，我覺(jué)得我在 OpenAI 之外的時(shí)候，對(duì)整個(gè)通用人工智能的事情持懷疑態(tài)度。但實(shí)際上這是他們所關(guān)注的。
當(dāng)我進(jìn)入 OpenAI 工作時(shí)，我非常清楚他們對(duì)于通用人工智能（AGI）非常認(rèn)真，這是他們的使命，其他一切都服務(wù)于 AGI。我們很容易坐在外面，清晰地闡述如果我們負(fù)責(zé)那里可能會(huì)采取的策略，但我認(rèn)為我們需要意識(shí)到這樣一個(gè)事實(shí)，即他們之所以能走到今天這一步，部分原因在于他們肩負(fù)著使命。
該任務(wù)是開(kāi)發(fā)通用人工智能，對(duì)于為其設(shè)定任何其他最終目標(biāo)，我們都應(yīng)該非常謹(jǐn)慎。
Chetan
而我個(gè)人的看法是，通用人工智能已經(jīng)非常接近實(shí)現(xiàn)了。
Patrick
再多說(shuō)幾句。那為什么它還沒(méi)到這兒？這些東西比我打交道的大多數(shù)人都聰明。
Chetan
是的，我想是這樣。狹義定義的人工通用智能（AGI），或者也許是從廣義定義的角度來(lái)看，這取決于你的觀點(diǎn)，是一個(gè)高度自主的系統(tǒng)，在某些情況下在某些具有經(jīng)濟(jì)價(jià)值的工作中超越了人類(lèi)的表現(xiàn)。用這種視角很容易說(shuō) AGI 已經(jīng)存在。我認(rèn)為非常明確的是，如果你看看 OpenAI 發(fā)布的公告以及他們高管在最近幾周接受的采訪，其中一個(gè)例子是端到端的旅行預(yù)訂，這是我們可以期待在 2025 年看到的東西，在那里你可以提示系統(tǒng)為你預(yù)訂旅行，然后它就會(huì)去做。
這是一種新的思維方式，即端到端的任務(wù)完成或端到端的工作完成。這顯然涉及推理，涉及自主工作，涉及使用計(jì)算機(jī)，正如克勞德所闡述的那樣。而且你正在將這些大型語(yǔ)言模型與生態(tài)系統(tǒng)本身相互作用的多種方式結(jié)合起來(lái)，將其放入一個(gè)非常出色的組合中，從而能夠完成端到端的工作，并使其完全自動(dòng)化，做得比人類(lèi)更好。在我看來(lái)，從這個(gè)角度來(lái)看，我們已經(jīng)非常非常接近了。
而且我設(shè)想，到 2025 年，我們將非常接近或達(dá)到通用人工智能的水平。鑒于當(dāng)前的進(jìn)展和創(chuàng)新，再加上現(xiàn)在轉(zhuǎn)向測(cè)試時(shí)的計(jì)算和推理，從這個(gè)角度來(lái)看，通用人工智能即將到來(lái)。
Modest
這很有趣，因?yàn)槲覀冇悬c(diǎn)像在水里煮的青蛙，我們相當(dāng)輕松地通過(guò)了圖靈測(cè)試，然而再也沒(méi)有人坐在這里談?wù)摚炷�，我們通過(guò)了圖靈測(cè)試。它來(lái)了又過(guò)去了。所以，也許通用人工智能的宣告也是同樣的道理，就像，是的，當(dāng)然模型能夠預(yù)訂端到端的旅行。這實(shí)際上沒(méi)那么難。
然而，兩年半以前，如果你說(shuō)：“嘿，有一種算法，你可以告訴它你想做什么，它會(huì)從頭到尾安排好并給你發(fā)送一張收據(jù)�！蹦銜�(huì)說(shuō)，
“沒(méi)門(mén)兒。”所以這可能有點(diǎn)像煮青蛙，突然有一天你醒來(lái)，一個(gè)實(shí)驗(yàn)室說(shuō)：“嘿，我們實(shí)現(xiàn)了通用人工智能�！贝蠹铱赡苡悬c(diǎn)像，“啊，酷。”不過(guò)，實(shí)驗(yàn)室宣布實(shí)現(xiàn)通用人工智能在更廣泛的意義上有趣，有一個(gè)特別的原因，那就是與微軟的關(guān)系。微軟去年夏天首次披露，在通用人工智能實(shí)現(xiàn)之前，他們擁有 OpenAI 知識(shí)產(chǎn)權(quán)的全部權(quán)利。
所以，如果 OpenAI 選擇宣稱(chēng)已實(shí)現(xiàn)通用人工智能，我認(rèn)為這將在他們和微軟之間引發(fā)一種非常有趣的動(dòng)態(tài)，這將加劇當(dāng)前已在發(fā)揮作用的、本就非常有趣的動(dòng)態(tài)。所以，這在明年肯定是值得關(guān)注的，不僅對(duì)公開(kāi)市場(chǎng)的投資者而言是如此，對(duì)更廣泛的生態(tài)系統(tǒng)的影響也是如此。因?yàn)槲以俅握J(rèn)為，如果我們現(xiàn)在所走的道路是正確的，那么隨著我們向前推進(jìn)，關(guān)系和商業(yè)伙伴關(guān)系將會(huì)有很多重新洗牌。
Patrick
Chetan，Modest對(duì)大公司的評(píng)估中還有其他內(nèi)容嗎？而且鑒于我們沒(méi)有特別談到谷歌，我們很希望聽(tīng)聽(tīng)你對(duì)谷歌的看法。有沒(méi)有他說(shuō)的話(huà)你不同意或者想要進(jìn)一步追問(wèn)的？
Chetan
不，我認(rèn)為我們只是不知道的是，我們不知道所有這些房間里進(jìn)行的潛在討論，我們可以推測(cè)并了解我們可能會(huì)怎么做。但我認(rèn)為，歸根結(jié)底，每一家互聯(lián)網(wǎng)企業(yè)或科技企業(yè)最終都?xì)w結(jié)為以下兩種情況。
在消費(fèi)者方面，分銷(xiāo)隨后與某種網(wǎng)絡(luò)效應(yīng)和鎖定效應(yīng)相結(jié)合，然后你就能憑借這一點(diǎn)脫穎而出，在競(jìng)爭(zhēng)中占據(jù)優(yōu)勢(shì)。而在企業(yè)方面，這在很大程度上是一種由技術(shù)差異化以及以出色的服務(wù)級(jí)別協(xié)議、優(yōu)質(zhì)的服務(wù)以及非常獨(dú)特的解決方案交付方法所驅(qū)動(dòng)的業(yè)務(wù)。所以，Modest對(duì)消費(fèi)者的評(píng)論以及消費(fèi)者將如何演變。
我認(rèn)為這完全正確。Meta、谷歌和 XAI 都有面向消費(fèi)者的接觸點(diǎn)。OpenAI 如今擁有出色的品牌，憑借 ChatGPT 以及大量的消費(fèi)者接觸點(diǎn)。在企業(yè)方面，挑戰(zhàn)在于這些 API 迄今在很大程度上都不如開(kāi)發(fā)者所期望的那樣可靠。
由于超大規(guī)模云服務(wù)提供商出色的工作，開(kāi)發(fā)人員已經(jīng)習(xí)慣，如果你為一款產(chǎn)品提供 API，那么這款產(chǎn)品應(yīng)該是無(wú)限可擴(kuò)展的，全天候可用的，API 失效的唯一原因是某個(gè)大型數(shù)據(jù) 中心停電之類(lèi)的原因。很少有理由讓 API 失效。這已成為開(kāi)發(fā)人員對(duì)企業(yè)解決方案的思維模式。在過(guò)去的兩年里，AI API 的質(zhì)量對(duì)應(yīng)用程序開(kāi)發(fā)人員來(lái)說(shuō)是一個(gè)巨大的挑戰(zhàn)。
因此，最終的結(jié)果是人們已經(jīng)找到了變通方法，并通過(guò)純粹的創(chuàng)新解決了所有這些問(wèn)題。但在這方面繼續(xù)推進(jìn)，我們?cè)俅位氐竭@一點(diǎn)上。如果預(yù)先訓(xùn)練和擴(kuò)展不是解決之道，而完全取決于測(cè)試時(shí)的計(jì)算能力，這就是我們?cè)俅位氐匠笠?guī)模運(yùn)營(yíng)商傳統(tǒng)方式的地方。我認(rèn)為在這方面，AWS 具有極大的優(yōu)勢(shì)，因?yàn)?Azure 和 Google 都有出色的云服務(wù)，但 AWS擁有最大的云。
它確實(shí)以一種非常獨(dú)特的方式構(gòu)建了彈性。即使在今天，如果你運(yùn)行 LLaMA 模型，你會(huì)希望在 AWS 上運(yùn)行 LLaMA 模型，或者由于某些原因，如果你有一些非常特定的用例并且需要為本地客戶(hù)提供支持，你也可以
在那些監(jiān)管環(huán)境復(fù)雜或存在合規(guī)原因的大型金融機(jī)構(gòu)中，如果你愿意，你可以在本地運(yùn)行這些模型。
而且，AWS 甚至已經(jīng)在這方面有所行動(dòng)，比如 VPC（虛擬專(zhuān)用云）、GovCloud 以及諸如此類(lèi)的東西。所以，如果我們假設(shè)預(yù)訓(xùn)練和擴(kuò)展工作已經(jīng)完成，那么突然之間， AWS 就會(huì)變得極其強(qiáng)大，在過(guò)去幾年里，他們的策略就是與開(kāi)發(fā)者生態(tài)系統(tǒng)中的所有人交朋友，而不是自行開(kāi)展大型語(yǔ)言模型的工作。
嗯，他們正在推進(jìn)，但并非以與其他公司相同的方式推進(jìn)，這最終很可能會(huì)成為一個(gè)相當(dāng)不錯(cuò)的策略，因?yàn)橥蝗婚g你就擁有了最好的 API 服務(wù)。我認(rèn)為另一部分是谷歌，我們還沒(méi)談?wù)摰剿�，他們的云在某些方面非常出色。所以他們有企業(yè)業(yè)務(wù)。如果你看看最新的收益報(bào)告，會(huì)發(fā)現(xiàn)他們的企業(yè)業(yè)務(wù)實(shí)際上已經(jīng)相當(dāng)大規(guī)模了。顯然，他們的消費(fèi)業(yè)務(wù)占主導(dǎo)地位，而且一直有一種看法認(rèn)為他們?nèi)缃袷艿搅藳_擊。
我認(rèn)為這些力量對(duì)他們極具破壞性。但目前尚不清楚這種破壞是否已經(jīng)發(fā)生。他們對(duì)此采取了什么行動(dòng)？顯然他們正在努力嘗試，而且很明顯他們正在非常努力地嘗試。
但我認(rèn)為這是一件值得關(guān)注的事情，也是我喜歡的那種，因?yàn)檫@是典型的創(chuàng)新者困境。顯然，作為現(xiàn)有企業(yè)，他們正努力站在不被創(chuàng)新者取代的有利一邊。他們非常努力。所以在商業(yè)史上，現(xiàn)有企業(yè)成功阻止創(chuàng)新者攻擊的情況非常少見(jiàn)。
而且如果他們?cè)谶@個(gè)時(shí)代確實(shí)捍衛(wèi)了自己的業(yè)務(wù)，那將是一項(xiàng)非凡的成就。
Modest
是的，谷歌非常引人入勝，因?yàn)樵幸晃怀錾馁u(mài)方分析師卡洛斯基爾吉納（Carlos Kirjner），不幸的是，他去世了。但在 2015 年和 2016 年，他花了大量報(bào)告來(lái)寫(xiě)谷歌在人工智能方面的進(jìn)展，以及他們?cè)?DeepMind 所做的基礎(chǔ)工作，實(shí)際上他非常喜歡這些工作，最終去了谷歌工作，但首先揭示了他們?cè)谏窠?jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)方面所做的基礎(chǔ)工作這一想法。
顯然，他們被這種大規(guī)模的暴力擴(kuò)展所震驚，推動(dòng)這波技術(shù)的是實(shí)實(shí)在在地在計(jì)算上投入。但如果你閱讀過(guò)任何對(duì)那些預(yù)見(jiàn)到這堵數(shù)據(jù)墻的人的采訪，他們談到的其中一點(diǎn)是，自我對(duì)弈可能是克服數(shù)據(jù)不足的一種模式。而誰(shuí)比 DeepMind 更擅長(zhǎng)自我對(duì)弈呢？
如果你審視一下 DeepMind 在 Transformer 出現(xiàn)之前所擁有的成果，以及他們將 Transformer 與計(jì)算能力的擴(kuò)展相結(jié)合所取得的成果，似乎他們已經(jīng)具備了所有能取勝的條件。但我一直以來(lái)提出的問(wèn)題都不是谷歌能否在人工智能領(lǐng)域取勝？而是，無(wú)論取勝是什么樣子，它是否有可能重現(xiàn)當(dāng)前范例中取勝時(shí)的輝煌？這才是真正的問(wèn)題所在。
正如Chetan所說(shuō)，如果他們能克服困境并取得勝利，那將會(huì)令人驚嘆，但我認(rèn)為他們具備這樣的條件。真正的問(wèn)題在于，他們能否憑借現(xiàn)有的資產(chǎn)打造出一家企業(yè)，這家企業(yè)在任何方面都能像可以說(shuō)是我們所見(jiàn)過(guò)的最偉大的商業(yè)模式互聯(lián)網(wǎng)搜索那樣出色。所以我同樣很期待關(guān)注他們。我認(rèn)為在企業(yè)方面，他們擁有令人難以置信的模式和資產(chǎn)。
我認(rèn)為他們需要贏得很多信任。我覺(jué)得隨著時(shí)間的推移，他們?cè)谀莻�(gè)世界里起起落落，所以我認(rèn)為這對(duì)他們來(lái)說(shuō)是一個(gè)更難突破的方面。但在消費(fèi)者方面，當(dāng)然在模型構(gòu)建方面，他們已經(jīng)具備了所有獲勝的條件。
問(wèn)題在于，那個(gè)獎(jiǎng)項(xiàng)究竟是什么樣子？尤其是現(xiàn)在，如果看起來(lái)似乎不存在一兩個(gè)能稱(chēng)霸的模型。
投資者對(duì)應(yīng)用層的看法
Patrick
Chetan，我很好奇，作為一名尋求回報(bào)的投資者，你個(gè)人希望走什么樣的道路？
Chetan
我個(gè)人希望人工智能能持續(xù)很長(zhǎng)時(shí)間。作為一名風(fēng)險(xiǎn)投資者，你需要巨大的顛覆來(lái)解鎖分銷(xiāo)。如果你看看互聯(lián)網(wǎng)或移動(dòng)領(lǐng)域所發(fā)生的情況，以及價(jià)值在哪里產(chǎn)生，在這兩波浪潮中，價(jià)值主要在應(yīng)用層產(chǎn)生。顯然，我們的假設(shè)，也是我的假設(shè)，是這一層由于人工智能應(yīng)用層的創(chuàng)新，將再次非常有利于分銷(xiāo)的解鎖。我認(rèn)為到目前為止這在很大程度上已經(jīng)顯現(xiàn)出來(lái)了。雖然仍處于早期階段，但那些推出面向消費(fèi)者和企業(yè)的人工智能應(yīng)用產(chǎn)品的供應(yīng)商發(fā)現(xiàn)，這些解決方案之所以能夠存在，完全是因?yàn)槿斯ぶ悄�。它們正在以一種坦率地說(shuō)在軟件即服務(wù)（SaaS）或面向?qū)I(yè)消費(fèi)者的 SaaS 等領(lǐng)域無(wú)法實(shí)現(xiàn)的方式解鎖分銷(xiāo)渠道。
我們將給你一個(gè)非常具體的例子，一個(gè)由人工智能驅(qū)動(dòng)的應(yīng)用程序。我們現(xiàn)在正向《財(cái)富》500 強(qiáng)企業(yè)的首席信息官展示這些演示。兩年前，確實(shí)有一些不錯(cuò)的演示。如今，這是一個(gè)非常出色的演示，同時(shí)還結(jié)合了五個(gè)客戶(hù)參考案例，這些客戶(hù)都是同行，他們?cè)谏a(chǎn)中使用了它，并取得了巨大的成功。在那次交流中，有一點(diǎn)變得非常清晰，那就是我們所展示的并非是對(duì)現(xiàn)有 SaaS 解決方案的 5%的改進(jìn)。而是關(guān)于我們能夠大幅削減軟件支出和人力資本支出，并將其轉(zhuǎn)移到這個(gè)人工智能解決方案上。而且你對(duì)軟件的 10 倍傳統(tǒng)投資回報(bào)率的定義很容易被認(rèn)可，人們能在 30 分鐘內(nèi)理解。
于是你開(kāi)始看到，過(guò)去軟件即服務(wù)（SaaS）和人工智能應(yīng)用通常有著非常漫長(zhǎng)的銷(xiāo)售周期，而現(xiàn)在 15 分鐘就能做出決定，30 分鐘就能做出決定。而且對(duì)于企業(yè)來(lái)說(shuō)，采購(gòu)流程完全不穩(wěn)定�，F(xiàn)在首席信息官會(huì)說(shuō)類(lèi)似這樣的話(huà)：“咱們盡快把這個(gè)搞定�！蔽覀兇蛩氵M(jìn)行為期 30 天的試點(diǎn)。一旦成功，我們就會(huì)簽訂合同并立即部署。這些情況在三年、四年前的軟件即服務(wù)領(lǐng)域是完全不可能的，因?yàn)楫?dāng)時(shí)你是在與老牌企業(yè)競(jìng)爭(zhēng)，在與他們的分銷(xiāo)優(yōu)勢(shì)、服務(wù)優(yōu)勢(shì)以及所有這類(lèi)東西競(jìng)爭(zhēng)。而且很難證明你的特定產(chǎn)品是獨(dú)特的。
所以，自 2022 年以來(lái)，我可以說(shuō)自 2022 年 11 月的 ChatGPT 以來(lái)，這在這個(gè)世界上似乎是一個(gè)非常好的前后界限。我們已經(jīng)對(duì)人工智能公司進(jìn)行了 25 項(xiàng)投資，對(duì)于一個(gè)由五個(gè)合作伙伴組成的 5 億美元基金來(lái)說(shuō)，這是一個(gè)非凡的速度。上次我們達(dá)到這種速度是在 2009 年 App Store 推出的時(shí)候。然后，我們?cè)俅芜_(dá)到這種速度是在 1995 年、1996 年的互聯(lián)網(wǎng)時(shí)期。在這兩者之間，你們可以看到我們的投資步伐相當(dāng)緩慢。
在非顛覆性時(shí)期，我們平均每年大概投資五到七次。顯然，現(xiàn)在我們的投資步伐大幅加快。如果你看看這 25 家公司，其中四家是基礎(chǔ)設(shè)施公司，其余的是應(yīng)用公司。而且我們剛剛投資了我們的第一家模式公司，不過(guò)這還沒(méi)有公布。
但這是兩個(gè)人，兩個(gè)非凡的、才華橫溢的人，他們帶著很少的資金就投身于前沿領(lǐng)域。所以，我們顯然已經(jīng)押注并預(yù)料到，在應(yīng)用層會(huì)有巨大的創(chuàng)新和分發(fā)解鎖。我們已經(jīng)看到這種情況正在發(fā)生。作為軟件投資者，這些產(chǎn)品確實(shí)令人驚嘆。
它們需要對(duì)這些事物的架構(gòu)方式進(jìn)行徹底的重新思考，從第一性原理出發(fā)。你需要統(tǒng)一的數(shù)據(jù)層，需要新的基礎(chǔ)設(shè)施，需要新的用戶(hù)界面以及諸如此類(lèi)的東西。顯然，初創(chuàng)企業(yè)相對(duì)于老牌軟件供應(yīng)商具有顯著的優(yōu)勢(shì)。這并不是說(shuō)老牌軟件供應(yīng)商停滯不前，只是如今在企業(yè)軟件領(lǐng)域，創(chuàng)新者的窘境比在消費(fèi)領(lǐng)域更激烈地在我們眼前上演。
我認(rèn)為在消費(fèi)領(lǐng)域，消費(fèi)者參與者已經(jīng)意識(shí)到了這一點(diǎn)，正在推動(dòng)變革，并正在采取行動(dòng)。然而，我認(rèn)為在企業(yè)領(lǐng)域，即便你意識(shí)到了這一點(diǎn)，即便你有采取行動(dòng)的愿望，解決方案的構(gòu)建方式也無(wú)法響應(yīng)大幅的重組架構(gòu)。那么，我們能看到這種情況發(fā)生嗎？一家大型 SaaS 公司會(huì)暫停銷(xiāo)售兩年，然后徹底重新架構(gòu)其應(yīng)用堆棧嗎？
當(dāng)然，但我就是覺(jué)得這不會(huì)發(fā)生。所以，如果你看看關(guān)于人工智能軟件支出正在發(fā)生什么的任何分析，比如僅純支出在 2023 年和 2024 年之間同比增長(zhǎng)了 8 倍。在短短一年的
時(shí)間里，就從幾億美元增長(zhǎng)到了遠(yuǎn)遠(yuǎn)超過(guò) 10 億美元。你可以看到這種拉動(dòng)，你能感受到這種拉動(dòng)。
如果你身處這些人工智能應(yīng)用公司中的任何一家，會(huì)發(fā)現(xiàn)這類(lèi)公司更多地是受供應(yīng)限制而非需求限制。我們與這些應(yīng)用公司的首席執(zhí)行官交流，他們只是會(huì)說(shuō)類(lèi)似這樣的話(huà)：“嗯，就我所能看到的情況，我看到了需求�！蔽抑皇菦](méi)有能力為所有對(duì)我表示同意的人提供服務(wù)。所以我打算對(duì)其進(jìn)行細(xì)分，然后到他們所在的地方去。
作為一名投資者，我所希望的是這種情況能持續(xù)下去，我們能保持穩(wěn)定，從而專(zhuān)注于這些方面。坦率地說(shuō)，模型層的穩(wěn)定對(duì)于應(yīng)用層來(lái)說(shuō)是一個(gè)巨大的福音，主要是因?yàn)樽鳛閼?yīng)用開(kāi)發(fā)者，你坐在那里看著模型層每年都實(shí)現(xiàn)階躍式的飛躍。
而且你在某種程度上不知道該構(gòu)建什么，也不知道哪些是應(yīng)該等待構(gòu)建的，因?yàn)轱@然你希望它與模型層完全一致，因?yàn)槟Ｐ蛯蝇F(xiàn)在正轉(zhuǎn)向推理。這對(duì)于應(yīng)用程序開(kāi)發(fā)人員來(lái)說(shuō)是一個(gè)很好的地方。
作為應(yīng)用程序開(kāi)發(fā)者，你知道的一件事是人類(lèi)是沒(méi)有耐心的。因此，你需要始終構(gòu)建在性能和質(zhì)量方面優(yōu)化的解決方案。作為應(yīng)用程序開(kāi)發(fā)者，你不能對(duì)用戶(hù)說(shuō)，比如，我打算提供一個(gè)高質(zhì)量的響應(yīng)。
Patrick
在 30 分鐘內(nèi)......
Chetan
這只是需要更長(zhǎng)的時(shí)間。這并不是一個(gè)有說(shuō)服力的論點(diǎn)。現(xiàn)在，對(duì)于某些用途在那些情況下，這可行嗎？你能讓它在后臺(tái)運(yùn)行 24 小時(shí)嗎？當(dāng)然可以。
但這些用例并不普遍且占主導(dǎo)地位，人們也不太愿意購(gòu)買(mǎi)這類(lèi)東西。所以，如果作為應(yīng)用程序開(kāi)發(fā)者，在過(guò)去幾周里，我所有的董事會(huì)會(huì)議都是這些公司說(shuō)，在這種新的推理模式下，我們非常有信心投資于這四件事，而在過(guò)去的一年半里，我們一直對(duì)這些投資非常猶豫，但現(xiàn)在我們要全力押注，我們的系統(tǒng)將會(huì)帶來(lái)巨大的性能提升。
Patrick
抱歉，為什么會(huì)是這樣？為什么推理這件事會(huì)讓他們的自信心增強(qiáng)，就像把原因解釋清楚一樣？
Chetan
嗯，如果你是一個(gè)應(yīng)用程序開(kāi)發(fā)者，你正在審視當(dāng)今的模型，并且說(shuō)道：“我能清楚地看到我的用例能從中獲得效率，但我得在這五個(gè)基礎(chǔ)設(shè)施層面的東西以及這些用戶(hù)界面的東西上投資。但如果一種新模型在六個(gè)月內(nèi)出現(xiàn)，僅僅因?yàn)槟Ｐ捅旧砭湍茏龅竭@一點(diǎn)，就把所有那些投資都打水漂了，那我為什么還要在這些東西上投資呢？”
我只是打算等待模型來(lái)完成，然后以此為依據(jù)。但在這個(gè)推理范例中，如果所有實(shí)驗(yàn)室都追求推理，而推理是 y 軸上的智力，時(shí)間是 x 軸，這就是我們的發(fā)展方向，那么我在自己的工具中所做的任何改進(jìn)，無(wú)論是由于我以算法方式提供推理的方式，還是我能夠獲取數(shù)據(jù)并進(jìn)行處理等等這類(lèi)事情，使得推理時(shí)間大幅縮短，我都應(yīng)該現(xiàn)在就投資。
如果推理現(xiàn)在是新的范例，而在應(yīng)用層針對(duì)這些推理模型進(jìn)行最后一英里的交付意味著我正在構(gòu)建技術(shù)和使用工具，而這些是模型公司極不可能構(gòu)建的。隨著這些推理系統(tǒng)不斷改進(jìn)，我的最后一英里優(yōu)勢(shì)和最后一英里交付系統(tǒng)仍然具有優(yōu)勢(shì)和可防御性。
Patrick
除了編程和客戶(hù)服務(wù)之外，你們倆還有其他最喜歡的例子嗎？這兩者似乎是眾多公司追捧的主要且令人難以置信的令人興奮和酷的用例。你們還有其他最喜歡的例子能適合《財(cái)富》雜志任何一家公司的首席信息官說(shuō)“我們現(xiàn)在公司就需要這個(gè)”嗎？
Modest
Chetan愛(ài)他的所有孩子，所以他無(wú)法給你具體的例子。
Chetan
我可以給你 20 個(gè)。
Patrick
也許像“明確地”這類(lèi)表述是我的問(wèn)題所在。這里有編碼，本質(zhì)上還有自上而下的支持。
Chetan
看看企業(yè)軟件方面的最大支出，你可以用一個(gè)人工智能驅(qū)動(dòng)、以人工智能為先的解決方案來(lái)應(yīng)對(duì)。所以我們有一家很棒的公司叫 11X，它致力于銷(xiāo)售自動(dòng)化。我們還有一家很棒的公司叫 Leya，律師們正在用它來(lái)大幅提高工作效率。我認(rèn)為法律一直是一個(gè)非常有趣的問(wèn)題，因?yàn)槿藗冋J(rèn)為律師是按計(jì)費(fèi)工時(shí)工作的。
如果你正在對(duì)計(jì)費(fèi)工時(shí)進(jìn)行自動(dòng)化處理，難道其經(jīng)濟(jì)效益不會(huì)改變嗎？嗯，如今，兩年過(guò)去了，有證據(jù)表明，律師通過(guò)使用人工智能最終盈利大幅增加。原因在于，很多原本是機(jī)械性的、重復(fù)性的、困難的工作，過(guò)去是由律師事務(wù)所內(nèi)部的初級(jí)人員完成的，反正律師事務(wù)所也無(wú)法對(duì)這些工作計(jì)費(fèi)。所以，如果你能將文件分析的時(shí)間從三四天縮短到 24 小時(shí)，突然間你就把所有律師解放出來(lái)，讓他們?nèi)プ鏊心苡?jì)費(fèi)的戰(zhàn)略性工作，以及那些對(duì)客戶(hù)極具價(jià)值的工作。
舉個(gè)例子，我們有一家正在實(shí)現(xiàn)會(huì)計(jì)自動(dòng)化以及財(cái)務(wù)建模的公司。我們有一家正在改變游戲開(kāi)發(fā)運(yùn)作方式的公司。有人正在涉足電路板設(shè)計(jì)領(lǐng)域，這原本是一項(xiàng)極其人工化且耗費(fèi)大量人力的事情，而計(jì)算機(jī)系統(tǒng)在這方面尤其擅長(zhǎng)。最近，我們還投資了一個(gè)針對(duì)廣告網(wǎng)絡(luò)的項(xiàng)目。
這在初創(chuàng)企業(yè)中已經(jīng)是很久未被觸及的事情了，但事實(shí)證明，在人工智能世界中，將擁有庫(kù)存的人和想要做廣告的人進(jìn)行匹配，效率要高得多。所以我們投資了一家擁有新文檔處理模式的公司，他們正在沖擊 OpenText。初創(chuàng)企業(yè)上次考慮 OpenText 是什么時(shí)候？已經(jīng)很久了，在這些巨大的現(xiàn)有 SaaS 市場(chǎng)被認(rèn)為對(duì)新初創(chuàng)企業(yè)開(kāi)放之前，已經(jīng)過(guò)了很長(zhǎng)時(shí)間。
所以你必須追求更具利基性、更具垂直性的業(yè)務(wù)。我常開(kāi)玩笑說(shuō)，比如，我看到過(guò)這個(gè)，這是在東歐工作的現(xiàn)場(chǎng)工作人員的工資單。這是一家 SaaS 公司，在 2019 年你確實(shí)得考慮它。而現(xiàn)在，我們又回到了大片的橫向支出，比如，嘿，這里有一個(gè)現(xiàn)有的企業(yè)，價(jià)值超過(guò) 100 億美元，這里的市場(chǎng)每年的支出是 100 億美元。
人工智能能讓這里的產(chǎn)品輕松地變得更好 10 倍、更快，以及具備所有用戶(hù)期望的特性。而要獲得這種優(yōu)勢(shì)，就需要一個(gè)新的平臺(tái)。這就是這個(gè)平臺(tái)的意義所在。
Modest
Patrick，在一開(kāi)始你就問(wèn)到了關(guān)于投資回報(bào)率（ROI）、資本支出（CapEx）以及所有這些的大辯論，當(dāng)你聆聽(tīng)奇普（Chip）的言論，當(dāng)你聆聽(tīng)?wèi)?yīng)用層的其他投資者的言論，當(dāng)你聆聽(tīng)超大規(guī)模企業(yè)的言論時(shí)，過(guò)去三個(gè)月最重要的收獲是，用例正在涌現(xiàn)。沒(méi)錯(cuò)，大家都知道編程，大家都知道客戶(hù)支持，但這確實(shí)開(kāi)始滲透，并融入更廣泛的生態(tài)系統(tǒng)中。而且收入正在成為現(xiàn)實(shí)。關(guān)于投資回報(bào)率的問(wèn)題，挑戰(zhàn)始終在于，好吧，你把資金投入這里，然后在投資期限內(nèi)對(duì)其進(jìn)行攤銷(xiāo)，但與此同時(shí)，你又在為下一個(gè)模型投入下一筆資金。
因此，每個(gè)人都可以做出這些推斷并說(shuō)：“哦，天哪，這不只是微軟在 2025 年將投入850 億美元的現(xiàn)金資本支出（包括租賃），而是這對(duì) 26 年、27 年、28 年意味著什么？”因?yàn)轭A(yù)訓(xùn)練模型變得如此龐大，如果……而且，這又是一個(gè)假設(shè)，即我們趨于平穩(wěn)，并且在預(yù)訓(xùn)練上花費(fèi)的資金減少，將資金轉(zhuǎn)向推理。我們知道這筆支出即將到來(lái)，我們知道客戶(hù)的收入來(lái)源即將到來(lái)。
因此，說(shuō)這筆支出是合理的就變得容易得多了。我認(rèn)為重要的是，人們要記住這些公司潛在的陰云，這意味著僅僅是常規(guī)的存儲(chǔ)和計(jì)算仍在以?xún)晌粩?shù)的高位增長(zhǎng)。所以，有一些資金需要分配到這方面。當(dāng)你是一家業(yè)務(wù)增長(zhǎng) 18%的千億美元企業(yè)時(shí)，你是一家業(yè)務(wù)增長(zhǎng) 25%的 600 億美元企業(yè)。
這是六、九個(gè)月前大家都非常擔(dān)憂(yōu)的增量資本。我個(gè)人從第三季度的數(shù)據(jù)中得出的看法是，好的，我明白了，這里有應(yīng)用場(chǎng)景。推理正在進(jìn)行。技術(shù)正在發(fā)揮其應(yīng)有的作用。
推理的成本在驟降，利用率在飆升。把這兩者結(jié)合起來(lái)，你會(huì)得到一個(gè)不斷增長(zhǎng)的可觀收入，一切都很好。薩蒂亞納德拉談到了這一點(diǎn)。問(wèn)題在于，你為模型投入了資金，在推理方面得到了回報(bào)，但隨后我們又在為下一個(gè)模型投入資金。
如果我們能夠開(kāi)始說(shuō)，嘿，也許我們不會(huì)在接下來(lái)的 500 億美元上投入這個(gè)模型，那么投資回報(bào)率的計(jì)算看起來(lái)就會(huì)好得多。關(guān)于你問(wèn)杰森的一個(gè)問(wèn)題，即為什么模型層的穩(wěn)定性很重要？我認(rèn)為薩姆阿爾特曼給出了正確的答案，那是六個(gè)月前，他在一個(gè)播客中說(shuō)，如果你害怕我們的下一個(gè)模型發(fā)布，我們會(huì)把你碾過(guò)。如果你期待著我們的下一個(gè)模型推出，那么你就處于有利地位。
嗯，如果實(shí)際情況是下一個(gè)模型將在推理時(shí)使用，而非重新訓(xùn)練，那么你可能就不必太擔(dān)心它們會(huì)失控。所以我認(rèn)為，帕特，我們?cè)谶@里談?wù)摰乃袃?nèi)容都非常有利于整個(gè)生態(tài)系統(tǒng)形成利的經(jīng)濟(jì)現(xiàn)實(shí)，這就是所有注意力資本都投入到推理上的原因。真正令人擔(dān)憂(yōu)的是，我們是否需要花費(fèi) 500 億、1000 億、2000 億美元來(lái)在預(yù)訓(xùn)練中構(gòu)建這些更精確的模型？
一級(jí)市場(chǎng)估值向我們揭示了什么
Patrick
在哪些地方，價(jià)格最能反映極度的樂(lè)觀情緒或炒作？當(dāng)然，我確實(shí)見(jiàn)過(guò)相當(dāng)多的私募市場(chǎng)公司，比如說(shuō) A 輪類(lèi)型的公司，它們的估值極高。它們往往是令人難以置信的團(tuán)隊(duì)，非常令人興奮，但它們所在的領(lǐng)域，如果某樣?xùn)|西行得通，你可以想象會(huì)有很多其他非常聰明的投資者為一些競(jìng)爭(zhēng)對(duì)手提供資金。所以你會(huì)看到這些情況，比如很棒的團(tuán)隊(duì)、高價(jià)格、高潛力的競(jìng)爭(zhēng)，非常令人興奮，一切都發(fā)展迅速。
我很好奇，你們倆現(xiàn)在從估值和市盈率中讀出了哪些信號(hào)。
Chetan
在私人市場(chǎng)中，正在發(fā)生的事情之一就是計(jì)算價(jià)格的急劇下降，無(wú)論是推理還是訓(xùn)練等等，因?yàn)橛?jì)算變得更容易獲取了。如果你今天作為應(yīng)用程序開(kāi)發(fā)者坐在這里，與兩年前相比， 這些模型的推理成本下降了一百倍、兩百倍。坦率地說(shuō)，這太離譜了。你從未見(jiàn)過(guò)成本曲線(xiàn)如此陡峭、下降得如此之快。
這是基于 15 年的云成本曲線(xiàn)得出的結(jié)論，這些成本曲線(xiàn)本身就已經(jīng)令人驚嘆和難以置信了。人工智能的成本曲線(xiàn)則完全處于一個(gè)不同的水平。我們之前看看我們?cè)?2022 年資助的第一波應(yīng)用公司的成本曲線(xiàn)。你看推理成本，在最新的前沿模型中，每百萬(wàn)代幣大約是 15 到 20 美元。
而如今，大多數(shù)公司甚至都不會(huì)考慮推理成本，因?yàn)榫拖�，嗯，我們把這項(xiàng)任務(wù)分解了，然后我們針對(duì)這些相當(dāng)基礎(chǔ)的任務(wù)使用這些小型模型，而我們最前沿的模型所處理的大 多是這極少數(shù)的提示。其余的部分，我們只是創(chuàng)建了這個(gè)智能路由系統(tǒng)。所以我們的推理成本基本上為零。而這項(xiàng)任務(wù)的毛利率為 95%。
你只要看看這個(gè)，就會(huì)覺(jué)得，哇，思考應(yīng)用增長(zhǎng)利潤(rùn)率的方式與我們?cè)谶^(guò)去十年多時(shí)間里針對(duì) SaaS 以及基本上針對(duì)軟件所做的完全不同。所以我認(rèn)為，這就是你開(kāi)始著眼于并思考的地方，即這些新的人工智能應(yīng)用的整個(gè)應(yīng)用堆棧。這要從提供推理的人員開(kāi)始。要從工具和編排層開(kāi)始。
所以我們有一家非常受歡迎的投資組合公司，叫做 LangChain，還有推理層，我們有 Fireworks。這類(lèi)公司正被開(kāi)發(fā)者大量使用。然后一直向上，到應(yīng)用程序本身。我認(rèn)為僅僅是創(chuàng)新的速度、商業(yè)成功的速度，就令私人投資者興奮不已。
模型穩(wěn)定性還有吸引人的地方在于，現(xiàn)在我們終于可以假定，如果這行得通，那么所有這些公司都將相當(dāng)節(jié)省資金。因?yàn)槿绻悴槐卦陬A(yù)訓(xùn)練上花費(fèi)大量資金，如果你不必在推理上花費(fèi)大量資金，因?yàn)榇蠖鄶?shù)超大規(guī)模公司現(xiàn)在都會(huì)以這樣的成本為你提供非�？煽康� API。現(xiàn)在是從事應(yīng)用開(kāi)發(fā)業(yè)務(wù)的好時(shí)機(jī)，也是處于應(yīng)用開(kāi)發(fā)堆棧的好時(shí)機(jī)。
Patrick
Modest，你對(duì)估值有什么看法？
Modest
我認(rèn)為，總體而言，你得從動(dòng)物精神說(shuō)起。如果你回到 ChatGPT 發(fā)布的前一周，也就是 2022 年秋季，科技行業(yè)可能剛剛經(jīng)歷了自互聯(lián)網(wǎng)泡沫破裂以來(lái)最殘酷的熊市�？梢哉f(shuō)，對(duì)于中位數(shù)的科技股而言，情況甚至比金融危機(jī)還要糟糕。一些規(guī)模非常大的成長(zhǎng)型基金下跌了 60%、70%。
你曾目睹超級(jí)巨頭首次裁員。你曾目睹資本支出削減，運(yùn)營(yíng)支出削減。整個(gè)科技界乃至公開(kāi)市場(chǎng)都彌漫著一種截然不同的氛圍。ChatGPT 的發(fā)布促使冒險(xiǎn)精神再度興起，這是一個(gè)漸進(jìn)的過(guò)程。
所以我認(rèn)為，總體而言，公共市場(chǎng)存在大量的樂(lè)觀情緒，其中很多都與這樣一個(gè)主題相關(guān)：我們正處于一個(gè)新平臺(tái)時(shí)代，對(duì)于許多不同的新概念，天空才是極限。所以，如果我們是對(duì)的，就存在這種全球性的懸而未決的情況。我認(rèn)為，這歸根結(jié)底是要理解，如果資本性支出和超大規(guī)模運(yùn)營(yíng)商的運(yùn)營(yíng)成本與收入生成聯(lián)系得更加緊密，那么未來(lái)的新路徑會(huì)是什么樣子。如果你聽(tīng)亞馬遜網(wǎng)絡(luò)服務(wù)（AWS），他們說(shuō)的有趣的事情之一是，他們稱(chēng) AWS 是一家物流企業(yè)。
我認(rèn)為外界沒(méi)有人會(huì)審視云計(jì)算并說(shuō)，哦，是的，那是一個(gè)物流業(yè)務(wù)。但他們的觀點(diǎn)本質(zhì)上是，他們必須做的是預(yù)測(cè)需求，并且必須在多年基礎(chǔ)上建立供應(yīng)以滿(mǎn)足需求。
而且在過(guò)去的 20 多年里，他們?cè)谶^(guò)去兩年所發(fā)生的事情上變得極其出色。上次我就談到，需求大幅增長(zhǎng)，沖擊了缺乏彈性的供應(yīng)，因?yàn)槟銦o(wú)法在三個(gè)星期內(nèi)增加數(shù)據(jù)中心的容量。所以，如果能回到一種更具可預(yù)測(cè)性的需求節(jié)奏，讓他們能夠?qū)徱暡⒄f(shuō)，好的，我們現(xiàn)在知道收入的來(lái)源在哪里。
這來(lái)自測(cè)試階段，來(lái)自Chetan及其公司推出的產(chǎn)品�，F(xiàn)在我們知道如何將供應(yīng)與之匹配。現(xiàn)在又回到了物流業(yè)務(wù)上�，F(xiàn)在不是要把國(guó)內(nèi)每一個(gè)閑置的核電站都找出來(lái)并試圖讓其投入運(yùn)營(yíng)。
所以，我認(rèn)為這并非是一種掠奪土地的行為，而是以一種更合理、明智、有條理的方式來(lái)進(jìn)行。實(shí)際上，我猜如果這條路是正確的，那么這種推斷會(huì)比我們想象中更快地超越訓(xùn)練，其效果會(huì)比我們可能預(yù)想的更大。
但我認(rèn)為，在網(wǎng)絡(luò)設(shè)計(jì)中，這方面的路徑將會(huì)看起來(lái)大不相同，并且對(duì)于那些構(gòu)建網(wǎng)絡(luò)、為網(wǎng)絡(luò)提供動(dòng)力以及通過(guò)網(wǎng)絡(luò)傳輸光信號(hào)的人來(lái)說(shuō)，將會(huì)產(chǎn)生非常重大的影響。而所有這一切，我認(rèn)為，在很大一部分公開(kāi)市場(chǎng)的概率加權(quán)分布中，實(shí)際上尚未真正開(kāi)始顯現(xiàn)。
而且你看，我認(rèn)為大多數(shù)人過(guò)度關(guān)注英偉達(dá)，因?yàn)樗麄兯闶沁@方面的典型代表，但英偉達(dá)下游有很多人可能會(huì)遭受更大的損失，因?yàn)樗麄兊臉I(yè)務(wù)較差。英偉達(dá)是一家出色的企業(yè)，做著出色的事情。他們只是碰巧實(shí)現(xiàn)了盈余的大幅增長(zhǎng)。我認(rèn)為這帶來(lái)的影響遠(yuǎn)遠(yuǎn)超出了誰(shuí)在制造最前沿的 GPU，盡管我確實(shí)認(rèn)為，這種新的測(cè)試時(shí)間計(jì)算范例是否能讓芯片層面的定制化程度大大提高，這會(huì)存在疑問(wèn)，也就是說(shuō)，如果我們只是基于預(yù)訓(xùn)練進(jìn)行擴(kuò)展，是否能實(shí)現(xiàn)更高的定制化程度。
但我認(rèn)為，無(wú)論何時(shí)在正常對(duì)話(huà)中遇到這個(gè)問(wèn)題，人們都過(guò)度關(guān)注英偉達(dá)。我覺(jué)得人們喜歡爭(zhēng)論那個(gè)特定的名字，但我認(rèn)為在人工智能構(gòu)建的眾多衍生應(yīng)用中，結(jié)果的分布已經(jīng)發(fā)生了變化，而這尚未得到體現(xiàn)。
Chetan
我只是認(rèn)為，在測(cè)試期間以及從應(yīng)用層的推理范例中思考這個(gè)問(wèn)題是非常重要的，即你的提示中有多少實(shí)際上將推理作為回應(yīng)這些提示的一種方式。而且，沒(méi)錯(cuò)，隨著這項(xiàng)技術(shù)變得更加可用和易用，應(yīng)用程序開(kāi)發(fā)人員對(duì)其的使用會(huì)比現(xiàn)在多得多。
但是，如果你只是看看當(dāng)前的技術(shù)，以及已經(jīng)從應(yīng)用層獲得的驚嘆之處，那么會(huì)有多少百分比的提示或查詢(xún)會(huì)使用推理呢？很難隨便估計(jì)一下就說(shuō)會(huì)有 90%的查詢(xún)會(huì)使用推理。
這似乎不會(huì)是那樣的，因?yàn)樵僬f(shuō)一次，你的用戶(hù)是不會(huì)等待的。人類(lèi)天生就沒(méi)耐心，而你有一個(gè)解決方案，只是空轉(zhuǎn)著，還以為你的用戶(hù)已經(jīng)走了。不管他們處于哪個(gè)領(lǐng)域，他們都走了。所以，沒(méi)錯(cuò)，可能會(huì)有某些特定任務(wù)需要很長(zhǎng)時(shí)間才能完成，并且能實(shí)現(xiàn)高精度。
但到目前為止，速度是這些應(yīng)用程序開(kāi)發(fā)者最重要的考慮因素。那么，我們是否會(huì)擁有一個(gè)系統(tǒng)，不斷回溯、反復(fù)利用所有這些計(jì)算能力，而在哪些市場(chǎng)份額的查詢(xún)中使用這些能力呢？很難想象這會(huì)是絕大多數(shù)的查詢(xún)。那么，至少?gòu)乃饺耸袌?chǎng)、早期投資者的角度來(lái)看，這意味著什么？除了我自己的領(lǐng)域，我很難想象這會(huì)對(duì)其他任何東西產(chǎn)生什么影響。
但這其中的含義僅僅是，你在訓(xùn)練時(shí)所需的計(jì)算量遠(yuǎn)不如訓(xùn)練時(shí)那么多。訓(xùn)練只是一項(xiàng)持續(xù)的工作。你在不斷擴(kuò)展，并且一直在充分發(fā)揮所有的計(jì)算能力，只是在應(yīng)用層進(jìn)行，這極其突兀。你會(huì)有一些任務(wù)需要立即大量處理，而很多時(shí)候你其實(shí)并不需要那么多。
因此，這再次證明了超級(jí)巨頭以及像 EC2 和 S3 這樣的服務(wù)是多么出色。在這個(gè)新世界中，超級(jí)巨頭提供的解決方案確實(shí)非常棒。我認(rèn)為亞馬遜的培訓(xùn)以及谷歌的 TPUs確實(shí)非常出色，它們?yōu)殚_(kāi)發(fā)者提供了絕佳的體驗(yàn)。我認(rèn)為對(duì)于應(yīng)用程序開(kāi)發(fā)者來(lái)說(shuō)，眾所周知的部分情況是，在這個(gè)用例中，使用 GPU 確實(shí)非常困難。
要讓連接在一起的 GPU 實(shí)現(xiàn)最大利用率，無(wú)論你是從戴爾購(gòu)買(mǎi)還是從超大規(guī)模運(yùn)營(yíng)商購(gòu)買(mǎi)，都真的很難使用。但隨著新的軟件創(chuàng)新，這顯然會(huì)得到改善。而且超大規(guī)模運(yùn)營(yíng)商自身推出的產(chǎn)品，真的非常非常棒，在進(jìn)行測(cè)試階段的計(jì)算時(shí)，你根本不需要像訓(xùn)練時(shí)那樣大力投入。
Modest
我認(rèn)為這在 GPU 的利用方面是一個(gè)非常重要的點(diǎn)。如果你考慮一項(xiàng)訓(xùn)練任務(wù)，你試圖在很長(zhǎng)一段時(shí)間內(nèi)以盡可能高的百分比利用它們。所以你試圖在一個(gè)地方放置 50 萬(wàn)、100 萬(wàn)個(gè)芯片，并以盡可能高的速率利用它們長(zhǎng)達(dá)九個(gè)月。剩下的是一個(gè)十萬(wàn)個(gè)芯片的集群，如果你要將其重新用于推理，可以說(shuō)這不是最有效的構(gòu)建，因?yàn)橥评硎欠逯岛屯话l(fā)性的，而不是持續(xù)的。
所以這就是我正在談?wù)摰�，我只是認(rèn)為從第一性原理出發(fā)，你將重新思考你希望如何構(gòu)建基礎(chǔ)設(shè)施，以服務(wù)于一個(gè)比訓(xùn)練更側(cè)重于推理的世界。詹森已經(jīng)談到了英偉達(dá)的美妙之處，即你留下了這種現(xiàn)成的基礎(chǔ)設(shè)施，隨后就可以加以利用。
在這個(gè)沉沒(méi)成本的世界里，你可能會(huì)說(shuō)，當(dāng)然，如果我被迫建造一個(gè)包含一百萬(wàn)個(gè)芯片的超級(jí)集群來(lái)訓(xùn)練一個(gè)價(jià)值五百億美元的模型，那我完成后當(dāng)然可以把這個(gè)資產(chǎn)當(dāng)作汗水揮灑掉。但從第一性原理來(lái)看，顯然，你絕不會(huì)為了滿(mǎn)足Chetan所談?wù)摰哪欠N需求，而建造一個(gè)功率達(dá) 2.5 吉瓦的 35 萬(wàn)個(gè)芯片的集群。
因此，如果你最終擁有低延遲和高效率的更多邊緣計(jì)算，這對(duì)光網(wǎng)絡(luò)意味著什么？對(duì)電網(wǎng)意味著什么？對(duì)現(xiàn)場(chǎng)電力需求與從當(dāng)?shù)毓檬聵I(yè)獲取電力的能力意味著什么？我認(rèn)為這些是我非常有興趣閱讀的問(wèn)題類(lèi)型。
但到目前為止，很多分析仍然集中在我們點(diǎn)燃三里島時(shí)會(huì)發(fā)生什么，因?yàn)樾碌哪Ｊ酱_實(shí)還為時(shí)尚早。
半導(dǎo)體領(lǐng)域仍需創(chuàng)新之處
Patrick
你認(rèn)為，盡管在半導(dǎo)體領(lǐng)域會(huì)有大量的創(chuàng)新，但我們是否仍然需要并且將會(huì)看到這些創(chuàng)新呢？無(wú)論是網(wǎng)絡(luò)方面，無(wú)論是光學(xué)方面，還是芯片本身，不同類(lèi)型的芯片。
Modest
我想這會(huì)進(jìn)一步加速這一進(jìn)程，因?yàn)楹茈y預(yù)見(jiàn)一個(gè)在訓(xùn)練中就采用大規(guī)模綠色能源的世界。在我看來(lái)，數(shù)百年來(lái)，先是出現(xiàn)淘金熱、圈地?zé)�，每個(gè)人都只顧著眼前。但在技術(shù)領(lǐng)域，隨著一些穩(wěn)定性的形成，會(huì)進(jìn)入一個(gè)優(yōu)化期。在推理方面，你們已經(jīng)經(jīng)歷了這樣一個(gè)時(shí)期。
Chetan所指的是，人們有時(shí)間優(yōu)化計(jì)算機(jī)中的底層算法，推理錯(cuò)誤率下降了 99%。這與互聯(lián)網(wǎng)泡沫末期互聯(lián)網(wǎng)傳輸?shù)那闆r相同，當(dāng)時(shí)人們說(shuō)，不，你絕不可能在線(xiàn)播放電影。你知道這要花多少錢(qián)嗎？而傳輸成本在 20 年里每年都像鐘表一樣準(zhǔn)時(shí)下降 25%。
該業(yè)務(wù)的實(shí)際利潤(rùn)池在 20 年內(nèi)保持不變。所以我認(rèn)為，我們經(jīng)歷了這種瘋狂的需求激增，而且我覺(jué)得，如果我們能稍微穩(wěn)定下來(lái)，讓每個(gè)人都能喘口氣，就會(huì)有兩個(gè)人在車(chē)庫(kù)里對(duì)一切可能優(yōu)化的方面進(jìn)行優(yōu)化。從長(zhǎng)期來(lái)看，這就是技術(shù)的魅力所在，它是通貨緊縮的，因?yàn)檫@是一個(gè)優(yōu)化問(wèn)題，但在瘋狂搶占市場(chǎng)的時(shí)候，你就沒(méi)時(shí)間優(yōu)化了。上次我跟你說(shuō)過(guò)這話(huà)。
數(shù)據(jù)中心行業(yè)，它們?cè)陔娏Ψ矫媸侵行缘�。整個(gè)數(shù)據(jù)中心業(yè)務(wù)對(duì)電力的需求增長(zhǎng)在五年內(nèi)都沒(méi)有增長(zhǎng)。這是因?yàn)楫?dāng)時(shí)處于云數(shù)據(jù)中心建設(shè)的完全成熟階段。我不知道你們何時(shí)會(huì)達(dá)到那個(gè)階段。
我的意思是，我們知道這些至少在 2026 年或 2027 年之前還有三四年時(shí)間的人，會(huì)全力以赴地進(jìn)行建設(shè)。
在什么時(shí)候，每個(gè)人都會(huì)有時(shí)間深吸一口氣并說(shuō)，好的，現(xiàn)在讓我們想辦法如何更高效地運(yùn)行這些？這就是事物的本質(zhì)。在計(jì)算方面也是如此。我只是認(rèn)為，我們還沒(méi)有達(dá)到技術(shù)人員能夠應(yīng)用他們的優(yōu)化的程度。他們一直在進(jìn)行實(shí)施。
Chetan
我會(huì)給你們提供幾個(gè)我這邊的一些數(shù)據(jù)點(diǎn)。我的合作伙伴埃里克是一家出色的半導(dǎo)體公司 Cerebras 的董事會(huì)成員，他們最近宣布，Cerebras 的 Llama 3.1 能夠每秒生成超過(guò) 4050億個(gè)推理結(jié)果，每秒能生成 900 多個(gè)令牌，這是一個(gè)數(shù)量級(jí)的大幅增長(zhǎng)。我認(rèn)為，舉例來(lái)說(shuō)，這比 GPU 的推理速度快 70 到 75 倍。所以，當(dāng)我們進(jìn)入推理世界、半導(dǎo)體層、網(wǎng)絡(luò)層等等，初創(chuàng)企業(yè)有大量的機(jī)會(huì)真正使自己與眾不同。
然后我要提出的第二件事是，我最近剛和一家大型金融服務(wù)機(jī)構(gòu)的首席信息官交談過(guò)，他說(shuō)在過(guò)去兩年里，他們預(yù)先購(gòu)買(mǎi)了很多圖形處理器（GPU），因?yàn)樗麄冋J(rèn)為會(huì)有很多人工智能應(yīng)用。
工作負(fù)載，誰(shuí)知道他們自己是不是需要做些培訓(xùn)。所以這些系統(tǒng)現(xiàn)在正被安裝到他們的數(shù)據(jù)中心，并且已經(jīng)上線(xiàn)，在這個(gè)世界里，你不需要自己創(chuàng)建模型。即使你創(chuàng)建了，也只是對(duì)開(kāi)源模型進(jìn)行微調(diào)。這沒(méi)那么復(fù)雜。
所以他的觀點(diǎn)是，你看，如果你有人工智能應(yīng)用程序在本地運(yùn)行，那基本上是免費(fèi)的。我有所有這些容量，我根本沒(méi)用它來(lái)做任何事。推理很輕量，所以目前我有無(wú)限的容量在本地運(yùn)行人工智能應(yīng)用程序，而且這不會(huì)讓我增加任何邊際成本，因?yàn)樗羞@些東西都已啟動(dòng)并運(yùn)行，而我根本沒(méi)用它來(lái)做任何事，所以我準(zhǔn)備購(gòu)買(mǎi)。
所以，不僅你所談?wù)摰乃羞@些應(yīng)用事物令人極其興奮，因?yàn)樗鼈兡茚尫磐顿Y回報(bào)率以及所有相關(guān)的東西，而且一旦你能在我們的設(shè)備上運(yùn)行其中任何東西，這會(huì)極大地降低我們的成本。
所以，當(dāng)你擁有這樣的東西時(shí)，到處都是贏贏贏的局面。這就是當(dāng)前的狀況。那么，這種產(chǎn)能過(guò)剩會(huì)持續(xù)多久呢？應(yīng)用程序開(kāi)發(fā)者以充分利用所有容量并突破極限而聞名，突然之間，曾經(jīng)過(guò)剩的容量最終會(huì)變成不足的容量，因?yàn)橥蝗恢g，我們進(jìn)行了廣泛的建設(shè)，然后決定在上面?zhèn)鬏斠曨l。
當(dāng)然，人工智能應(yīng)用會(huì)變得愈發(fā)復(fù)雜，并消耗掉所有這些容量。但從投資的角度來(lái)看，這是一個(gè)更具可預(yù)測(cè)性、更理智的世界，而不是在預(yù)訓(xùn)練的情況下無(wú)限擴(kuò)展。
Modest
我好奇并想要關(guān)注的一件事是：重要的是要記住，報(bào)告并不是說(shuō)模型沒(méi)有在改進(jìn)而是說(shuō)模型相對(duì)于預(yù)期或者應(yīng)用于它們的計(jì)算量而言沒(méi)有改進(jìn)。所以我認(rèn)為，我們確實(shí)需要謹(jǐn)慎地得出實(shí)驗(yàn)室不會(huì)繼續(xù)努力去破解難題的結(jié)論。
在預(yù)訓(xùn)練方面，我認(rèn)為問(wèn)題在于，其一，我們應(yīng)該尋找什么？但其次，如果他們繼續(xù)沿著那個(gè)方向推進(jìn)，我們是否相信，而這一直是我苦苦思索的問(wèn)題，即如果在預(yù)訓(xùn)練中縮放定律成立，人們是否愿意花費(fèi) 1000 億美元？
而且我知道，人人都說(shuō)如果你是為了終極大獎(jiǎng)而戰(zhàn)，你肯定會(huì)這么做，但是已經(jīng)有足夠多的質(zhì)疑聲音出現(xiàn)，即單純的暴力破解式預(yù)訓(xùn)練就是通向終極解鎖的途徑嗎？還是說(shuō)現(xiàn)在是預(yù)訓(xùn)練、后訓(xùn)練和測(cè)試時(shí)計(jì)算的某種組合？在這種情況下，同樣，我認(rèn)為世界上的情況只是，從數(shù)學(xué)角度來(lái)看要合理得多。而且我看到了很多評(píng)論，說(shuō)人們宣稱(chēng)人工智能的發(fā)展已經(jīng)終結(jié)等等。
希望今天能從中得到的啟示是，我認(rèn)為那些真正深入研究這個(gè)問(wèn)題的人不會(huì)這么說(shuō)。人們會(huì)說(shuō)人工智能正在全速推進(jìn)。我認(rèn)為問(wèn)題在于進(jìn)步的軸心究竟是什么。在我看來(lái)，從我的角度來(lái)看，這種說(shuō)法似乎更合情合理。
走這條道路似乎要合理得多，而不是預(yù)先花費(fèi)任何可能的金額來(lái)建造這個(gè)假設(shè)的上帝。所以我認(rèn)為，如果我們最終走上這條路，這會(huì)是一個(gè)好得多的結(jié)果。
Patrick
我很好奇你認(rèn)為在整個(gè)事件中，如果有的話(huà)，最缺乏討論的部分是什么。有沒(méi)有什么事情你發(fā)現(xiàn)自己思考得比從朋友和同事那里聽(tīng)到的討論要多得多？
Chetan
在公共投資者方面，僅僅閱讀賣(mài)方報(bào)告，而我們看到的是賣(mài)方報(bào)告或分析，即關(guān)于這種新的測(cè)試時(shí)間計(jì)算范例意味著什么以及情況如何變化的內(nèi)容。所以我真的期待著關(guān)于這種新范例轉(zhuǎn)變的更多賣(mài)方分析。我認(rèn)為在私募市場(chǎng)中的相關(guān)報(bào)道也很少。
我認(rèn)為，與這些企業(yè)家會(huì)面的人們所了解到的是，這些企業(yè)家如今在前沿領(lǐng)域的投入是多么高效。而這是最近才發(fā)生的轉(zhuǎn)變。你會(huì)看到人們只需投入不到一百萬(wàn)美元，就能在特定的用例中，而非廣泛地，與前沿模型在性能上相媲美。而這是兩年前甚至一年前我們都未曾見(jiàn)到的。
Modest
預(yù)先訓(xùn)練是對(duì)資本主義的一次重大考驗(yàn)。如果我們沿著這條道路走下去，我覺(jué)得從微觀經(jīng)濟(jì)背景去分析將會(huì)發(fā)生什么要好得多，因?yàn)槟悴槐乜紤]上帝的內(nèi)在價(jià)值。我只是覺(jué)得，就我期待閱讀和聽(tīng)到的內(nèi)容而言，這要好得多。是的，我倒是希望看到有思想的內(nèi)部分析師真正努力應(yīng)對(duì)......
目前我覺(jué)得這有點(diǎn)防御性的意味。人們?cè)跒橐?guī)模未擴(kuò)大而只是轉(zhuǎn)移這一事實(shí)進(jìn)行辯護(hù)。這固然不錯(cuò)。但現(xiàn)在我們得研究一下二階效應(yīng)、三階效應(yīng)。
那么這究竟是如何體現(xiàn)的呢？我認(rèn)為這對(duì)整個(gè)生態(tài)系統(tǒng)、整個(gè)經(jīng)濟(jì)非常有利。但我認(rèn)為，會(huì)有很多盈余從之前看似贏家的地方轉(zhuǎn)移出來(lái)，而那些看似輸家的地方則會(huì)出現(xiàn)大量盈 余。
Patrick
在接下來(lái)的六個(gè)月里，什么樣的結(jié)果會(huì)讓你感到最迷茫？
Chetan
嗯，從積極的方面來(lái)說(shuō)，有兩個(gè)引人注目的例子：如果有人拿出成果，表明預(yù)訓(xùn)練又重新流行起來(lái)，并且在合成數(shù)據(jù)方面取得了巨大突破，突然之間，事情就啟動(dòng)了，再次啟動(dòng)。價(jià)值十億美元和一百億美元的集群又會(huì)回到談判桌上。你會(huì)回去，但突然之間，范式轉(zhuǎn)變會(huì)非常驚人。突然之間，我們現(xiàn)在會(huì)談?wù)撘粋�(gè)價(jià)值一千億美元的超級(jí)集群，它要進(jìn)行預(yù)訓(xùn)練。
那么很顯然，如果我的預(yù)期成真，即明年我們將實(shí)現(xiàn)通用人工智能，我們將擁有通用人工智能，而且我們正在建造一個(gè)價(jià)值一千億美元的集群，因?yàn)槲覀冊(cè)诤铣蓴?shù)據(jù)方面取得了突破，一切都行得通，我們可以模擬一切。
我認(rèn)為另一種情況是，現(xiàn)在非常清楚的是，雖然我們已經(jīng)用盡了關(guān)于文本的數(shù)據(jù)，但我們遠(yuǎn)未用盡關(guān)于視頻和音頻的數(shù)據(jù)。而且我認(rèn)為，這些模型在新形式的模式上的能力仍待確定。所以我們就是不知道，因?yàn)榇饲爸攸c(diǎn)并未放在那里。但現(xiàn)在你開(kāi)始看到大型實(shí)驗(yàn)室更多地談?wù)撘纛l和視頻。
從人類(lèi)交互的角度來(lái)看，這些模型將能夠?qū)崿F(xiàn)什么，我認(rèn)為這將會(huì)相當(dāng)驚人。我認(rèn)為你們已經(jīng)看到了圖像生成和視頻生成方面有了多大的飛躍。而一年后、兩年后的情況會(huì)是怎樣，可能會(huì)令人非常難以置信。
Modest
是的，我認(rèn)為對(duì)于非技術(shù)專(zhuān)家來(lái)說(shuō)，困難的部分在于，在過(guò)去的一年到一年半的時(shí)間里，問(wèn)題一直是如果遵循縮放定律，GPT - 5 會(huì)帶來(lái)什么？沒(méi)有人能夠真正清晰地闡述出來(lái)，因?yàn)槲覀兯赖氖�，好的，�?xùn)練損失會(huì)降低。所以你會(huì)說(shuō)，好的，這個(gè)東西在下一個(gè)標(biāo)記預(yù)測(cè)面會(huì)更準(zhǔn)確。但從能力的角度來(lái)看，這到底意味著什么？
在發(fā)布之前，我們未曾意識(shí)到的新興能力是什么？所以我認(rèn)為，除非實(shí)驗(yàn)室站出來(lái)說(shuō)，它的準(zhǔn)確性非常好，值得繼續(xù)沿著這種對(duì)數(shù)線(xiàn)性規(guī)格化的軌跡發(fā)展。如果有人這么說(shuō)，我想，不管整個(gè)討論的情況如何，也不管你可能相信什么，你都得說(shuō)，好吧，這種情況又出現(xiàn)了。我只是認(rèn)為，你必須保持超級(jí)開(kāi)放的心態(tài)。
如果我們?nèi)齻�(gè)月前進(jìn)行這場(chǎng)對(duì)話(huà)，當(dāng)時(shí)會(huì)有私下里的議論，但不會(huì)公開(kāi)討論。我只是認(rèn)為你必須不斷更新你的先驗(yàn)知識(shí)。所以，顯然，就像杰森所說(shuō)，我會(huì)尋找那樣的東西。就我個(gè)人而言，我密切關(guān)注 Llama。
顯然，在某個(gè)時(shí)候存在這樣一種風(fēng)險(xiǎn)，即他們決定不再保持開(kāi)源。如果我是生態(tài)系統(tǒng)中的其他參與者，我會(huì)竭盡全力確保 Llama 保持開(kāi)源。而且，要實(shí)現(xiàn)這一點(diǎn)，是有一定辦法可行的。
但我認(rèn)為這只是一方面，因?yàn)樗麄冊(cè)谇把赝度氲囊庠�，以及像他們那樣提供那些模型的方式，我認(rèn)為已經(jīng)徹底改變了模型行業(yè)的戰(zhàn)略動(dòng)態(tài)。所以這是我會(huì)關(guān)注的另一個(gè)方面。
關(guān)于通用人工智能（AGI）及后續(xù)發(fā)展的思考
Patrick
在我們接近討論尾聲的時(shí)候，我有一個(gè)哲學(xué)方面的問(wèn)題，是關(guān)于人工智能超級(jí)智能（ASI）。所以，如果通用人工智能（AGI）已經(jīng)存在或者明年就會(huì)出現(xiàn)，你們兩位究竟會(huì)如何看待它？我想這建立在之前關(guān)于我們究竟對(duì)停留在縮放壁壘上的 GPT-5 有何期望的討論之上。這意味著什么？
因?yàn)橹辽僭诤?jiǎn)單的聊天互動(dòng)中，我能想象到它能做得好得多的事情越來(lái)越少了，甚至都不知道那會(huì)是什么樣子。而且，我們可能還只是處于應(yīng)用程序開(kāi)發(fā)、微調(diào)、改進(jìn)、算法更新等等的早期階段。
所以我很好奇，從哲學(xué)角度來(lái)說(shuō)，對(duì)于超出我們天生所擁有的東西，你認(rèn)為關(guān)鍵的檢驗(yàn)標(biāo)準(zhǔn)會(huì)是什么，或者可能會(huì)有什么，因?yàn)楝F(xiàn)有的模型在不斷調(diào)整、優(yōu)化和改進(jìn)。人工智能究竟意味著什么？
這是否意味著它解決了此前不可能解決的數(shù)學(xué)或物理難題，還是其他什么情況？
那個(gè)想法對(duì)你們倆來(lái)說(shuō)意味著什么？
Chetan
這些都不是我的話(huà)。我不記得最初是誰(shuí)說(shuō)的，但人類(lèi)真的很擅長(zhǎng)改變對(duì)期望的標(biāo)準(zhǔn)。 20 世紀(jì) 70 年代的人工智能所代表的意義與 80 年代、90 年代、21 世紀(jì)初以及 2024年的意義是不同的。所以，如果一臺(tái)計(jì)算機(jī)能夠做到某件事，人類(lèi)就會(huì)有一種很好的
方式將其描述為自動(dòng)化。而計(jì)算機(jī)做不到的任何事，現(xiàn)在都會(huì)成為人工智能的新標(biāo)準(zhǔn)。
所以我認(rèn)為，這些系統(tǒng)已經(jīng)極其智能，在復(fù)制人類(lèi)智能方面表現(xiàn)出色，有時(shí)甚至超越人類(lèi)智能。我認(rèn)為，如果你看看像 DeepMind 這樣的一些模型開(kāi)發(fā)者以及幾家初創(chuàng)公司在數(shù)學(xué)、物理和生物學(xué)等領(lǐng)域所走的道路，就會(huì)非常清楚，這些模型的應(yīng)用和輸出將會(huì)是人類(lèi)以前根本無(wú)法做到的事情。我們已經(jīng)看到，在蛋白質(zhì)折疊等方面就是如此。
今天，我們開(kāi)始看到一些與之相關(guān)的東西，這涉及到數(shù)學(xué)證明。我有信心，這也會(huì)涉及到物理證明。所以我對(duì)人類(lèi)的樂(lè)觀希望是，我不知道，我們能夠打開(kāi)蟲(chóng)洞之類(lèi)的東西，我們將能夠以前所未有的規(guī)模研究廣義相對(duì)論，研究黑洞，或者以我們以前無(wú)法做到的方式模擬黑洞。
此刻，所有這一切聽(tīng)起來(lái)都有點(diǎn)荒謬，但就目前事情的進(jìn)展方式以及已經(jīng)發(fā)展的方式而言，我們并不知道什么是有可能實(shí)現(xiàn)的，什么是不可能的。
再?gòu)耐顿Y者的角度來(lái)看，當(dāng)面對(duì)未知的未來(lái)，可能性取決于你的想象力時(shí)，這通常是早期投資者的好時(shí)機(jī)，因?yàn)檫@意味著技術(shù)已經(jīng)解鎖。通常，當(dāng)技術(shù)以驚人的方式解鎖時(shí)，分銷(xiāo)也會(huì)隨之解鎖，此時(shí)你就可以去獲取那些曾經(jīng)非常昂貴的客戶(hù)了。
所以以前，如果你想開(kāi)發(fā)一個(gè)消費(fèi)類(lèi)應(yīng)用程序，你就得把應(yīng)用商店的稅費(fèi)、搜索廣告網(wǎng)絡(luò)以及所有這類(lèi)東西都考慮在內(nèi)。而突然間，這只是在單位經(jīng)濟(jì)學(xué)方面很快就能完成的工作。
同樣，在軟件即服務(wù)（SaaS）領(lǐng)域，情況類(lèi)似于 A）生產(chǎn)力、毛利率和基礎(chǔ)設(shè)施成本。你只是試圖進(jìn)行電子表格操作，早期投資開(kāi)始變得更像電子表格操作，而非真正的技 術(shù)創(chuàng)新。我認(rèn)為，當(dāng)你有這樣重大的突破時(shí)，一切都又會(huì)發(fā)生某種變化。分銷(xiāo)近乎免費(fèi)。
如果你擁有獨(dú)特的東西，并且它具有口碑和病毒式傳播的因素，那么技術(shù)支出實(shí)際上又會(huì)回到僅僅投資于你的開(kāi)發(fā)人員、你的科研人員以及研發(fā)上，研發(fā)帶來(lái)的投資回報(bào)率又會(huì)開(kāi)始變得顯著。作為早期投資者，最令人興奮的是，我們并不知道未來(lái)的情況，因此又回到了人類(lèi)的創(chuàng)造力和人們能夠突破這些界限上。
Modest
對(duì)于早期投資者來(lái)說(shuō)這令人興奮，但我覺(jué)得對(duì)于有點(diǎn)懷疑的公開(kāi)市場(chǎng)投資者來(lái)說(shuō)這很可怕。價(jià)格是基于感覺(jué)而非數(shù)學(xué)計(jì)算得出的。在關(guān)于 ASI 的電子表格中，我想我們之前已經(jīng)討論過(guò)這個(gè)概念了。這就是人們花費(fèi)如此之多的原因。
在這上面花費(fèi)很多時(shí)間是因?yàn)樗羁塘恕?br/>
最終，有些人對(duì)我們正在建設(shè)的東西持有近乎宗教般的看法。每當(dāng)這種情況出現(xiàn)，我認(rèn)為風(fēng)險(xiǎn)就會(huì)更高。這有點(diǎn)難以捉摸，而且超級(jí)復(fù)雜。所以我們都喜歡對(duì)此進(jìn)行辯論。
但我認(rèn)為這里有一件事我們尚未提及，那就是有一群人相當(dāng)熱切地相信，在某個(gè)時(shí)候會(huì)出現(xiàn)遞歸式的自我提升。而且我認(rèn)為，無(wú)論假設(shè)中的 ASI 意味著什么，這都將是一條重要的突破路徑，即當(dāng)機(jī)器足夠聰明，能夠自我學(xué)習(xí)和自我教導(dǎo)的時(shí)候。
從不那么戲劇性的角度來(lái)看，我是這樣思考這個(gè)問(wèn)題的，有阿爾法圍棋（AlphaGo），它做出了那個(gè)從未有人見(jiàn)過(guò)的走法，我想那是第 37 步，大家都超級(jí)困惑，但它最終贏了。另一個(gè)我喜歡的例子是諾姆布朗（Noam Brown），因?yàn)槲蚁矚g撲克，他談到了他的撲克機(jī)器人，它是在高賭注、無(wú)限制的游戲中，不斷下注的金額大幅超過(guò)專(zhuān)業(yè)人士以往所見(jiàn)過(guò)的規(guī)模。
他認(rèn)為這個(gè)機(jī)器人犯了個(gè)錯(cuò)誤。最終，它極大地破壞了專(zhuān)業(yè)人士的穩(wěn)定性。想想看。一臺(tái)計(jì)算機(jī)破壞了人類(lèi)在其方法上的穩(wěn)定性，以至于他們?cè)谝欢ǔ潭壬犀F(xiàn)在在比賽中過(guò)度下注。
所以這是兩個(gè)例子，如果我們認(rèn)為預(yù)訓(xùn)練受到我們所給定數(shù)據(jù)集的限制，如果我們沒(méi)有合成數(shù)據(jù)生成能力，這里有兩個(gè)例子，算法在人類(lèi)知識(shí)的范圍之外做了一些事情。而這一直讓我對(duì)大型語(yǔ)言模型本身就能達(dá)到超級(jí)智能這一觀點(diǎn)感到困惑，因?yàn)閺墓δ苌现v，它們受到我們預(yù)先給定數(shù)據(jù)量的限制。
所以，如果你有這樣的例子，即算法能夠超出其最初所受的限制，那是非常有趣的。我還沒(méi)聰明到知道這會(huì)將我們引向何方，但我覺(jué)得接下來(lái)要思考的是，如何擺脫預(yù)先給定的限制？
Chetan
在我看來(lái)，我認(rèn)為了不起的是，這種創(chuàng)新在美國(guó)發(fā)生的程度，以及在硅谷發(fā)生的程度。自疫情以來(lái)，我們經(jīng)歷了艱難的幾年，這真的令人驚嘆。我有一位不在硅谷的投資朋友，他只是說(shuō)，真不敢相信這又在硅谷發(fā)生了。它已經(jīng)成為了這樣一個(gè)燈塔，所有的實(shí)驗(yàn)室都集中在這里。
很多從事這些應(yīng)用程序、這些基礎(chǔ)設(shè)施公司等等的人都在這里，即便他們不在這里， 也以某種方式與這里有關(guān)聯(lián)，并且經(jīng)常來(lái)這里訪問(wèn)。我想說(shuō)，這里對(duì)創(chuàng)新的關(guān)注確實(shí)非常出色。在人工智能方面，美國(guó)，特別是硅谷所取得的進(jìn)展非常顯著。我確實(shí)認(rèn)為，投資者和企業(yè)家現(xiàn)在關(guān)注的一個(gè)程度是，這個(gè)體系是多么脆弱，以及我們需要在多大程度上保護(hù)它并繼續(xù)對(duì)其投資。
而且我認(rèn)為現(xiàn)在有很多關(guān)注點(diǎn)在于創(chuàng)新是需要受到保護(hù)的東西。并且我覺(jué)得很多人現(xiàn)在都在投入大量精力以確保在美國(guó)發(fā)生的所有這些創(chuàng)新繼續(xù)造福所有人。我認(rèn)為這是一個(gè)非常樂(lè)觀且令人欣喜的認(rèn)知。
Modest
如果報(bào)告屬實(shí)，聚集效應(yīng)是真實(shí)存在的�！禩ransformer》論文得以問(wèn)世的方式是，有人在走廊里滑著旱冰，聽(tīng)到兩個(gè)人在談?wù)撃呈拢阕哌M(jìn)去，在白板上書(shū)寫(xiě)，又有兩個(gè)人過(guò)來(lái)，誰(shuí)知道其中有多少是虛構(gòu)的呢。
但從經(jīng)濟(jì)學(xué)家的角度來(lái)看，令人著迷的是，這些人類(lèi)網(wǎng)絡(luò)效應(yīng)是真實(shí)存在的，新冠疫情沒(méi)有摧毀它們，居家辦公也沒(méi)有摧毀它們，而且人們相聚在一起、思想的融合、多學(xué)科的匯聚來(lái)構(gòu)建這種改變世界的架構(gòu)，確實(shí)有其切實(shí)的東西。
Patrick
伙計(jì)們，和你們倆聊天總是很愉快。能私下進(jìn)行這次交流我很幸運(yùn)。在公開(kāi)場(chǎng)合進(jìn)行也很有趣。感謝你們抽出時(shí)間。
Modest
當(dāng)然。
Chetan
謝謝你！
本文來(lái)自華爾街見(jiàn)聞，歡迎下載APP查看更多
