劃重點(diǎn)
01開復(fù)表示,零一萬(wàn)物在AI-first時(shí)代將專注于2B市場(chǎng),國(guó)內(nèi)先掙錢,國(guó)外也先掙錢。
02他認(rèn)為,技術(shù)本身重要,但更重要的是創(chuàng)造價(jià)值,對(duì)用戶有用。
03為此,零一萬(wàn)物將致力于降低推理成本,推動(dòng)AI應(yīng)用生態(tài)的發(fā)展。
04同時(shí),開復(fù)強(qiáng)調(diào),在AI-first新時(shí)代,中國(guó)團(tuán)隊(duì)擁有龐大的市場(chǎng)、豐富的應(yīng)用場(chǎng)景和強(qiáng)大的執(zhí)行力。
以上內(nèi)容由大模型生成,僅供參考
李開復(fù)
“如果AGI必然發(fā)生,假設(shè)是7年以后,到了那天OpenAI‘一統(tǒng)天下’的時(shí)候,它想要來碾壓我們,我們至少還有抵抗的余地!
主筆作者 | 張小
編輯| 楊布丁
出品 | 科技新聞《潛望》
李開復(fù)似乎感到憂心。
我們的對(duì)話中,他有許多表達(dá)諸如此類:
“第一個(gè)做出AGI碾壓對(duì)手的,它必然是一個(gè)商業(yè)霸權(quán)壟斷者。而且,它會(huì)有成為一個(gè)終極壟斷者的野心!
“OpenAI是特別強(qiáng)大、壟斷型的公司,Sam Altman可能會(huì)是有史以來最大的壟斷者!
“他今天還沒成為壟斷者,但他的謀略,他的野心,他把一二三步棋都想清楚,這些我很佩服他。但從一個(gè)從業(yè)者的角度,也很擔(dān)憂他!
“人人可用是什么意思?就是你在美國(guó)做了OpenAI不給中國(guó)人用,那就不是人人可用啊!
這些言論全部指向一個(gè)宏大又現(xiàn)實(shí)的命題:如果美國(guó)形成AGI霸權(quán),我們應(yīng)該如何抵抗?
李開復(fù)1961年出生于中國(guó)臺(tái)灣,11歲隨兄嫂赴美,先后畢業(yè)于哥倫比亞大學(xué)和卡耐基梅隆大學(xué)。博士畢業(yè)留校做了兩年助理教授后,他隨即進(jìn)入產(chǎn)業(yè)界,先后在美國(guó)任職于蘋果、SGI、微軟和Google,最高出任微軟全球副總裁、Google全球副總裁和中國(guó)總裁。
在中國(guó),他于2009年創(chuàng)立科技投資機(jī)構(gòu)創(chuàng)新工場(chǎng),并于2023年創(chuàng)辦大模型公司零一萬(wàn)物,后者是中國(guó)大模型初創(chuàng)“六小虎”之一。
此前,在我們與楊植麟、朱嘯虎、王小川、湯道生、何小鵬的多篇系列對(duì)話中,更多集中在技術(shù)趨勢(shì)、企業(yè)生存與個(gè)體抉擇。
由于李開復(fù)有40年人工智能從業(yè)經(jīng)歷,在全球科技界活躍,和中美各界聯(lián)絡(luò)廣泛;這次,我們把話題推向了更為宏觀的議題:AGI霸權(quán)與壟斷、海外科技巨頭的卡位與現(xiàn)狀、超級(jí)應(yīng)用的隱形崛起。此外,他也聊了零一萬(wàn)物的爭(zhēng)議和戰(zhàn)略轉(zhuǎn)向(2C先走海外、國(guó)內(nèi)聚焦2B)。
“如果說AGI必然發(fā)生,我們假設(shè)它是7年以后發(fā)生。到了那天OpenAI‘一統(tǒng)天下’的時(shí)候……他想要來碾壓我們,我們至少還有抵抗的余地!崩铋_復(fù)說。
他提供了一個(gè)中國(guó)可以走的第二條道路的可能視角。
以下是對(duì)話全文。(為方便閱讀,作者做了一些文本優(yōu)化)
終極的霸權(quán)壟斷者
“極具野心的人都?jí)粝胱约河羞@么大一個(gè)霸權(quán)”
《潛望》:你在接受外媒采訪的時(shí)候說,中國(guó)大模型公司和硅谷巨頭最大的優(yōu)勢(shì)差異是,制造廉價(jià)的模型和推理引擎,為什么中國(guó)團(tuán)隊(duì)更擅長(zhǎng)做這件事?
李開復(fù):我可以告訴你,我們跟Google、OpenAI都搶過人當(dāng)屆博士我們輸?shù)谋融A的多。
這些博士在學(xué)校,就幾張卡,做博士論文。Google、OpenAI說,你加入我們,我給你5000張卡,我給你1萬(wàn)張卡,你可以用3個(gè)月、6個(gè)月來做你夢(mèng)想的事。
他們讀博最苦的就是學(xué)校沒有GPU資源,出來誰(shuí)給他GPU資源比什么都重要。還有數(shù)據(jù),還有場(chǎng)景。所以,他們?nèi)ツ抢锢硭?dāng)然。
我們這邊說,你來我們這,我們公司GPU蠻多的,有幾千張。有5000張嗎?有1萬(wàn)張嗎?沒有。那我為什么要去你這里?我去那邊一個(gè)人就有5000張了。
他們的做法是用資源吸引很聰明的博士加入,給他們資源做非常暢想的事。每幾個(gè)月,說:哎,誰(shuí)做出了點(diǎn)東西?我們能不能把它縮小,放到產(chǎn)品里去?
這是一種打法。如果你要打AGI,這個(gè)打法非常合理。你把最聰明的人拉進(jìn)來,給他很多資源。反正你錢多,也不怕燒GPU,做出來一定是一大堆有意思的東西。但是,你讓它縮小,就很難。
就像,你找人設(shè)計(jì)一個(gè)最豪華、美麗、壯觀的廚房。你說,我家就幾平,你把它塞進(jìn)來;蛘吣阍O(shè)計(jì)一個(gè)最快、最大的引擎發(fā)動(dòng)機(jī),我就一個(gè)小小的電動(dòng)車,你把它塞進(jìn)來塞不進(jìn)來嘛。所以,從設(shè)計(jì)就要想到。
我們從頭就想到,我們的目的,不是燒世界最貴的AGI,而是做世界第一梯隊(duì)的模型,但必須有廉價(jià)的推理。
這樣的模型,我們的應(yīng)用和別人的應(yīng)用才能用上。把這個(gè)當(dāng)目標(biāo),招聘時(shí)如實(shí)跟這些博士說。有人說,人家給我5000張卡,你不能保證,我為什么要加入你?但也有人說,我想做“接地氣”的科研和有效的創(chuàng)新,你更適合我。雖然我們大部分時(shí)候沒搶過OpenAI、Google,但加入的是跟我們思維、DNA一致的,能同心協(xié)力把這件事做出來。
我之前有一本書明確地說:黑科技發(fā)明的時(shí)刻,美國(guó)通常領(lǐng)先中國(guó),且領(lǐng)先蠻多;落地執(zhí)行的時(shí)刻,中國(guó)可以趕超,甚至超過美國(guó)。用的例子是,移動(dòng)互聯(lián)網(wǎng),美國(guó)發(fā)明的,但中國(guó)的App強(qiáng)過美國(guó);AI深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò),美國(guó)發(fā)明的,但中國(guó)的應(yīng)用、落地和產(chǎn)生的獨(dú)角獸不輸美國(guó)。
今天也一樣。誰(shuí)發(fā)明的GPT-4o?美國(guó)。誰(shuí)發(fā)明的o1?美國(guó)。但它發(fā)明一個(gè)我們就能趕超一個(gè)。中國(guó)一方面有很多優(yōu)化的方法論;另一方面,我們落地速度不僅很快且往往做得更廉價(jià)。
我們每個(gè)人都想追求AGI?梢非蟮谝粋(gè)做到AGI且完全碾壓別人,這個(gè)夢(mèng)想我們沒有,也不能有。
《潛望》:如果能第一個(gè)做到碾壓別人的AGI,能帶來什么?這是一個(gè)科研夢(mèng)想,還是一個(gè)商業(yè)夢(mèng)想?
李開復(fù):都是。如果你訓(xùn)練出超級(jí)大腦,它除了有今天的思考能力、推理能力;未來還有創(chuàng)新能力,能獨(dú)立思考,甚至有自我意識(shí);下一步了解多模態(tài)和世界模型;接下去做成具身智能走向世界科幻成真嘛。
AGI還不需要那么多。就把它定位純軟件好了。假設(shè)它的思考、推理能力,創(chuàng)造發(fā)明、獨(dú)立思考能力,以及自我學(xué)習(xí)能力,遠(yuǎn)遠(yuǎn)比人強(qiáng),AGI可以幫你發(fā)明很多新事物。
發(fā)明之一是,幫我設(shè)計(jì)一個(gè)商業(yè)模式,把其他大模型公司打倒;幫我設(shè)計(jì)一個(gè)公關(guān)策略,讓大家信任我是最可信的公司;如果是壞人,幫我設(shè)計(jì)一個(gè)網(wǎng)絡(luò)攻擊方法讓競(jìng)爭(zhēng)對(duì)手癱瘓……你要做壞人會(huì)有很多其他壞事。
第一個(gè)做出AGI碾壓對(duì)手的,它當(dāng)然實(shí)現(xiàn)了技術(shù)理想,但它必然也是一個(gè)商業(yè)霸權(quán)壟斷者。
而且,它會(huì)有成為一個(gè)終極壟斷者的野心。
《潛望》:也就是說,AGI能帶來什么超級(jí)應(yīng)用我們現(xiàn)在不知道,但它一定能帶來壟斷者。
李開復(fù):假如只有一家做出來,那它就必然是壟斷者。它可以用這個(gè)工具確保它壟斷。
過去,微軟很難說Windows一統(tǒng)天下了:讓W(xué)indows把全部的Mac弄沒有,讓W(xué)indows壟斷手機(jī)系統(tǒng)現(xiàn)在看來是不可思議的。AGI是一個(gè)大腦啊,做成了,它能誕生超級(jí)應(yīng)用,甚至能幫你發(fā)明。
AGI圈還有一個(gè)想法是,到了GPT-6,是不是會(huì)有剛才說的一些能力?當(dāng)你的AGI獨(dú)立思考、發(fā)明事物,是不是你就可以告訴它:幫我維護(hù)壟斷,得到更大商業(yè)利益,讓我得到一些東西、讓競(jìng)爭(zhēng)對(duì)手失去一些東西?
這是一個(gè)很大的誘惑。
我想,有史以來所有極富野心的人都?jí)粝胱约河羞@么大一個(gè)霸權(quán),但這對(duì)全世界并不見得是好事。
我們能走的第二條路
“它想來碾壓我們,我們至少還有抵抗的余地”
《潛望》:如果我們不追求AGI,走的是另外一條路,這條路怎么推演?
李開復(fù):第一個(gè)碾壓式的AGI壟斷者,夢(mèng)想是做出強(qiáng)大的大腦,錢全部到我這,其他人都賺不到錢。這種壟斷邊界要比過去微軟、Google的壟斷大得多。
還有別的選擇嗎?
我們的一個(gè)選項(xiàng)是,怎樣讓生態(tài)成為護(hù)城河?
壟斷者未必急于把推理成本降下來。它未必想很多應(yīng)用冒出來。但不考慮壟斷,我們作為用戶,希望有更多應(yīng)用,對(duì)吧?
短期看,未來1-2年,推理成本會(huì)下降,每年降10倍經(jīng)過各種努力,也許能降20倍到50倍。這樣會(huì)點(diǎn)燃很多應(yīng)用突然可以做搜索了,可以做社交了,可以做娛樂了,可以做電商了……應(yīng)用會(huì)像雨后春筍冒出來。
一個(gè)生態(tài)里,純美國(guó)AGI壟斷者推動(dòng)會(huì)導(dǎo)致什么?如果目標(biāo)是AGI壟斷,你做的就是拿最多錢買最多GPU不斷地?zé),直到燒出來為止,燒出來就贏了這是它的游戲。帶來什么副作用?英偉達(dá)賺超級(jí)多錢,因?yàn)殄X都被丟進(jìn)這里了嘛。
而一個(gè)良性生態(tài),應(yīng)該是芯片賺最少的錢,平臺(tái)賺蠻多的錢,應(yīng)用賺最多的錢;平臺(tái)本身比任何一個(gè)應(yīng)用都賺錢;但所有應(yīng)用加起來比平臺(tái)賺更多的錢。
PC、互聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)是這樣,云也是這樣。AI是不是?絕對(duì)不是。
今天AI生態(tài)是芯片GPU占750億美金>云廠商100億>應(yīng)用商ChatGPT這類只有50億是一個(gè)倒三角。如果持續(xù)是倒三角,AI-first的應(yīng)用不會(huì)雨后春筍冒出來。用戶不會(huì)得到福利,大家做應(yīng)用不會(huì)那么快PMF(Product Market Fit,產(chǎn)品市場(chǎng)契合度)、賺到錢、融到資,不能達(dá)到良性生態(tài)系統(tǒng)的正向循環(huán)。
正常健康的生態(tài)應(yīng)用是:應(yīng)用創(chuàng)造的價(jià)值>云廠商>芯片GPU,只有用戶得到好處才會(huì)付錢,付了錢App才會(huì)進(jìn)步,App進(jìn)步對(duì)平臺(tái)才有要求,對(duì)平臺(tái)有要求才會(huì)對(duì)芯片有要求,芯片進(jìn)步大家再一起進(jìn)步,就轉(zhuǎn)起來了。
AI應(yīng)用為什么不發(fā)生?是推理成本太貴了。
我們把頂級(jí)模型推理成本降下來,這樣才會(huì)達(dá)到產(chǎn)生一大堆PMF的應(yīng)用爆發(fā)拐點(diǎn)。應(yīng)用爆發(fā)以后,它們靠品牌、用戶數(shù)據(jù),快速建立護(hù)城河。今天為什么很難打倒微信、抖音、Facebook?因?yàn)樗鼈冊(cè)诤苋醯臅r(shí)候,發(fā)展了應(yīng)用、用戶群和護(hù)城河。
如果說AGI必然發(fā)生,我們假設(shè)它是7年以后發(fā)生。到了那天OpenAI“一統(tǒng)天下”的時(shí)候,我們已經(jīng)有了一個(gè)很強(qiáng)的社交應(yīng)用、很強(qiáng)的搜索、很強(qiáng)的Agent、很強(qiáng)的硬件。他想要來碾壓我們,我們至少還有抵抗的余地。
《潛望》:為什么說AGI是7年以后發(fā)生?
李開復(fù):前一陣有一篇文章《Situational Awareness: the Decade Ahead》(《態(tài)勢(shì)感知:未來十年》,OpenAI前員工撰寫),大膽說AGI三年會(huì)發(fā)生,有些假設(shè)值得商榷。
我覺得Epoch AI(一家非營(yíng)利研究組織)說得更靠譜,他們?cè)诮衲?月一篇文章《Can AI Scaling Continue Through 2030?》(《人工智能的規(guī)模定律能否持續(xù)到2030年?》)中,分析了四件事:
●數(shù)據(jù)還能多快增加?
●世界生產(chǎn)GPU的能力,還有HBM(高帶寬存儲(chǔ)器),就是內(nèi)存的能力,能多快增加?
●計(jì)算的耗損能多快增加?你作為一個(gè)神經(jīng)網(wǎng)絡(luò),它的forward backward訓(xùn)練(前向傳播和反向傳播訓(xùn)練),使它不是GPU問題,而是傳輸問題。如果是一張變成兩張傳輸還好,如果是100萬(wàn)張變成200萬(wàn)張,傳輸就會(huì)成為瓶頸。
●還有一個(gè),世界上有多少電?
最后它計(jì)算的結(jié)果大概是2030年。
他的說法是說從GPT-2到4,從2019年到2023年,4年時(shí)間提升的level,和從GPT-4到AGI大概是一樣的level。也就是從幼兒園到高中生,從高中生到天才,是類似提升。如果第一個(gè)提升(幼兒園到高中生)花了4年;第二個(gè)提升(高中生到天才)需要7年,就表示有diminishing return(邊際效益遞減)。
我們可以期待Scaling Law(規(guī)模定律)繼續(xù)往下走,但它不會(huì)像以前那么快,而且非常、非常貴。
做到AGI要花多少錢?它說了一個(gè)超級(jí)天文數(shù)字。不見得一個(gè)公司做得起。
《潛望》:所以,我們的第二條路,是用生態(tài)去抵抗,是嗎?
李開復(fù):對(duì)。每個(gè)應(yīng)用公司都可能自己也做AGI,AGI只要有了競(jìng)爭(zhēng),就表示壟斷會(huì)比較難。
《潛望》:應(yīng)用公司需要先自己形成生態(tài),有商業(yè)化利潤(rùn)再去追求AGI,而不能從今天就去追逐AGI?
李開復(fù):不管生態(tài)和商業(yè)化,只追求AGI,可能在追求夢(mèng)想途中,你就沒有彈藥跑下去了,談何實(shí)現(xiàn)?
《潛望》:但我有一個(gè)疑問,如果我們現(xiàn)在第一目標(biāo)不是追求AGI,沒有像在AGI主航道里那樣讓模型能力快速提升,應(yīng)用會(huì)大爆發(fā)嗎?
李開復(fù):OpenAI在5個(gè)月前推出GPT-4o模型,現(xiàn)在10美元一個(gè)million tokens,今天我們的Yi-Lightning模型反超了GPT-4o(五月版本)。我們?cè)?個(gè)月之間,API定價(jià)幾乎降了數(shù)十倍,還有盈利空間。同時(shí),這樣的價(jià)格普惠點(diǎn)有可能推動(dòng)更多應(yīng)用。
《潛望》:以上,你提供了一個(gè)技術(shù)價(jià)值觀:如果美國(guó)有可能實(shí)現(xiàn)AGI霸權(quán),中國(guó)應(yīng)該如何形成合力對(duì)抗他們。
除了推理成本的降低,還有什么我們需要做?
李開復(fù):我們?nèi)袊?guó)把只落后美國(guó)5個(gè)月的模型先用起來,讓應(yīng)用比美國(guó)跑到更前面,后發(fā)制人。
我樂觀認(rèn)為,中國(guó)App最后一定做得比美國(guó)好,雖然今天還沒有,但未來會(huì)發(fā)生。因?yàn)閺囊苿?dòng)互聯(lián)網(wǎng)到AI 1.0已經(jīng)發(fā)生過兩次。
中國(guó)現(xiàn)在特別強(qiáng)大的,就是那批會(huì)做PMF的人。我們后發(fā)先至的力量就是這批會(huì)做PMF的人。
他們有PM(產(chǎn)品經(jīng)理)、工程師。他們要跟模型專家在一起,最后能做出點(diǎn)燃火焰的超級(jí)應(yīng)用。
OpenAI還藏了很多牌
“我們千萬(wàn)不要低估它”
《潛望》:業(yè)界同仁說你對(duì)海外十分熟悉,曾經(jīng)在Google、微軟、蘋果這些大公司擔(dān)任過高級(jí)管理人員,和各個(gè)大公司有密切的交流。
他們想讓我?guī)兔枂柡M膺M(jìn)展:一是,有什么是未來1-2年能出來但還沒形成共識(shí)的?二是,應(yīng)用端預(yù)計(jì)在什么時(shí)候會(huì)出現(xiàn)一些顯著性變化?
李開復(fù):我剛從硅谷回來,這次見了很多人。幾個(gè)比較大的認(rèn)知OpenAI還藏了很多好東西沒有放出來,我們千萬(wàn)不要低估它。
它GPT-5訓(xùn)練得不是很順利,但是,為了融資,就丟了一個(gè)o1出來。
它手中還有很多牌,不急著出這些牌。因?yàn)樗看纬鲆粡埮,全球技術(shù)公司包括中國(guó)的,就會(huì)看它出了什么牌、去猜、去做。就算不能打平,也能做到八九成。所以,它并不想把牌打光。它想留到最后AGI有望的時(shí)候,再比較有信心地打出來。
所以,這是一個(gè)技術(shù)實(shí)力非常強(qiáng)大的公司。我覺得它跟Google的距離,不是Google在拉近,而是差得越來越遠(yuǎn)。當(dāng)一個(gè)公司有這么多技術(shù)儲(chǔ)備,可以戰(zhàn)略性決定什么時(shí)候放出技術(shù)。比如,需要融資、需要show muscle(顯示實(shí)力)的時(shí)候。
但是,GPT-5訓(xùn)練碰到挑戰(zhàn),意味著3年達(dá)到AGI的預(yù)測(cè)可能過度樂觀。本來GPT-5應(yīng)該現(xiàn)在已經(jīng)出來,F(xiàn)在看,即便出來,最快也是半年后了。不過,o1能遞補(bǔ)上來,把這次融資完成。
o1本身并沒有帶來那么大推理和理解提升,但它把快思考、慢思考做成兩套東西,以后相輔相成。對(duì)一個(gè)做技術(shù)的人來說,1年半前把全部精力放在pretrain(預(yù)訓(xùn)練),因?yàn)檫@個(gè)難度大,沒人做過,只有一兩家公司做過。現(xiàn)在,很多公司學(xué)會(huì)了。之后就發(fā)現(xiàn),一個(gè)很難的硬骨頭是要把post train(后訓(xùn)練),尤其強(qiáng)化學(xué)習(xí)做好。今天強(qiáng)化學(xué)習(xí)做得好的公司非常少。
這次又拋出了第三個(gè),是推理時(shí)的Scaling Law。o1最厲害的就是推理時(shí)的Scaling-Law,推理花越多時(shí)間思考做得越好,這是之前ChatGPT沒有的。開闊了很多人的思考。
《潛望》:開啟了另一個(gè)金礦。
李開復(fù):這個(gè)金礦對(duì)全球都有很大幫助和刺激。
我預(yù)測(cè),推理階段的進(jìn)步將會(huì)遠(yuǎn)遠(yuǎn)不止今天o1里的技術(shù)。我們內(nèi)部討論,可能是什么做成了o1,我們公司內(nèi)部就出了3種不同方案。你再把它乘以20-30個(gè)很牛的公司,還有比我們更大的公司。幾百個(gè)方案,一定有是前所未做過或想過的。
回到創(chuàng)業(yè)生態(tài),現(xiàn)在一個(gè)“標(biāo)準(zhǔn)硅谷共識(shí)”就是Sequoia(紅杉美國(guó))那篇文章。你應(yīng)該看了吧?
《潛望》:o1之后發(fā)的那一篇對(duì)嗎?(《Generative AI's Act o1: The Agentic Reasoning Era Begins》(生成式AI的o1行動(dòng):代理推理時(shí)代的開啟))
李開復(fù):對(duì)。它以o1為title,但要讀到最后,投資邏輯寫得很清楚。國(guó)內(nèi)創(chuàng)業(yè)者朋友可以看一看。這符合我跟硅谷創(chuàng)業(yè)者、投資人的溝通。
美國(guó)的感覺是,啊,大模型的pretrain會(huì)集中在少數(shù)幾家公司手中,再投新做的大模型,看起來有人做了很酷的東西,但投資回報(bào)未必最好。從Infra(基礎(chǔ)設(shè)施)來說,他們認(rèn)為一些好的公司已經(jīng)差不多出來了,不是最好的投資點(diǎn)。投App,還有投Service as a Software(服務(wù)即軟件)最重要這個(gè)硅谷共識(shí)會(huì)帶來美國(guó)投資的一種方法,中國(guó)VC可能會(huì)跟風(fēng)。
我不完全認(rèn)可他說的。在我看來,大模型如果你有推理優(yōu)勢(shì),可以做出不同打法;Infra美國(guó)VC沒有很懂Infra價(jià)值在哪,還是有機(jī)會(huì);App對(duì)投App我是同意的,但不能過度樂觀。
過去大家說App是PMF。大模型時(shí)代我加了兩個(gè)字是TC-PMF(技術(shù)成本x產(chǎn)品市場(chǎng)契合度),除了PMF,還需要知道TC我需要多強(qiáng)的技術(shù),比如多模態(tài)還是視頻;還有推理優(yōu)化,以降低成本和提升性能;還要預(yù)測(cè)這個(gè)技術(shù)誰(shuí)可以做出來、什么時(shí)候做出來、以多低成本、什么時(shí)候這個(gè)成本足夠低,并且需要對(duì)第一線市場(chǎng)保持敏銳,把這些要素對(duì)接起來,綜合能力門檻非常高。誰(shuí)最先找到TC-PMF,誰(shuí)就能成為大模型時(shí)代的Super App,類似移動(dòng)互聯(lián)網(wǎng)時(shí)代的抖音。
一個(gè)好的App創(chuàng)業(yè)者,他需要對(duì)市場(chǎng)敏感,知道怎么做一個(gè)產(chǎn)品,這個(gè)產(chǎn)品對(duì)模型和技術(shù)的需求,怎么調(diào)這樣一個(gè)模型,什么時(shí)候可以調(diào)好,調(diào)好時(shí)推理成本會(huì)不會(huì)夠低。難度比以前加倍了。
零一萬(wàn)物比較有信心,因?yàn)槟P驮谧约菏种,這幾個(gè)點(diǎn)的對(duì)齊,相對(duì)簡(jiǎn)單一點(diǎn)。
《潛望》:你對(duì)巨頭的動(dòng)作也很熟悉,能不能評(píng)價(jià)一下海外Google、微軟、英偉達(dá)、特斯拉等巨頭的動(dòng)作,以及國(guó)內(nèi)巨頭,比如火力全開的字節(jié)。
李開復(fù):英偉達(dá)肯定是現(xiàn)在最大獲利者。之后它可能面臨,隨著大部分GPU不再做訓(xùn)練,而是做推理,優(yōu)勢(shì)能不能持續(xù)?這是它面臨的一個(gè)問題。也許會(huì)持續(xù),我不知道。
Meta是最大攪局者它什么事情贏不了,就開源,用開源來做卡位。
我蠻佩服他們放一大批人做廣告。他們能靠廣告賺一筆錢,然后開源來做一個(gè)卡位。他們技比不上OpenAI,但開源卡位,很多人用它的開源模型,以后看有什么機(jī)會(huì)再推進(jìn)。雖然我覺得Mark(扎克伯格)對(duì)AI不是很懂,但他就這么一招打不過人家就開源已經(jīng)兩次成功了。第一次是TensorFlow跟PyTorch,這次也好像蠻成功。Meta位置是OK的。
微軟是位置最好的。它一方面靠AI賺很多錢,雖然投資養(yǎng)著OpenAI,但占了很多股,是可攻可守的一個(gè)位置。
它的挑戰(zhàn)是自己的模型一直沒做好。OpenAI跟微軟是合作,但這個(gè)蜜月期可能會(huì)結(jié)束。OpenAI肯定做了Plan B,微軟如果沒有Plan B,到時(shí)候比較麻煩。但現(xiàn)在它處于非常好的短中期情況。長(zhǎng)期如果做不出模型,跟OpenAI鬧掰了,有挑戰(zhàn),F(xiàn)在微軟和英偉達(dá)是最大獲利者。
OpenAI是特別強(qiáng)大、壟斷型的公司,Sam Altman(OpenAI CEO)可能會(huì)是有史以來最大的壟斷者。
我講這個(gè)不是貶義,是陳述事實(shí)。他今天還沒成為壟斷者,但他的謀略,他的野心,他把一二三步棋都想清楚,這些我很佩服他。但從一個(gè)從業(yè)者的角度,也很擔(dān)憂他。
xAI執(zhí)行力非常強(qiáng),來自Elon Musk(馬斯克)管公司就跟中國(guó)公司一樣。他公司一些小將我都認(rèn)識(shí),非常能干,玩命幫他干。他今天得到的成就是,復(fù)刻了OpenAI跟Google早期的一些技術(shù),他能這么快復(fù)刻,在美國(guó)比較罕見。要看他以后能不能結(jié)合特斯拉的具身和自動(dòng)駕駛,加上xAI。無(wú)論如何,不能低估Elon Musk,他現(xiàn)在是一匹黑馬。
Google是比較傷感的。
理論上它應(yīng)該最強(qiáng)最厲害的大模型論文是Google做的,最厲害的Reinforcement Learning(強(qiáng)化學(xué)習(xí))是DeepMind(Google旗下)做的,這兩個(gè)并在一起,沒有產(chǎn)生很大殺傷力。
而它現(xiàn)在面臨的是,搜索處于四面挑戰(zhàn)的局面。
一方面大模型讓一些用戶有問題不先去搜索引擎,而先去ChatGPT,帶走了一些量。更嚴(yán)重的是,最近很多用戶買東西直接去Amazon。在中國(guó)大家覺得本來就這樣,買東西去淘寶或拼多多,其他搜索去百度。但現(xiàn)在同樣的情況在美國(guó)發(fā)生。很多人要做commercial search(商品搜索)不在Google做了,直接在Amazon做。所以,它這兩面受敵。
再加上它的兩難是,到底放不放大模型到搜索里去?放的話,有三種方法:
●第一種是,取代你的搜索,就把所有廣告業(yè)務(wù)都拆沒了,公司可以關(guān)門了;
●第二種是,不放進(jìn)去,做成兩個(gè)入口,是掩耳盜鈴嘛。明明是一件事,為什么放兩邊?
●第三種是,兩者并存,就是你做一個(gè)Google搜索,看到有一個(gè)Gemini Overview,再放搜索結(jié)果在旁邊。這樣你既會(huì)少收廣告,用戶體驗(yàn)也不極致,因?yàn)槟憬o那么一點(diǎn)點(diǎn)overview,不解決問題。我問一個(gè)問題,我要一個(gè)答案,你給我一個(gè)overview干什么?于是,它就是變成“四不像”又有搜索結(jié)果,一大堆鏈接,又有廣告,還給overview,就不給我答案。這是它現(xiàn)在選擇的做法。
另外有很多奇怪的事,比如Google的Gemini不能問大選的事,怎么會(huì)這樣?還有之前碰到各種問題,什么吃膠水啊、吃石頭啊,很多問題存在,理由是什么?我不太知道。
Google短期不看好。但Google有很強(qiáng)技術(shù)積淀,能不能觸底反彈?就不知道了。
《潛望》:Perplexity是一個(gè)對(duì)的產(chǎn)品形態(tài)嗎?它有可能顛覆、取代Google嗎?
李開復(fù):它是很好的產(chǎn)品。倒不是說Google做不出Perplexity,Google分分鐘就可以做一個(gè)Perplexity,可是基于剛才的考量它不能做。
Perplexity可以少賺錢甚至賠錢去弄一堆用戶。Google每個(gè)搜索產(chǎn)生的收入是1.6美分。今天Perplexity Pro的用戶收20塊錢,但搜索成本很高,不能cover所帶來的搜索,它用GPT-4o嘛。但Perplexity不在乎啊,它說我就賠錢免費(fèi)用戶我當(dāng)然賠錢,付費(fèi)用戶我也賠一些錢只要燒出用戶來,我就基于用戶成長(zhǎng)得到投資。Google呢?它不太能反擊這是Perplexity最大的優(yōu)勢(shì),它產(chǎn)品做得不錯(cuò),但沒什么特別了不起的。
Perplexity做得很好的是,把可信的問題,部分讓用戶以為化解了,其實(shí)并沒有。它用citation(引用)的模式,讓你覺得這篇回答里有這么多citation,我可以一個(gè)個(gè)點(diǎn)開,看是哪來的,大部分靠譜,就覺得你沒有幻覺了。其實(shí)絕對(duì)不是我們衡量過Perplexity的幻覺,還挺高的但用戶覺得有citation,看到了放心。這是很有意思、很值得學(xué)習(xí)的一個(gè)用戶體驗(yàn)的trick(把戲)吧。
還有使用場(chǎng)景,你如果要做research(研究)、得到insight(洞察),Perplexity的UI是正確的它出各種圖、視頻、點(diǎn)擊、文章、延伸、citation,像一個(gè)圖書館。Perplexity自稱,公司愿景是做一個(gè)“瑞士刀”。有一把小刀,你搬出來什么都有。開瓶的、剪刀、小刀、開信封的,一個(gè)工具可以做比如12樣事。
但我更相信Larry Page( Google創(chuàng)始人之一)曾經(jīng)說的。一次,我在Google早期一個(gè)會(huì)上,Larry Page說:我們的搜索打幾個(gè)字,出一堆鏈接是不對(duì)的;正確搜索形態(tài)應(yīng)該是問一個(gè)問題,得到一個(gè)正確答案。
我們現(xiàn)在的技術(shù)更能貼近一個(gè)問題、一個(gè)答案,反而做非常復(fù)雜的research tool(研究工具),未必是每個(gè)人需要的。但對(duì)分析師、研究員、教授、學(xué)生、記者,是好工具。
所以,Perplexity我是認(rèn)可的。但說它取代Google,還是很困難。
《潛望》:它似乎慢慢變成了一個(gè)內(nèi)容產(chǎn)品,而不是一個(gè)搜索入口。
李開復(fù):但它也被內(nèi)容生產(chǎn)商告,《紐約時(shí)報(bào)》最近告它了。這在美國(guó)是很嚴(yán)重的問題,《紐約時(shí)報(bào)》會(huì)一家、一家去告的。
《潛望》:說回OpenAI,Ilya(OpenAI前首席科學(xué)家)的離開會(huì)對(duì)OpenAI造成很大影響嗎?
李開復(fù):管理團(tuán)隊(duì)的離開不但沒有影響,甚至還能讓Sam Altman執(zhí)行得更快。
那幾位離職者不是他們覺得OpenAI做不成偉大公司,不是覺得產(chǎn)品、技術(shù)不夠好,而是他們更重視做一個(gè)安全負(fù)責(zé)的AGI,超過他們要做一個(gè)商業(yè)成功的大模型產(chǎn)品。Sam Altman要的是后者,他們要的是前者。
你可以想象一個(gè)CEO要的目標(biāo)不匹配他的每一個(gè)-1(減一級(jí)的高管),他做事一定有很多掣肘。他們走了,他可以放一堆他信任、跟他理念一致,或者和他追求一致的人,執(zhí)行力會(huì)變強(qiáng)。但OpenAI產(chǎn)品安全性一定會(huì)下降。
《潛望》:國(guó)內(nèi)巨頭呢?
李開復(fù):就評(píng)國(guó)外吧,國(guó)內(nèi)就算了。
這些人說不定都是我的融資對(duì)象。(笑)
AI應(yīng)用會(huì)在明年上半年爆發(fā)
“今日頭條怎么進(jìn)步的,
這些Chatbot就可以怎么進(jìn)步”
《潛望》:現(xiàn)在有看到什么像樣的應(yīng)用、潛在的Super App嗎?
李開復(fù):每個(gè)Super App出來的那一天都不是Super App,Super App是一步步做成的。
而且,Super App的概念在大模型時(shí)代不一定完全一樣,我們要保持這樣的心態(tài)。
每個(gè)移動(dòng)互聯(lián)網(wǎng)的應(yīng)用都會(huì)被顛覆重寫一次。你投中顛覆者,你就贏了。顛覆可能是把原來領(lǐng)跑者的生意搶來,但這是最低level。我們更希望它創(chuàng)造新模式,整合更多用戶需求,在每個(gè)用戶身上賺更多錢,拉入更多用戶,再進(jìn)一步,也許它能成為Super App。
第一階段是把已有應(yīng)用通通做一次,再有所延伸。Perplexity是把Google重新做了一次嘛。再往下一個(gè)階段,是前所未有的應(yīng)用。
《潛望》:就像移動(dòng)互聯(lián)網(wǎng)時(shí)的抖音?
李開復(fù):抖音、滴滴、美團(tuán)。它們相對(duì)的AI-first應(yīng)用會(huì)是什么?再下面就有一些超級(jí)Super App的機(jī)會(huì)了。
有一個(gè)合理的理論,但也不是一定會(huì)發(fā)生。從用戶界面看,應(yīng)該有一個(gè)智能助手跟你對(duì)接。它不但能回答你的問題,還能幫你干活。如果這天發(fā)生,智能助手就是有史以來最大Super App,它能銜接和滿足所有需求你要買東西,它決定去哪個(gè)電商;你要旅游,它決定去哪訂票。
剛開始一定不會(huì)那么強(qiáng)大,但逐漸地,用戶會(huì)知道,我的助手比我更懂我自己。無(wú)論是為了公司還是私事,我基本委托信任它。從圖形的用戶界面,經(jīng)過了語(yǔ)言的用戶界面,走向委托式的用戶界面。我委托我的助理。你比我聰明、能干、博學(xué),又比我懂自己,我為什么不什么事都讓你幫我干?
《潛望》:會(huì)是今天的ChatGPT或者是豆包、Kimi這種嗎?
李開復(fù):它們可以有野心成為這樣一個(gè)Super App,這非常合理。
這天一旦發(fā)生,所有今天很強(qiáng)的App都會(huì)面臨挑戰(zhàn)。比如你是電商,用戶不把你當(dāng)入口,他通過助手接觸你。這一下,你就變成被動(dòng)競(jìng)價(jià)的一個(gè)倉(cāng)庫(kù)了,價(jià)值會(huì)大大下降。
當(dāng)然,這個(gè)助手的崛起中,各個(gè)電商會(huì)拒絕合作。這個(gè)助手不能跟電商合作,它又怎么辦?這一切有點(diǎn)回到了當(dāng)年今日頭條怎么從一個(gè)搜新聞的進(jìn)化成一個(gè)核心內(nèi)容載體(抖音)所以,今日頭條怎么進(jìn)步的,今天這些Chatbot就可以怎么進(jìn)步。
以后,AppStore可能不存在了,電商或App可能也不見得存在了。還要應(yīng)用干什么?助手就幫你做了。
還有更大一個(gè)機(jī)會(huì)是,硬件也許會(huì)改變。
當(dāng)然,手機(jī)可以是載體。好處是隨身攜帶,把個(gè)人信息存在上面。壞處是,今天的手機(jī)沒辦法做到always on(始終開啟)、always listening(始終聆聽)。
當(dāng)我委托助手干活,我真的不想把手機(jī)拿出來選App。我應(yīng)該一句話講出來,它給我反饋無(wú)論是經(jīng)過屏幕、眼鏡,還是耳機(jī)。這樣,我才有更大動(dòng)力常和助手溝通、委托。要把40-50秒鐘流程降為1秒。
《潛望》:全球來看應(yīng)用會(huì)什么時(shí)候大爆發(fā)?
李開復(fù):2C應(yīng)用應(yīng)該就是明年前半年。
《潛望》:這是預(yù)感還是有看到跡象?
李開復(fù):從推理成本可以算出來,F(xiàn)在我們推理成本低到這個(gè)level,在美國(guó)、國(guó)內(nèi)還有別家,雖然不如我們這么低,但也比較低,應(yīng)該可以打造出一些PMF。
另一個(gè)風(fēng)向指標(biāo)是,很多VC開始說可以投應(yīng)用。
創(chuàng)業(yè)者融得到錢是第一個(gè)要?jiǎng)?wù),融不到錢,應(yīng)用怎么爆發(fā)呢?
《潛望》:你還會(huì)作為投資人看和投這種項(xiàng)目嗎?
李開復(fù):會(huì)。
我的第一次和最后一次創(chuàng)業(yè)
“如果不做,那會(huì)是終身莫大的后悔”
《潛望》:我們說回你自己。
過去40年,你在人工智能領(lǐng)域做了很多事前10年在學(xué)界,后30年在產(chǎn)業(yè)界,這讓你有了一些名號(hào),比如“中國(guó)AI教父”、“青年偶像”。我很好奇,頂著“教父”、“偶像”這樣的帽子創(chuàng)業(yè),是一種什么樣的感受,有包袱嗎?
李開復(fù):沒有包袱啊。這件事義無(wú)反顧,必須是我做、應(yīng)該是我做。
如果20年后,當(dāng)我80歲回頭有過后悔,一定是我選擇不做它帶來的后悔;而不是我試著做,即便做失敗了,也不會(huì)后悔。
我這一生職業(yè)的每條路徑都是要來做這件事。如果不做,那會(huì)是終身莫大的后悔。
《潛望》:當(dāng)你去年決心以創(chuàng)業(yè)者、CEO的身份創(chuàng)立零一萬(wàn)物,猶豫了幾天?就沒有第二個(gè)選項(xiàng)嗎?
李開復(fù):當(dāng)時(shí)有兩個(gè)選項(xiàng):一個(gè)是我做董事長(zhǎng)、找個(gè)CEO,一個(gè)是自己做CEO。
《潛望》:第一種聽上去更符合大家對(duì)你的預(yù)期。
李開復(fù):但我認(rèn)可的幾個(gè)CEO都無(wú)法加入;有興趣的,我不認(rèn)為會(huì)比我自己做得更好。只有跳進(jìn)去自己做。
《潛望》:當(dāng)時(shí)有聊誰(shuí)?
李開復(fù):不太方便說。都是三四十歲,行業(yè)非常知名的一些人,不一定是AI的人。
《潛望》:為什么零一是在去年5月才正式宣布創(chuàng)立?像王慧文、楊植麟在2月左右,王小川、階躍星辰在4月左右,開始找錢、找人。從ChatGPT發(fā)布到去年5月這中間有半年,你在做什么?想什么?
李開復(fù):必須坦誠(chéng),慧文跟小川的創(chuàng)業(yè)點(diǎn)醒了我:這也是可以創(chuàng)業(yè)來做的。我之前做投資做久了,就是在想,我該投一個(gè)公司來做嗎?但他們發(fā)了英雄帖后,我覺得,可以這樣做。我有獨(dú)特的經(jīng)歷跟資源,為何不試一試?
緊接著他們倆的宣布,我開始策劃。2月到5月,大概是兩件事:
●啟動(dòng)聯(lián)創(chuàng)團(tuán)隊(duì),包括要不要CEO;
●要得到創(chuàng)新工場(chǎng)投資人的理解,允許我一邊做創(chuàng)新工場(chǎng),一邊做零一萬(wàn)物。
我肯定不能離開創(chuàng)新工場(chǎng),對(duì)基金要負(fù)責(zé),但我要花不少時(shí)間在零一。是不是他們會(huì)同意?他們不同意,我是不能出來做的。
《潛望》:回顧2023年零一做的最重要幾個(gè)決策是什么?
李開復(fù):啟動(dòng)起來是最重要的決策。
《潛望》:2024年呢?
李開復(fù):今年,我們?cè)诩夹g(shù)上做了很多重要選擇。
我們非常早啟動(dòng)了混合專家模型的探索,我們不是第一家做出來,但很早義無(wú)反顧走這個(gè)路徑。
跟著美國(guó)大廠去燒AGI,是我們或其他公司都燒不動(dòng)的,這個(gè)決策非常重要。
一個(gè)相關(guān)洞察是,整個(gè)行業(yè)的引爆一定在應(yīng)用端,而應(yīng)用端需要非常便宜的推理。這個(gè)認(rèn)知去年有,但今年堅(jiān)決認(rèn)為這是我們唯一要做的。
尚未驗(yàn)證的是,我們對(duì)多模態(tài)的執(zhí)著和認(rèn)可,這個(gè)技術(shù)是重要的,會(huì)有應(yīng)用出來。不是每家大模型公司都同意這個(gè)觀點(diǎn)。
其他就是團(tuán)隊(duì)了。如果說我在零一起的最大作用,就是做有史以來時(shí)間最短、最緊迫的一個(gè)獵頭。說服他們,我們?cè)谝粋(gè)上升火箭,你必須加入,加入后動(dòng)態(tài)尋找每個(gè)人該坐什么位置、怎么合作。
《潛望》:聽起來很像你當(dāng)年組建微軟亞洲研究院的過程。
李開復(fù):對(duì),Google中國(guó)也是,創(chuàng)新工場(chǎng)一定程度也是。
《潛望》:這是你第一次創(chuàng)立一家公司對(duì)不對(duì)?
李開復(fù):對(duì)。之前孵化過一些公司,但還是不太一樣。像創(chuàng)新奇智是我孵化的,我做7-8個(gè)月CEO,就轉(zhuǎn)給新的CEO了。
《潛望》:這次有可能轉(zhuǎn)出去嗎?
李開復(fù):承諾至少做到上市,也許更久。
《潛望》:你之前一直是投資別人,這次去找別人投資,有心理負(fù)擔(dān)嗎?特別是如果他沒投。
李開復(fù):心理負(fù)擔(dān)倒沒有。創(chuàng)新工場(chǎng)最近幾年,融資也一直很困難。不只是創(chuàng)新工場(chǎng)困難,是整個(gè)環(huán)境困難。我跟團(tuán)隊(duì)常常說的一句話,也是團(tuán)隊(duì)比較認(rèn)可的地方:我是永不放棄的那種人。
我最喜歡的演講來自Winston Churchill(丘吉爾),他的一個(gè)演講是never、never、never、never、never、never……never give up。我覺得就是這樣。
《潛望》:雷軍說小米汽車是他最后一次創(chuàng)業(yè),押上一生的所有榮譽(yù)和成就,你對(duì)零一也是這樣嗎?
李開復(fù):雷軍還比我小8歲,他都是最后一次創(chuàng)業(yè),零一萬(wàn)物也會(huì)是我最后一次創(chuàng)業(yè)。
他們應(yīng)有的理想和傲氣,我沒有
“Noam是這樣的人,我不是這樣的人”
《潛望》:你說,去年的一個(gè)決策是做成本更低的推理,這個(gè)具體怎么實(shí)施?
李開復(fù):你需要一個(gè)很強(qiáng)的AI infra團(tuán)隊(duì)。去年剛創(chuàng)立,要克服訓(xùn)練問題。用最便宜的價(jià)錢訓(xùn)練出最好的模型,這很重要。當(dāng)時(shí)大家都沒做過,第一次用這么貴的GPU,訓(xùn)練是第一要?jiǎng)?wù)。
訓(xùn)練得到一定驗(yàn)證收斂,發(fā)現(xiàn)我們從FP8到GPU不穩(wěn)定問題,可以靠infrastructure解決。我們infrastructure團(tuán)隊(duì)就提議,應(yīng)該轉(zhuǎn)來看推理。
第一,推理很貴,雖然價(jià)錢會(huì)自然下降,大概1年10倍,但我們覺得1年10倍不夠。
AI應(yīng)用會(huì)一個(gè)比一個(gè)有更多用戶、更多時(shí)長(zhǎng)、更高難度。做Chatbot,你可以容忍它一個(gè)字、一個(gè)字慢慢吐出來。但你做搜索引擎,希望它更快。搜索引擎一天搜3-5次,但如果用它取代TikTok、抖音,一天刷3-5小時(shí),使用強(qiáng)度和需要模型的難度不斷遞增。
這幾個(gè)相乘,我們面臨推理成本下降還是不夠,且每年有新模型。去年的模型今年降10倍,今年的模型明年降10倍,去年的模型后年降100倍。這個(gè)疊加必然發(fā)生,要不然應(yīng)用生態(tài)起不來。
第二,如果坐等GPU、memory(內(nèi)存)價(jià)錢降下來,只要躺平,就享受1年10倍降價(jià),然后等適當(dāng)?shù)臅r(shí)候說:我跳出來做應(yīng)用。我們覺得這也不行。歷史告訴我們:垂直整合是正確方法。
iPhone是垂直整合。喬布斯沒有說,我等Multi touch(多點(diǎn)觸控)變成行業(yè)標(biāo)準(zhǔn),等soft keyboard(軟鍵盤)變成行業(yè)標(biāo)準(zhǔn),等音樂API變成行業(yè)標(biāo)準(zhǔn)。他一次全部揉起來。等的話,要等5-7年,iPhone時(shí)刻就錯(cuò)過了。
要在足夠早說,我先不做橫向整合,垂直整合一個(gè)強(qiáng)優(yōu)化系統(tǒng)。它從硬件到軟件,從模型到應(yīng)用,通通把它結(jié)合在一起優(yōu)化。這樣最快你回頭看Tesla或Mac,偉大產(chǎn)品往往有魄力、膽敢去做垂直整合。
怎么垂直整合?
第一個(gè)理念,為什么推理這么貴,是因?yàn)镚PU貴,怎么把它變便宜?我們是不是可以考慮“以存儲(chǔ)換計(jì)算”的方法?也就是,你要算的東西,能不能事先算好?或者你需要調(diào)的數(shù)據(jù),能不能先調(diào)過來?
可以想象有三層內(nèi)存:首先是GPU旁邊的HBM(高帶寬內(nèi)存),它最快,最常見;其次,放在CPU的RAM(隨機(jī)存取存儲(chǔ)器)內(nèi)存上;再其次存在SSD(固態(tài)硬盤)上。
如果這三層各自接近200G或2T或20T,可以存好多東西。你把這些錢加起來,還不如GPU價(jià)格1/10,非常劃算。買一大堆內(nèi)存降低GPU使用。理論上,如果你多花10%的錢買memory,能降40%或50%的GPU運(yùn)算,省很多錢。
第二個(gè)理念,我們?cè)趺绰斆髡{(diào)度memory,在推理過程中知道,什么應(yīng)該放在第一層、第二層、第三層?memory應(yīng)該用在模型什么地方?我們要為三層內(nèi)存量身定做推理引擎。這個(gè)推理引擎本身是非常好的優(yōu)化,可以處理任何模型。
再往上一層,我們能不能設(shè)計(jì)并訓(xùn)練一套模型,它為這套內(nèi)存和推理引擎量身定做?如果我們的機(jī)器能裝若干模型,怎么把機(jī)器正好放滿?放少了參數(shù)不夠,效果不好;放多了,溢出了,內(nèi)存不是最優(yōu)調(diào)動(dòng)。
我們模型的量身定做來優(yōu)化推理。我們從AI的科研到硬件的理解到對(duì)三層的運(yùn)算到推理引擎,團(tuán)隊(duì)核心幾個(gè)人是坐在一起工作的。
《潛望》:如果是垂直整合,它需要在某種特定的領(lǐng)域使用嗎?跟應(yīng)用怎么結(jié)合?
李開復(fù):基本什么應(yīng)用都可以跑。但我們會(huì)有些假設(shè),比如窗口多大最合適。
我們最近在嘗試AI搜索,這個(gè)模型設(shè)計(jì)出來,把它fine tune(微調(diào))到搜索就OK。也嘗試了別的應(yīng)用,做過社交娛樂,也做了生產(chǎn)力工具,底層可以服務(wù)任何應(yīng)用。
應(yīng)用方面也有垂直整合。它不是說,設(shè)計(jì)硬件就要想到應(yīng)用;而是說,讓模型專家成為產(chǎn)品負(fù)責(zé)人,這過往幾個(gè)技術(shù)浪潮的產(chǎn)品思維明顯不同。
過往,大部分技術(shù)專家不能直接做產(chǎn)品負(fù)責(zé)人。在AI 2.0時(shí)代,我們與時(shí)俱進(jìn)地實(shí)踐“模應(yīng)一體”模型和應(yīng)用一體共創(chuàng)。在AI-first時(shí)代,一個(gè)應(yīng)用的好與否,80%看模型,20%看其他點(diǎn)綴或用戶體驗(yàn)的東西。所以,80%要一個(gè)有一定用戶理解的模型工程專家或research專家,來drive(驅(qū)動(dòng)),F(xiàn)在我們?cè)O(shè)計(jì)的幾個(gè)產(chǎn)品,都是核心技術(shù)人做總負(fù)責(zé)人。
《潛望》:這是不是對(duì)應(yīng)那句話:“模型即應(yīng)用!
李開復(fù):是。我在Google,一個(gè)著名VP叫Marissa Mayer(曾任Google副總裁和雅虎CEO)。她定了Google的PM規(guī)矩:一定是要學(xué)計(jì)算機(jī)的,否則不可以做PM。
真的要學(xué)計(jì)算機(jī)才能做好PM嗎?讓懂計(jì)算機(jī)的人學(xué),遠(yuǎn)比一個(gè)MBA容易,這是Google的理念。今天我們是這個(gè)理念的延伸:懂模型的有200人,總有10個(gè)可以做產(chǎn)品,讓他繼續(xù)做模型有點(diǎn)可惜,應(yīng)該把模型跟產(chǎn)品揉在一起pretrain出來的模型交給他,模型該怎么走他決定,他會(huì)post train模型,還要做整個(gè)產(chǎn)品對(duì)接。
《潛望》:一個(gè)模型對(duì)應(yīng)一個(gè)產(chǎn)品經(jīng)理?
李開復(fù):一個(gè)模型就對(duì)一個(gè)產(chǎn)品負(fù)責(zé)人吧。
我再舉一個(gè)例子給你Character.AI這個(gè)公司爭(zhēng)議蠻多。
它由大神Noam Shazeer創(chuàng)的,他一心想做AGI。他覺得做AGI路程中,先搞個(gè)Character.AI的產(chǎn)品吧。結(jié)果模型做得不錯(cuò),產(chǎn)品做得也不錯(cuò),但這兩件事有沖突。
他走的是AGI模型,殺雞用牛刀,并不適合Character.AI。所以,這個(gè)公司很難找到位置。他想做的模型太大,實(shí)際需要的模型又用不上這個(gè)人的專長(zhǎng)。最終,他跟Google達(dá)成收購(gòu)想做AGI的人回到了Google,想做App的人留在了Character.AI。
我跟Character.AI投資人聊到我們的方法,他說,你這個(gè)方法就是可以做成的。(因?yàn)槟P透鶤pp是銜接的。)
雖然Noam是超級(jí)大牛,但做世界最牛的模型和做應(yīng)用,這兩個(gè)怎么銜接?其實(shí)是不能銜接的。
做AGI,有時(shí)你要有一種理想和傲氣。我做成了AGI,就碾壓所有對(duì)手,上面未必有生態(tài)系統(tǒng)?赡苊總(gè)App就是薄薄一層殼,英文叫Veneer、貼皮。所有價(jià)值在AGI。你貼層皮把它叫游戲,貼層皮叫搜索,價(jià)值很一般,最后價(jià)值都體現(xiàn)在我這。
這是追求世界第一AGI的人,他應(yīng)有的理想與傲氣。
Noam就是這樣的人,我不是這樣的人。
我就算想做,我們沒有錢也做不了。他當(dāng)時(shí)也沒有錢也做不了,現(xiàn)在回Google就可以做了。
《潛望》:現(xiàn)在,更低成本的推理能力是零一的一個(gè)差異化嗎?
李開復(fù):是。首先,我們用它去點(diǎn)燃應(yīng)點(diǎn)燃的應(yīng)用;其次,把這樣的技術(shù)用更低廉的成本,推送到2B和2C場(chǎng)景。如果我們能有幸持續(xù)這個(gè)優(yōu)勢(shì),可以再做一個(gè)平臺(tái)支持更多應(yīng)用。但需要按部就班。我們現(xiàn)在有API了,API離平臺(tái)還很遠(yuǎn)。
《潛望》:外界傳言零一萬(wàn)物放棄了預(yù)訓(xùn)練,零一沒有嗎?
李開復(fù):沒有。
《潛望》:既然已經(jīng)有很好的開源模型,為什么大模型公司還要繼續(xù)做預(yù)訓(xùn)練?
李開復(fù):開源模型做得很不錯(cuò),帶給每個(gè)大模型公司一個(gè)靈魂拷問:為什么還要做?
有些大模型公司評(píng)估自己預(yù)訓(xùn)練的模型不比開源好,明智決定是不再預(yù)訓(xùn)練。它可能不愿承認(rèn),把開源的拿來,丟點(diǎn)數(shù)據(jù),做CPT(Continue as Pretrain,在已經(jīng)預(yù)訓(xùn)練過的模型上預(yù)訓(xùn)練)。這要稱為預(yù)訓(xùn)練,也不能說它不是,但是基于別人訓(xùn)出來的。
每個(gè)決定做預(yù)訓(xùn)練的公司,要有信心做得比開源強(qiáng);另一點(diǎn),即便比開源做得略好一點(diǎn),值不值得做?比如,我花1000萬(wàn)美金做一個(gè)預(yù)訓(xùn)練,4個(gè)月后下一個(gè)模型出來,前一個(gè)淘汰了。這個(gè)模型花1000萬(wàn)美元只用4個(gè)月,這筆賬算不算得過來?算不過來,也不要做。
我們的考量是,我們就這么多GPU。GPU是一個(gè)business expense(經(jīng)營(yíng)費(fèi)用),和員工薪水、獎(jiǎng)金、辦公室一樣。我們?cè)谶@個(gè)前提看,什么時(shí)候該預(yù)訓(xùn)練,能不能萬(wàn)事俱備,做很多實(shí)驗(yàn)確保預(yù)訓(xùn)練提升一個(gè)、甚至兩個(gè)臺(tái)階,這才值得做。
尤其現(xiàn)在要平衡預(yù)訓(xùn)練、后訓(xùn)練和推理的智能。能不能一個(gè)模型撐9個(gè)月甚至1年。我們預(yù)訓(xùn)練成本是300多萬(wàn)美金,如果撐9到12個(gè)月,賬算得過來。
所以,做不做預(yù)訓(xùn)練?要看一是打不打得過開源模型?二是賬算不算得過來?訓(xùn)練成本能不能降低?訓(xùn)練出一個(gè)模型能不能多用幾個(gè)月?我們答案是肯定的,當(dāng)然要做預(yù)訓(xùn)練。
《潛望》:你們開始后訓(xùn)練沒有?
李開復(fù):我們一直在做后訓(xùn)練。
《潛望》:在模型和產(chǎn)品上,應(yīng)該先構(gòu)思模型,還是先構(gòu)思產(chǎn)品?
李開復(fù):應(yīng)該先構(gòu)思模型。我們是最晚創(chuàng)業(yè)的“小虎”,要趕上時(shí)間,第一個(gè)決定是:在海外用GPT-4做產(chǎn)品。
產(chǎn)品團(tuán)隊(duì)需要磨煉。我們要在模型做好的時(shí)候,產(chǎn)品已經(jīng)有戰(zhàn)斗力跟經(jīng)驗(yàn)。只有把海外當(dāng)戰(zhàn)場(chǎng),把別人的模型當(dāng)武器用。但也意味著未來有一個(gè)轉(zhuǎn)折,需要把自己模型替代進(jìn)去。好在,對(duì)接比較順利。
《潛望》:模型和產(chǎn)品,現(xiàn)在哪個(gè)更令你滿意?
李開復(fù):因?yàn)槟P驮缙鸩、早有成果?br/>
我們模型現(xiàn)在是有目共睹世界第一梯隊(duì)。(在最近榜單LMSYS上,Yi-Lightning超越GPT-4o-2024-05-13。)公司排名世界第三,模型排名世界第六,也是前幾名模型最便宜的。不是說產(chǎn)品做得不好,而是起步晚。
《潛望》:你對(duì)產(chǎn)品的構(gòu)思是什么樣的?
李開復(fù):要做AI-first的產(chǎn)品。必須背水一戰(zhàn)、孤注一擲。這個(gè)東西要成,成就成在GenAI。
《潛望》:為什么決定最近調(diào)整戰(zhàn)略,在國(guó)內(nèi)放棄2C,聚焦2B?
李開復(fù):我們必須要做抉擇嘛,2C選擇了先走國(guó)外,再走一陣才回國(guó)內(nèi)。
國(guó)內(nèi)有兩個(gè)挑戰(zhàn)我們沒有一個(gè)ChatGPT moment。雖然很多Chatbot產(chǎn)品做得不錯(cuò),但天時(shí)、地利、人和給了OpenAI,一出來全世界試用。這個(gè)機(jī)會(huì)在中國(guó)錯(cuò)失,有很大用戶教育成本。希望大廠多做點(diǎn)用戶教育,我們?cè)賮韺ふ覈?guó)內(nèi)的PMF。另外,國(guó)內(nèi)流量很貴。有些友商累積了不少用戶,但它燒的錢總是燒不過大廠。融資來的錢也來之不易,我們暫緩觀察一下。
我希望找到一個(gè)獨(dú)特產(chǎn)品,在中國(guó)帶來類似ChatGPT moment,但它形態(tài)不是ChatGPT。這個(gè)產(chǎn)品是什么?我現(xiàn)在不知道,會(huì)繼續(xù)摸索。
國(guó)內(nèi)我們看到一些2B商機(jī),硅谷現(xiàn)在說Service as a Software,用軟件接入的方法提供數(shù)字員工。賣軟件給你不是按天收費(fèi),而是按一個(gè)人的workload(工作量)。我接入一個(gè)software,software能呈現(xiàn)一個(gè)人,你按個(gè)鈕告訴他,我是什么商店,賣什么,客戶是誰(shuí),話術(shù)是什么,用什么樣的臉、聲音去講。我們提高了企業(yè)客戶GMV和訂單量,有硬核商務(wù)指標(biāo)。已經(jīng)在電商直播、短視頻生成等場(chǎng)景快速落地。
《潛望》:這聽起來是一個(gè)階段性戰(zhàn)略選擇。我能不能簡(jiǎn)單一點(diǎn)理解,在國(guó)內(nèi)要先掙錢?
李開復(fù):國(guó)內(nèi)要先掙錢,國(guó)外也要先掙錢。
《潛望》:在中國(guó)大模型的“六小虎”中,你怎么看待零一目前位序?
李開復(fù):很多人的認(rèn)知是我每天有沒有用它的產(chǎn)品。我們也有中國(guó)的產(chǎn)品,只是現(xiàn)在戰(zhàn)略是放眼全球:2C先走海外,先進(jìn)一步跑通商業(yè)化路線;2B在國(guó)內(nèi),大家可以拭目以待。
這次全球模型性能評(píng)比結(jié)果,希望能喚醒大家,零一在技術(shù)上是領(lǐng)先的。并且,我們把推理成本降到行業(yè)最低,對(duì)點(diǎn)燃整個(gè)生態(tài)系統(tǒng)有幫助。
放下自我
“穿西裝比較遮我的肚子”
《潛望》:我看你的書印象很深,你說哲學(xué)系一個(gè)老教授的一句話曾改變過你:Make a difference(讓世界因你與眾不同)。
假設(shè)有兩個(gè)平行世界,有李開復(fù)創(chuàng)業(yè)的這個(gè)平行世界和沒有李開復(fù)創(chuàng)業(yè)的這個(gè)平行世界,會(huì)有什么不一樣?
李開復(fù):我當(dāng)時(shí)的這個(gè)夢(mèng)想跟理想太自我了。我后來跟星云大師交流,我很自豪把這個(gè)想法告訴星云大師。沒想到,他不是很認(rèn)可。
他告訴我,你把你自己personally放在衡量世界貢獻(xiàn)上面,是狂妄的,會(huì)引誘你做些愛慕虛榮的事。你會(huì)不斷說服自己,我需要做這個(gè),因?yàn)槲铱梢宰屖澜缱兊酶茫晃倚枰鲞@個(gè),我可以讓世界變得更好……
但你有沒有想過,你做的每件事真的是幫助世界變得更好,還是給自己帶來更多名利?這兩件事怎么劃分?劃分得清楚嗎?他覺得劃分不清楚。他勸我不要再用這句話衡量我做的一切。
延續(xù)他的建議,我現(xiàn)在的思考是:不如想我做零一萬(wàn)物給世界帶來的價(jià)值,和我不做零一萬(wàn)物給世界帶來的價(jià)值是什么。
《潛望》:是什么?
李開復(fù):是我們vision的一句話:make AGI beneficial and accessible to everyone(讓通用人工智能普惠各地,人人受益)。
你說這跟OpenAI不是差不多嗎?沒有,很大差別是accessible ,讓人人可用。人人可用是什么意思?就是你在美國(guó)做了OpenAI不給中國(guó)人用,那就不是人人可用啊,所以你不敢把它寫到vision啊。我們做了模型出來,我讓全世界每個(gè)人用,中國(guó)的、美國(guó)的、非洲的都可以用。
還有,“人人可用”就需要應(yīng)用。普通人不需要模型,他需要App。我們要把App生態(tài)系統(tǒng)點(diǎn)燃,就需要做非常好的模型、非常低廉的推理成本。
《潛望》:在你心中,零一的成功標(biāo)志是什么?
李開復(fù):基于我們的愿景能清晰地邁出一大步。我們希望看到大量用戶,國(guó)內(nèi)、國(guó)外都算,通過我們的技術(shù),獲取技術(shù)和產(chǎn)品,受益于它。倒過來衡量就是,你的產(chǎn)品有多少人用?你的模型、技術(shù)、API有多少人用?
《潛望》:這次創(chuàng)業(yè)會(huì)覺得自己有什么變化嗎?相對(duì)過去那么多年。
李開復(fù):我依然是我自己啊清楚自己的夢(mèng)想是什么,義無(wú)反顧;做一件事要盡全力,盡量把它做成;我相信最優(yōu)秀的人是成事最重要的因素;我相信技術(shù)本身重要,但不是最重要,還是要能創(chuàng)造價(jià)值,對(duì)用戶有用這些理念都在零一可以看到。
《潛望》:為什么創(chuàng)業(yè)堅(jiān)持穿西裝?
李開復(fù):哈哈,嗯……因?yàn)榇┪餮b比較遮我的肚子。
《潛望》:哦?創(chuàng)業(yè)是在泥地里打滾,西裝會(huì)不會(huì)太儒雅?
李開復(fù):每個(gè)人都希望用自己最好的一面,讓自己的形象正面,得到更高自我認(rèn)可跟自信。
《潛望》:你恐懼失敗嗎?
李開復(fù):如果說是階段性挫折,每個(gè)階段性挫折和失敗從中學(xué)習(xí)到的東西,會(huì)遠(yuǎn)超階段性成功和欣喜。如果是最后終局的一種失敗,我寧愿面對(duì)我試過了但沒有成功,也不愿意去面對(duì)我沒有試。
《潛望》:如果走到生命的終點(diǎn),你希望別人怎么評(píng)價(jià)李開復(fù)這個(gè)人?
李開復(fù):以前我說過蠻多的。但是,嗯,我覺得……其實(shí)并不重要,其實(shí)并不重要。
我希望大家用到我們的產(chǎn)品,想到我們的公司,覺得,這個(gè)挺好的,我喜歡,就不錯(cuò)了。記不記得跟我有關(guān)無(wú)所謂了。
《潛望》:是在什么時(shí)候發(fā)生改變的?
李開復(fù):其實(shí)是得了癌癥變的,見了星云大師變的。
我一直是很好勝的一個(gè)人,到今天也是。但我現(xiàn)在,會(huì)覺得我盡我的能力,能夠做得好,那我會(huì)很開心。但是盡了力以后,我也接受一切可能的后果。
好勝的人并不一定要很自我。以前我會(huì)比現(xiàn)在更自我。
《潛望》:聽說你對(duì)時(shí)間異常精確,為什么今天愿意超時(shí)?
李開復(fù):因?yàn)橄旅鏇]有會(huì),而且你寫的兩篇文章都寫得非常好。
《潛望》:如果推薦幾本書,基于所有讀過的書,會(huì)推薦哪幾本?
李開復(fù):《時(shí)間簡(jiǎn)史》,by Stephen Hawking;《列奧納多達(dá)芬奇》,by Walter Isaacson;《活出生命的意義》,by Viktor Frankl。
《潛望》:還想談?wù)勀愕募夹g(shù)觀。美國(guó)有一派對(duì)人工智能抱持技術(shù)樂觀主義,a16z之前發(fā)布“技術(shù)樂觀主義宣言”,稱“唯一永恒的增長(zhǎng)源泉只有技術(shù)”。但以GeoffreyHinton為代表的這些人多次表達(dá)擔(dān)憂。你屬于哪一派?
李開復(fù):任何一個(gè)負(fù)責(zé)任、懂技術(shù)的人都應(yīng)該,同時(shí)極端的樂觀,也極端的擔(dān)憂,這兩者是并存的。我屬于八成樂觀,兩成擔(dān)憂。
《潛望》:如果往擔(dān)憂的方向發(fā)展,應(yīng)該怎么避免?
李開復(fù):有些是人帶來的挑戰(zhàn),有些是AI帶來的挑戰(zhàn)。
AI帶來的挑戰(zhàn),需要技術(shù)提供guardrail(護(hù)欄)。新技術(shù)都會(huì)帶來危險(xiǎn)。當(dāng)電拉到家里,可以把人電擊死,但發(fā)明了電閘;當(dāng)PC跟互聯(lián)網(wǎng)第一次連接,帶來了病毒,但發(fā)明了防病毒軟件解決技術(shù)帶來的挑戰(zhàn),還是靠技術(shù)。
我們應(yīng)該鼓勵(lì)更多年輕AI科學(xué)家、工程師發(fā)揮各自的專長(zhǎng),不要每個(gè)都跳進(jìn)來說我要做大模型,我要做應(yīng)用,我要?jiǎng)?chuàng)業(yè),我要加入大廠。應(yīng)該有一部分人說,我是不是能加入一個(gè)安全公司或者設(shè)計(jì)一個(gè)保護(hù)隱私的公司?
我覺得應(yīng)該呼吁。
《潛望》:最近,GeoffreyHinton獲得2024年諾貝爾物理學(xué)獎(jiǎng),Hinton此前是你在卡耐基梅隆的老師,你和他也有過合作,在你眼中他是一個(gè)什么樣的人?
李開復(fù):他在我做論文那段時(shí)間,理論結(jié)果非常驚人,Boltzmann Machine(玻爾茲曼機(jī))是那時(shí)做出來的。當(dāng)時(shí)Yann LeCun在貝爾實(shí)驗(yàn)室,Geoffrey Hinton在CMU,兩人都不太得意。那之后也看到他跟Yann LeCun paper不斷被拒,他們還是堅(jiān)持。
Hinton是一個(gè)特立獨(dú)行,特別執(zhí)著,有自己的理想,不從眾,非常深度思考,講話很有英國(guó)式幽默的一個(gè)人。他不在乎別人想什么,有話直說。
《潛望》:最后,如果要面對(duì)一個(gè)可能會(huì)崛起的美國(guó)AGI霸權(quán),你有什么想對(duì)中國(guó)同仁說的嗎?現(xiàn)在國(guó)內(nèi)競(jìng)爭(zhēng)烈度很高。
李開復(fù):今天“六小虎”走的方向都不一樣,彼此不太競(jìng)爭(zhēng)有些做國(guó)內(nèi)2B,有些做海外2C,有些做娛樂,有些做Chatbot。每家都希望彼此勉勵(lì),發(fā)展得好。
現(xiàn)在已經(jīng)非常明確:走OpenAI路徑是很大挑戰(zhàn)。
AGI超大模型我們高概率不會(huì)是第一個(gè)燒出來的。但是,打法不只一套,我們可以各自殺出一條血路。
對(duì)美國(guó)比較強(qiáng)的發(fā)明探索學(xué)習(xí),但我們的商業(yè)模式跟強(qiáng)項(xiàng)一定是獨(dú)特的。App時(shí)代的到來是中國(guó)的福音,中國(guó)對(duì)App方法論的理解、洞悉和能做這件事的人數(shù)是超過美國(guó)的。
同時(shí),通過“模型+AI infra+應(yīng)用”多維努力,我們希望能將生成式AI當(dāng)前的“三角形”生態(tài)轉(zhuǎn)正,由半導(dǎo)體行業(yè)分得的利潤(rùn)回歸應(yīng)用層,讓整個(gè)行業(yè)生態(tài)回歸到健康的良性循環(huán)。
長(zhǎng)期來看,這必然會(huì)發(fā)生,但它需要時(shí)間。從這個(gè)角度看,中國(guó)團(tuán)隊(duì)有龐大的市場(chǎng)、豐富的應(yīng)用場(chǎng)景以及強(qiáng)大的執(zhí)行力。這些因素結(jié)合在一起,為我們提供了一個(gè)獨(dú)特機(jī)遇,在AI-first新時(shí)代占據(jù)領(lǐng)先地位。
所以,我們的時(shí)代來了。
End
(如需交流,歡迎添加作者微信:benita_zhangxj,煩請(qǐng)備注公司+職務(wù))
復(fù)盤中國(guó)大模型系列
對(duì)話騰訊湯道生:AI不止于大模型
AGI迎來大基建潮:用上海全市5小時(shí)的電,只能訓(xùn)練GPT-5三個(gè)多月
王小川:中國(guó)AGI的第三種可能性
朱嘯虎講了一個(gè)中國(guó)現(xiàn)實(shí)主義AIGC故事
月之暗面楊植麟復(fù)盤大模型創(chuàng)業(yè)這一年:向延綿而未知的雪山前進(jìn)