美國國家工程院外籍院士沈向洋(圖片來源:IDEA)
11月22日舉行的2024年IDEA大會(huì)上,IDEA研究院創(chuàng)院理事長、美國國家工程院外籍院士沈向洋以“從技術(shù)突破到產(chǎn)業(yè)融合”為主題發(fā)表演講,其對(duì)人工智能“三件套”(算力、算法、數(shù)據(jù))的最新思考。
沈向洋指出,在技術(shù)大爆發(fā)時(shí)期開展創(chuàng)新,對(duì)技術(shù)的深度理解尤為重要。他認(rèn)為,從算力來看,未來十年 AI 的發(fā)展可能需要增長 100 萬倍的算力,遠(yuǎn)超摩爾定律預(yù)言的100倍增長,而英偉達(dá)成為了 AI 行業(yè)最了不起、最成功的一家公司。
根據(jù)EPOCH AI的數(shù)據(jù),每年最新的大模型對(duì)算力的需求都在以驚人的速度增長,年均增長率超過四倍(400%)。截至目前,全球已經(jīng)“燒掉”了超過1000萬張GPU算力卡。
“英偉達(dá)硬生生把自己從自己從做硬件、芯片的乙方變成了甲方,今天能拿得到英偉達(dá)的卡就可以說是成功了一半。”沈向洋稱,“講(GPU)卡傷感情,沒卡沒感情!
沈向洋現(xiàn)場透露,明天黃仁勛會(huì)到香港科技大學(xué)接受榮譽(yù)博士學(xué)位的授予,而他準(zhǔn)備現(xiàn)在和黃仁勛討論一些關(guān)于技術(shù)、領(lǐng)導(dǎo)力和創(chuàng)業(yè)的故事,特別是在針對(duì)算力發(fā)展的問題,探討未來十年還會(huì)不會(huì)像過去十年那樣能夠達(dá)到100萬倍的增長。
會(huì)后,沈向洋還向鈦媒體App透露,Scaling Law(尺度定律)放緩的原因是GPT-5還沒發(fā)布,背后主要與數(shù)據(jù)相關(guān)。
據(jù)悉,粵港澳大灣區(qū)數(shù)字經(jīng)濟(jì)研究院(International Digital Economy Academy,簡稱“IDEA研究院”)于2020年由微軟公司原全球執(zhí)行副總裁、美國國家工程院外籍院士沈向洋創(chuàng)建,是一家面向 AI 和數(shù)字經(jīng)濟(jì)產(chǎn)業(yè)和前沿科技的國際化創(chuàng)新型研究機(jī)構(gòu)。
IDEA研究院致力于 AI 和數(shù)字經(jīng)濟(jì)領(lǐng)域前沿研究與產(chǎn)業(yè)落地。目前該院包括低空經(jīng)濟(jì)研究中心、計(jì)算機(jī)視覺與機(jī)器人研究中心、AI金融與深度學(xué)習(xí)研究中心、基礎(chǔ)軟件中心、AI安全普惠系統(tǒng)研究中心等。
此次,IDEA發(fā)布視覺、具身智能、合成數(shù)據(jù)、AI for Science、AI for Coding、低空經(jīng)濟(jì)等多個(gè)領(lǐng)域的新技術(shù)和新模型的前沿研究與產(chǎn)業(yè)落地成果,實(shí)現(xiàn) AI 從技術(shù)突破到產(chǎn)業(yè)融合。
視覺大模型:IDEA團(tuán)隊(duì)本次大會(huì)發(fā)布了該系列最新的DINO-X通用視覺大模型,擁有真正的物體級(jí)別理解能力,實(shí)現(xiàn)開放世界(Open-world)目標(biāo)檢測,無需用戶提示,直接檢測萬物。在零樣本評(píng)估設(shè)置中,DINO-XPro在業(yè)界公認(rèn)的LVIS-minival數(shù)據(jù)集上取得了59.7%的AP,在LVIS-val數(shù)據(jù)集上,DINO-X Pro也表現(xiàn)亮眼,取得了52.4%的AP。具體到LVIS-minival數(shù)據(jù)集上的各個(gè)長尾類別評(píng)估中,DINO-X Pro在稀有類別上取得了63.3%的AP(比Grounding DINO 1.5 Pro還要高出7.2%),在常見類別上取得了61.7%的AP,在頻繁類別上取得了57.5%的AP。
行業(yè)平臺(tái)架構(gòu):IDEA團(tuán)隊(duì)還推出行業(yè)平臺(tái)架構(gòu),通過一個(gè)大模型基座,結(jié)合通用識(shí)別技術(shù)結(jié)合,讓模型不需重新訓(xùn)練,就可邊用邊學(xué),支撐多種多樣的B端應(yīng)用需求。
具身智能:IDEA研究院此次便一連宣布三個(gè)合作:與騰訊合作,在深圳福田區(qū)、河套深港科技創(chuàng)新合作區(qū)落地建設(shè)福田實(shí)驗(yàn)室,聚焦人居環(huán)境具身智能技術(shù);與美團(tuán)合作,探索無人機(jī)視覺智能技術(shù);與比亞迪合作,拓展工業(yè)化機(jī)器人智能應(yīng)用。
合成數(shù)據(jù):IDEA團(tuán)隊(duì)自研了語境圖譜技術(shù),解決過往文本數(shù)據(jù)合成方案的多樣性匱乏等問題。該技術(shù)為合成數(shù)據(jù)引入“指導(dǎo)手冊”,以圖譜為綱,指導(dǎo)用于合成的語境采樣。實(shí)驗(yàn)結(jié)果顯示,IDEA團(tuán)隊(duì)的方案能持續(xù)為大模型帶來能力提升,表現(xiàn)超過目前的最佳實(shí)踐(SOTA);從token消耗來看,平均節(jié)約成本85.7%。目前,該技術(shù)內(nèi)測平臺(tái)已開放,通過API提供服務(wù)。
AI for Science:在預(yù)測方面,IDEA研發(fā)了多個(gè)化學(xué)領(lǐng)域?qū)<掖竽P,分子屬性預(yù)測和化學(xué)反應(yīng)預(yù)測能力均處業(yè)界領(lǐng)先水平;在數(shù)據(jù)方面,IDEA開發(fā)了化學(xué)文獻(xiàn)多模態(tài)大模型,聯(lián)合晶泰科技發(fā)布專利數(shù)據(jù)挖掘平臺(tái)PatSight,將藥物領(lǐng)域的專利化合物數(shù)據(jù)挖掘時(shí)間,從數(shù)周縮短至1小時(shí)。
AI for Coding(編程語言):IDEA研究院的MoonBit團(tuán)隊(duì)展示了其開發(fā)平臺(tái)強(qiáng)大的AI for coding體驗(yàn)。MoonBit是專為云計(jì)算與邊緣計(jì)算設(shè)計(jì)的AI云原生編程語言及工具鏈,已具備完備的多后端支持和跨平臺(tái)能力,可在硬件上直接運(yùn)行,支持RISC-V。MoonBit的開源開發(fā)平臺(tái),將于12月正式開放。
低空經(jīng)濟(jì):IDEA推出低空管理與服務(wù)操作系統(tǒng)OpenSILAS 1.0 Alpha版,還攜手17家產(chǎn)業(yè)伙伴發(fā)起OpenSILAS創(chuàng)新聯(lián)合體,以及《低空經(jīng)濟(jì)白皮書3.0》低空安全體系的發(fā)布等。
此外,IDEA還展示包括學(xué)術(shù)大模型和AI科研神器ReadPaper、營銷創(chuàng)作大模型,以及面向經(jīng)濟(jì)與金融領(lǐng)域的經(jīng)濟(jì)大模型、運(yùn)籌決策大模型、投資大模型等多款新 AI 技術(shù)與產(chǎn)品。
沈向洋表示,在過去所有廣受歡迎的編程語言中,還沒有一個(gè)是由中國開發(fā)者創(chuàng)造的,而如今,AI 時(shí)代也必將催生新的編程范式,中國開發(fā)者將會(huì)起到關(guān)鍵作用。
“ChatGPT 展示了一種新的可能:當(dāng)技術(shù)突破達(dá)到一定程度,可以跳過傳統(tǒng)的產(chǎn)品市場匹配(PMF)過程,直接實(shí)現(xiàn)技術(shù)市場匹配(TMF)!鄙蛳蜓蟊硎荆如果 GPT-5 問世,按照其估計(jì),可能需要 200T(200萬億)規(guī)模的數(shù)據(jù)。
沈向洋強(qiáng)調(diào),AI 正在改變科研方式。從“確定方向”(ARCH)到“選擇課題”(Search),再到“深入研究”(Research),每個(gè)環(huán)節(jié)都將被重塑。今天o1不僅可以做數(shù)據(jù)、做編程,還可以做物理、做化學(xué)等。
“我覺得接下來這幾年,算法沿著SRL(強(qiáng)化學(xué)習(xí))這條道路走下去,一定會(huì)有令人驚艷的全新突破!鄙蛳蜓蟊硎。
(本文首發(fā)于鈦媒體App,作者|林志佳,編輯|胡潤峰)
以下是沈向洋演講的主要內(nèi)容,鈦媒體AGI編輯精心整理了其中精彩部分:
今天是 IDEA 研究院在深圳舉辦的第四屆 IDEA 大會(huì)。
回顧發(fā)展歷程,三年前的第一屆大會(huì)上,IDEA 首次向公眾展示了研究院的工作成果。在第二屆大會(huì)上,我們邀請(qǐng)了李澤湘教授、徐揚(yáng)生教授、高文教授等學(xué)界翹楚進(jìn)行深入對(duì)話。大家開玩笑講地我們四個(gè)人叫做深圳F4。
值得一提的是,這些學(xué)者都是我 90 年代初赴美留學(xué)時(shí)最早結(jié)識(shí)的中國學(xué)者。三十年后我們能在深圳重聚,恰恰印證了深圳作為創(chuàng)新創(chuàng)業(yè)熱土的獨(dú)特魅力。
經(jīng)過四年發(fā)展,IDEA 研究院已發(fā)展成擁有 7 個(gè)研究中心、約 450 名員工的科研機(jī)構(gòu)。我們選擇這些員工,雙向選擇的過程中我們強(qiáng)調(diào)這樣的理念,“科學(xué)家頭腦、企業(yè)家素質(zhì)、創(chuàng)業(yè)者精神”。來到深圳、來到福田、來到IDEA都是想干一番事業(yè)。
過去幾年,人工智能的蓬勃發(fā)展讓整個(gè)行業(yè)充滿憧憬和期待。在人工智能發(fā)展進(jìn)程中,“算力、算法、數(shù)據(jù)”這三件套始終是核心要素。接下來,我將從這三個(gè)方面,詳細(xì)分享自己的觀察和思考。
首先從算力說起。
作為計(jì)算機(jī)領(lǐng)域的從業(yè)者,我們一直見證著整個(gè)計(jì)算行業(yè)過去40、50年來算力的不斷提升。早期有著名的“摩爾定律”,英特爾提出每 18 個(gè)月算力增長一倍。
但在過去十幾年,隨著人工智能,特別是深度學(xué)習(xí)的發(fā)展,對(duì)算力的需求呈現(xiàn)出前所未有的增長態(tài)勢。
根據(jù) EPOCH AI 的數(shù)據(jù),每年最新的大模型對(duì)算力的需求都在以驚人的速度增長,年均增長率超過四倍。
這個(gè)數(shù)字意味著什么?如果按照這個(gè)增長速度,十年間算力需求的增長將達(dá)到驚人的 100 萬倍。相比之下,傳統(tǒng)的摩爾定律下 18 個(gè)月翻一倍的增長,十年也不過是 100 倍的增長。
算力是關(guān)鍵,算力就是生產(chǎn)力。為什么這樣講?過去十幾年可以毫不夸張的講,IT行業(yè)、人工智能行業(yè)最了不起的一家公司、最成功的一家公司,不管從哪個(gè)角度看就是NVIDIA英偉達(dá)。
英偉達(dá)已經(jīng)從一家單純的硬件芯片供應(yīng)商,轉(zhuǎn)變?yōu)檎麄(gè)行業(yè)的核心支柱,F(xiàn)在行業(yè)里流傳著這樣一句話:英偉達(dá)硬生生把自己從做硬件、芯片的乙方公司做成了甲方,而今天拿得到英偉達(dá)的卡,那你就成功了一半。
讓我們看看具體的數(shù)據(jù):2023 年英偉達(dá)最新產(chǎn)品 H100 的出貨量持續(xù)攀升,各大公司爭相采購。包括馬斯克最近就部署了一個(gè)擁有 10 萬張 H100 卡的大規(guī)模集群。到 2024 年為止,微軟、谷歌、亞馬遜等科技巨頭都在大量采購 H100 芯片。
為什么需要如此龐大的算力?這與大模型的發(fā)展密不可分。
Scaling Law告訴我們,大模型不僅參數(shù)量巨大(從百億到千億,再到萬億參數(shù)),而且訓(xùn)練所需的數(shù)據(jù)量也在不斷增長。更關(guān)鍵的是,要提升模型性能,對(duì)算力的需求會(huì)隨參數(shù)量呈平方關(guān)系增長。這就解釋了為什么過去十年英偉達(dá)的市值能夠增長 300 倍,也說明了“算力就是生產(chǎn)力”這一論斷的深刻含義。
一旦這么大的參數(shù)以后,要能訓(xùn)練這樣的模型,數(shù)據(jù)量也要增長,某種意義上來講,要把性能提升,對(duì)算力的需求呈跟參數(shù)的平方關(guān)系,這對(duì)整個(gè)算力的需求是非常龐大。
過去這一年來我經(jīng)常講的一句話,“講卡傷感情,沒卡沒感情”。
前不久我在上海演講的時(shí)候臺(tái)下有位大學(xué)校長,各位老師要對(duì)校長表示同情,校長也不好當(dāng)。老師說你給我100張卡,我可以做些科研,給你100張卡,校長幾千萬就沒有了。
在人才招聘方面,算力資源已經(jīng)成為一個(gè)重要指標(biāo)。有些企業(yè)會(huì)以“千卡人才”、“百卡人才”來形容人才規(guī)模,真正頂尖的甚至被稱為“萬卡人才”。IDEA 研究院已經(jīng)擁有了千張卡的算力儲(chǔ)備,在深圳算得上是“小土豪”級(jí)別的規(guī)模。
這也解釋了為什么過去十年英偉達(dá)的市值漲了300倍,這是不可想象的事情,
這種算力需求的變革被業(yè)界稱為從“摩爾定律”到“黃氏定律”的轉(zhuǎn)變。黃氏定律不僅體現(xiàn)在硬件算力的增長上,更重要的是反映了模型訓(xùn)練對(duì)算力需求的指數(shù)級(jí)增長。未來十年的算力需求是否會(huì)繼續(xù)保持如此驚人的增長速度,這個(gè)問題值得我們持續(xù)關(guān)注和思考。
之前我在大灣區(qū)論壇也是提到過去十年算力的增長100萬倍,有一篇文章寫的不準(zhǔn)確,他說沈向洋講,未來十年算力的需求會(huì)有100萬倍的增長。其實(shí)我并沒有這樣講,我也不是看得很清楚,接下來十年的算力需求是不是會(huì)增長100萬倍。
明天中午我在香港有機(jī)會(huì)請(qǐng)教黃仁勛博士,黃仁勛博士到香港科技大學(xué)接受榮譽(yù)博士學(xué)位,之后會(huì)和我做一個(gè)對(duì)談,講技術(shù)、領(lǐng)導(dǎo)力、創(chuàng)業(yè)的故事。我明天有機(jī)會(huì)想請(qǐng)教他一下未來十年的發(fā)展會(huì)不會(huì)有100萬倍的增長。
其次是算法。
在算法方面,自 2017 年 Transformer 架構(gòu)問世以來,人工智能、深度學(xué)習(xí)和大模型的發(fā)展基本上都是沿著這個(gè)方向,通過堆數(shù)據(jù)和算力來推進(jìn)。但在 GPT-4 之后,我們看到了算法范式的新突破。特別是 OpenAI 推出的新技術(shù),包括多模態(tài)的 GPT-4V 以及最新的 o1 推理學(xué)習(xí)能力,展現(xiàn)了算法創(chuàng)新的新方向。
令人欣喜的是,近幾個(gè)月來,國內(nèi)也有一些公司,包括初創(chuàng)企業(yè)在 o1 這個(gè)方向上取得了顯著進(jìn)展。
這里我想詳細(xì)介紹一下算法突破的思路。在 o1 出現(xiàn)之前,大家談?wù)摰亩际?GPT 系列,所有的工作都集中在預(yù)訓(xùn)練上,核心任務(wù)就是預(yù)測“下一個(gè)token”。其中很重要的技術(shù)背景是對(duì)所有數(shù)據(jù)進(jìn)行高效壓縮,使模型能夠快速給出答案,實(shí)現(xiàn)“一問即答”。
而現(xiàn)在的范式變革引入了強(qiáng)化學(xué)習(xí)(Reinforcement Learning)的理念,模型具備了自我改善的能力。這種新方法的特點(diǎn)在于,它更接近人類的思考方式。不同于之前的快速思考模式,現(xiàn)在的模型在給出答案時(shí)會(huì)經(jīng)歷后訓(xùn)練、后推理的過程。這就像學(xué)生在解數(shù)學(xué)題時(shí)會(huì)先打草稿,驗(yàn)證一條路徑是否正確,如果不對(duì)就回退嘗試另一條路徑。
雖然強(qiáng)化學(xué)習(xí)本身并不是一個(gè)新概念比如幾年前 AlphaGo 就使用強(qiáng)化學(xué)習(xí)打敗了圍棋世界冠軍但今天的創(chuàng)新在于它的通用性。過去的強(qiáng)化學(xué)習(xí)系統(tǒng)往往只能解決單一問題,而像 o1 這樣的新系統(tǒng)可以同時(shí)處理數(shù)據(jù)分析、編程、物理、化學(xué)等多個(gè)領(lǐng)域的問題。我認(rèn)為,在未來幾年,沿著 Self-Reinforcement Learning (SRL) 這條道路,我們將看到更多令人驚艷的突破,期待 IDEA 研究院和國內(nèi)的研究人員能在這個(gè)方向上有更多的思考和創(chuàng)新。
最后是數(shù)據(jù)。
在討論數(shù)據(jù)之前,我已經(jīng)提到,大模型的蓬勃發(fā)展不僅依賴于參數(shù)規(guī)模的增長,還需要海量數(shù)據(jù)的支持。讓我和大家分享一些關(guān)于數(shù)據(jù)規(guī)模的具體數(shù)據(jù)。
三年前 GPT-3 發(fā)布時(shí),使用了 2Trillion(2萬億)的 token 數(shù)據(jù)。到了 GPT-4 時(shí)代,模型訓(xùn)練使用的數(shù)據(jù)量增加到了 12T,在不斷訓(xùn)練過程中可能達(dá)到了 20T。這個(gè)規(guī)模大致相當(dāng)于目前互聯(lián)網(wǎng)上可獲取的優(yōu)質(zhì)數(shù)據(jù)總量。而未來如果 GPT-5 問世,按照我的估計(jì),可能需要 200T 規(guī)模的數(shù)據(jù)。
但問題在于,互聯(lián)網(wǎng)上已經(jīng)很難找到如此龐大的優(yōu)質(zhì)數(shù)據(jù)。這就引出了一個(gè)新的研究方向:合成數(shù)據(jù)。
為了讓大家對(duì)這些數(shù)據(jù)規(guī)模有更直觀的認(rèn)識(shí),我舉幾個(gè)例子:1 萬億 token 的數(shù)據(jù)量大約相當(dāng)于 500 萬本書,或 20 萬張高清照片,或 500 萬篇論文。從人類歷史的角度來看,至今為止創(chuàng)造的所有書籍大約包含 21 億 token,微博上有 38 億 token,而 Facebook 上約有 140T 的數(shù)據(jù)。不過社交媒體上的數(shù)據(jù)質(zhì)量普遍不夠高,真正有價(jià)值的內(nèi)容相對(duì)有限。
從個(gè)人維度來看,一個(gè)人讀完大學(xué),真正學(xué)到的知識(shí)量大約是 0.00018T,相當(dāng)于 1000 本書的內(nèi)容。如果覺得自己還沒讀到這個(gè)量級(jí),也許現(xiàn)在開始該多讀些書了。
有趣的是,ChatGPT 等 AI 模型的訓(xùn)練數(shù)據(jù)主要來自互聯(lián)網(wǎng)。回顧互聯(lián)網(wǎng)發(fā)展的 40 年,人們熱衷于在網(wǎng)上分享信息,現(xiàn)在看來,似乎是在為 GPT 的訓(xùn)練做準(zhǔn)備。AI 之所以如此智能,很大程度上得益于我們貢獻(xiàn)的數(shù)據(jù)。這其中還有一個(gè)值得注意的現(xiàn)象:無論訓(xùn)練哪種語言的 AI 模型,底層的高質(zhì)量數(shù)據(jù)主要是英文的。這意味著在 AI 時(shí)代,英語的重要性可能會(huì)進(jìn)一步加強(qiáng),就像互聯(lián)網(wǎng)時(shí)代一樣。
既然網(wǎng)上的數(shù)據(jù)已接近極限,AI 的進(jìn)一步發(fā)展就需要依靠合成數(shù)據(jù),這可能催生新的百億美元級(jí)創(chuàng)業(yè)機(jī)會(huì)。
與 GPT 系列主要使用互聯(lián)網(wǎng)文本數(shù)據(jù)不同,新一代模型(如 o1)需要更強(qiáng)的邏輯性,這些數(shù)據(jù)在網(wǎng)上往往找不到。比如在編程領(lǐng)域,我們需要知道具體的步驟是如何一步步完成的。在 IDEA 研究院,在郭院長的帶領(lǐng)下,我們開展了高質(zhì)量訓(xùn)練數(shù)據(jù)的項(xiàng)目,為大模型持續(xù)提供新的“養(yǎng)分”。
我們的合成數(shù)據(jù)方法并非盲目生成,而是建立在嚴(yán)謹(jǐn)?shù)姆椒ㄕ摶A(chǔ)上。我們首先建立語境圖譜,在此基礎(chǔ)上進(jìn)行數(shù)據(jù)合成。這些合成數(shù)據(jù)經(jīng)過大模型預(yù)訓(xùn)練后,已經(jīng)展現(xiàn)出很好的效果。
除此之外,我們還在探索另一個(gè)維度的問題:私域數(shù)據(jù)安全孤島。由于數(shù)據(jù)安全考慮,許多私域數(shù)據(jù)無法直接共享使用。為此,我們開發(fā)了 IDEA Data Maker,將這兩個(gè)方面結(jié)合起來,通過語境圖譜生成新的語料,解決過往文本數(shù)據(jù)合成方案的多樣性匱乏等問題。該技術(shù)為合成數(shù)據(jù)引入“指導(dǎo)手冊”,以圖譜為綱,指導(dǎo)用于合成的語境采樣。實(shí)驗(yàn)結(jié)果顯示,IDEA 團(tuán)隊(duì)的方案能持續(xù)為大模型帶來能力提升,表現(xiàn)超過目前的最佳實(shí)踐(SOTA)模型;從 token 消耗來看,平均節(jié)約成本 85.7%。目前,該技術(shù)內(nèi)測平臺(tái)已開放,通過 API 提供服務(wù)。
在討論了 AI “三件套”之后,我想分享 IDEA 研究院近一年來的思考和實(shí)踐。特別是大模型蓬勃發(fā)展給我們帶來的機(jī)遇。
講大模型之前我講一下最近的學(xué)習(xí)體會(huì),ChatGPT出來了以后令大家非常震撼。ChatGPT這個(gè)產(chǎn)品出來,本來只是幾個(gè)技術(shù)的演示,它出來以后兩個(gè)月的時(shí)間全球1億用戶,成為了不起的現(xiàn)象。
這種現(xiàn)象打破了我們對(duì)產(chǎn)品發(fā)展的傳統(tǒng)認(rèn)知。在互聯(lián)網(wǎng)時(shí)代,我們常說 PMF(Product-Market Fit,產(chǎn)品市場匹配)。對(duì)這個(gè)概念的理解,我多次請(qǐng)教過美團(tuán)的王慧文,在清華的一堂課上,他專門講解了 PMF 的內(nèi)涵。
但 ChatGPT 的成功告訴我們,它實(shí)際上跳過了 PMF 的過程,直接實(shí)現(xiàn)了TMF(Technology-Market Fit,技術(shù)市場匹配)。當(dāng)技術(shù)發(fā)展到一定程度,就可能實(shí)現(xiàn)這樣的跨越式突破。
在 IDEA,我們天天在追求一些極致的技術(shù),也在思考:如果有技術(shù)出來,是否可以一步到位?這當(dāng)然是我們的期望,我們一直在朝這個(gè)方向努力。
順著 TMF 的思路,我想講一個(gè)最近我們特別關(guān)注的方向:計(jì)算機(jī)編程語言。作為一個(gè)學(xué)習(xí)計(jì)算機(jī)的人,我自己就編寫過十幾種不同的編程語言,在不同的階段做不同的項(xiàng)目時(shí)都會(huì)用到它們。
在這里我想提出一個(gè)重要觀點(diǎn):縱觀全球,有那么多的編程語言,包括小語言、大語言、中型語言,但基本上沒有一個(gè)被廣泛使用的語言是由中國人發(fā)明、中國人創(chuàng)造的。這種現(xiàn)象是有機(jī)會(huì)改變的。
讓我給大家舉幾個(gè)例子,說明什么是現(xiàn)象級(jí)的語言。
在過去七八十年的計(jì)算機(jī)科學(xué)發(fā)展歷程中,出現(xiàn)過的現(xiàn)象級(jí)語言不超過十個(gè)。這里的“現(xiàn)象級(jí)”是指至少有幾百萬、上千萬用戶在使用這個(gè)語言編程。比如早期的 Fortran,當(dāng)時(shí)是和 IBM 大型機(jī)綁定的,做三角計(jì)算都要用 Fortran 語言。70 年代出現(xiàn)的 C 語言,是與 Unix 操作系統(tǒng)緊密相連的,甚至可以說 Unix 系統(tǒng)就是用 C 語言構(gòu)建的。到了 90 年代互聯(lián)網(wǎng)興起時(shí),我?guī)熜珠_發(fā)的 Java 語言被大量程序員采用,主要用于開發(fā) Web 服務(wù)器。而在過去十幾年,Python 因?yàn)樵诳茖W(xué)計(jì)算方面的便利性,特別是在云計(jì)算平臺(tái)上的廣泛應(yīng)用,成為主流語言。如果你問問自己的孩子在學(xué)什么編程語言,大概率會(huì)是 Python。
那么,在今天的大模型時(shí)代,會(huì)不會(huì)出現(xiàn)新的現(xiàn)象級(jí)語言?這個(gè)問題不是只有我一個(gè)人在思考。比如,GitHub Copilot 的創(chuàng)始人 Alex Graveley 就指出,AI 編程還沒有形成新的編程語言范式。編程語言是最根本的技術(shù)創(chuàng)新方向之一。
有了語言之后,就需要探索大模型的技術(shù)創(chuàng)新方向。在大模型能力已經(jīng)達(dá)到新高度的今天,一個(gè)關(guān)鍵問題是:我們?nèi)绾螌⑦@種能力轉(zhuǎn)化為實(shí)際應(yīng)用?在哪些場景中可以發(fā)揮其最大價(jià)值?
在所有的應(yīng)用方向中,我特別要強(qiáng)調(diào) AI For Science(科學(xué)智能)的重要性?梢哉f,在當(dāng)前階段,很難想象有什么比 AI For Science 更重要的方向。如果我們要做人工智能研究,一方面要全力推動(dòng)大模型技術(shù)的落地,另一方面也要關(guān)注它在科學(xué)研究中的應(yīng)用。
這讓我想起二十多年前在微軟亞洲研究院做過一個(gè)關(guān)于如何做科研、如何做學(xué)問的報(bào)告。我把科研工作分成了三個(gè)不同的層次:ARCH(確定方向)、Search(選擇課題)、Research(深入研究,一而再再而三地探索),F(xiàn)在,我們希望 IDEA 的工作能為中國的科研人員、年輕學(xué)生在做科研時(shí)提供更好的支持。
事實(shí)上,人工智能的發(fā)展正在對(duì)社會(huì)產(chǎn)生深遠(yuǎn)的影響。這個(gè)問題太重要了,需要我們認(rèn)真思考。我們今天要討論的是 AI 治理問題,包括它對(duì)民眾的沖擊、對(duì)公司的沖擊、對(duì)監(jiān)管的沖擊、對(duì)社會(huì)發(fā)展的沖擊。
人工智能的影響究竟是如何發(fā)生的?八年前,人們還在討論社交媒體的影響,而今天我們必須要討論人工智能的影響。
過去十幾年的發(fā)展令人震驚:人類引以為傲的能力正在一個(gè)個(gè)被 AI 超越。下象棋、下圍棋就不必多說,現(xiàn)在AI在閱讀理解、圖像識(shí)別和檢測等領(lǐng)域的能力都已經(jīng)逐步超越人類。
更令人震撼的是,這些能力的提升已經(jīng)不是單點(diǎn)突破,而是通用人工智能整體能力的提升,這使得人工智能對(duì)社會(huì)的影響變得異常深遠(yuǎn)。
現(xiàn)在,全球范圍內(nèi)都在討論 AI 治理問題。我有幸在今年上海人工智能大會(huì)上與我的導(dǎo)師瑞迪教授、布盧姆教授和姚期智教授一起討論這個(gè)議題。
從社會(huì)發(fā)展的角度來看,我們習(xí)慣用 GDP 來衡量發(fā)展水平。但 GDP 這個(gè)概念其實(shí)是很新的。在農(nóng)業(yè)社會(huì)之前,根本不存在 GDP 增長的概念,因?yàn)槿藗冞B溫飽都難以解決。農(nóng)業(yè)社會(huì)發(fā)展后,人們有了剩余產(chǎn)能,但 GDP 年均增長仍然只有 0.1% 至 0.2%。到了工業(yè)社會(huì),這個(gè)數(shù)字提升到 1% 至 2%。信息社會(huì)的 GDP 年均增長達(dá)到了3%、4%,這里說的都是全球的大致數(shù)字。
那么,在接下來AI社會(huì)的發(fā)展,會(huì)發(fā)生什么?一些經(jīng)濟(jì)學(xué)家預(yù)測,隨著人工智能數(shù)量超過人類數(shù)量,機(jī)器人數(shù)量急劇增加,生產(chǎn)效率將獲得巨大提升。在這樣的 AI 世界中,GDP 年均增長可能達(dá)到十幾個(gè)百分點(diǎn)。
這樣的增長給社會(huì)帶來的問題是什么?我想問的一句話是AI的發(fā)展,從經(jīng)濟(jì)最大的增長能不能轉(zhuǎn)化到人類的最大福祉?這是為什么在座的,在IDEA研究院從事技術(shù)研發(fā)的同事,產(chǎn)業(yè)落地這些同事在人工智能發(fā)展的道路上是必須要去思考的問題。
謝謝大家!期待明年再見。