本報記者 張靖超 北京報道
AI框架被譽(yù)為AI時代的“操作系統(tǒng)”，其在連接算力、數(shù)據(jù)和算法方面扮演著橋梁的角色。據(jù)中國科學(xué)院科技戰(zhàn)略咨詢研究院近日公布的預(yù)測，2024年中國AI框架的新增市場中，思（MindSpore）的市場份額將達(dá)到30%，其已成為全球主流AI框架的第一梯隊。
這是中國AI框架在智能時代的一次重要突圍，體現(xiàn)出我國在自主創(chuàng)新道路上的堅定步伐。但與此同時，隨著人工智能高速發(fā)展，大模型技術(shù)加速演進(jìn)，參數(shù)量走向萬億級，序列長度迅速增長，模型結(jié)構(gòu)走向多模態(tài)甚至全模態(tài)，模型計算過程從單模型單任務(wù)走向多模型多任務(wù)，深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相融合，AI框架面臨前所未有的挑戰(zhàn)與機(jī)遇。
對此，在12月14日的思人工智能框架峰會上，華為ICT戰(zhàn)略與業(yè)務(wù)發(fā)展部總裁彭紅華表示，人工智能框架是AI時代的操作系統(tǒng)與軟件底座，領(lǐng)先的AI框架需要同時具備“更高效、更敏捷、更開放”的技術(shù)與生態(tài)能力，未來華為將持續(xù)投入思，堅持以開源的方式，促進(jìn)中國人工智能框架生態(tài)健康、高速發(fā)展。
AI框架的意義
《中國經(jīng)營報》記者了解到，在AI技術(shù)體系中，AI框架處于“承上啟下”的位置，南向使能多樣化算力，北向孵化各類算法模型，是人工智能應(yīng)用創(chuàng)新的土壤和源泉。
“在大模型時代需要什么呢？時間倒回去年，大家談得更多的是需要卡、需要算力、需要硬件。有一位業(yè)界知名學(xué)者曾很幽默地說過：‘談卡傷感情，不談卡就沒感情。’這是過去一年的真實(shí)寫照。到了今天，經(jīng)過這一年各方努力，把這個問題稍稍緩解，現(xiàn)在有了硬件資源，怎么把資源用好？就是AI大模型訓(xùn)練的框架�！敝亲VAI CEO張鵬這樣說道，“對創(chuàng)業(yè)企業(yè)來說，卡不便宜，成本巨大。如何把千萬元人民幣的資源發(fā)揮到極致，依靠的就是AI框架和基礎(chǔ)設(shè)施。首先提升大模型的訓(xùn)練性能，這是必須最優(yōu)先考慮的事情。如何做到這一點(diǎn)，就是依靠框架的不斷改進(jìn)。硬件提升沒那么容易，軟件層面如何適配硬件和上層算法，這是我們能做的事情，也是思做得很好的事情�！�
中國移動對此深有體會。今年，中國移動在哈爾濱建成了全球運(yùn)營商最大的單體計算機(jī)群，但要駕馭好如此大規(guī)模的計算裝置、發(fā)揮出最高性能，AI框架至關(guān)重要。
“在一年多的時間里，因為中國移動集群分階段建設(shè)，并不是一次性交付這么大的集群，所以經(jīng)常遇到集群的遷移和并行策略的遷移。如果并行策略發(fā)生遷移，就要重新做實(shí)驗。”中國移動研究院人工智能與智慧運(yùn)營中心高級總監(jiān)王斌說，“我們跟思團(tuán)隊攻關(guān)了模擬模型編譯技術(shù)，可以把并行策略的實(shí)現(xiàn)時間從原來以周而單位，縮短到以天為單位，這是巨大的躍升。由于訓(xùn)練任務(wù)需要做遷移，模型需要經(jīng)常重新拉齊，拉齊的過程一開始耗時比較長。我們跟思團(tuán)隊一起打造了編譯緩存和執(zhí)行器調(diào)度技術(shù)，讓模型任務(wù)重新拉齊的時間，從以小時為單位優(yōu)化到以分鐘為單位。綜合來看，思加NPU的軟硬件協(xié)同組合已經(jīng)可以媲美業(yè)界最優(yōu)秀的組合，而且更加穩(wěn)定�！�
王斌還認(rèn)為，目前我國在半導(dǎo)體先進(jìn)工藝方面受到了限制，突破需要一定時間�！拔覀兛梢曰谒伎蚣茉谒惴ê退阕訉用骈_展更多的創(chuàng)新�！�
清華大學(xué)助理研究員、面壁智能首席研究員韓旭認(rèn)為，模型脫離不了軟件棧和硬件的發(fā)展，他所在團(tuán)隊與思在軟件棧上的合作過程中感到，軟硬協(xié)同的發(fā)展，一方面讓端側(cè)模型能在更低資源的設(shè)備上運(yùn)行起來，另一方面，能把更大尺寸的模型在更小的硬件、更小的低資源場景上做到很好的部署。
“隨著未來像思這樣的軟件棧的發(fā)展越來越快，可以想象，在未來一到兩年內(nèi)，包括具身智能和各種各樣更加智能的穿戴設(shè)備，甚至更好的人機(jī)交互模式會越來越多，越來越有想象力�！表n旭說。
中國AI框架的突破
在過去數(shù)十年中，AI框架領(lǐng)域一直由谷歌（Google）和Meta（前身為Facebook）等國際巨頭主導(dǎo)。但隨著中國AI框架的迅猛發(fā)展，思、飛槳、BytePS等AI框架誕生，逐漸打破了這一格局。
其中，思被業(yè)內(nèi)視為發(fā)展最快的AI框架之一。開源四年來，思開源社區(qū)已匯聚了超過3.7萬個開發(fā)者，全球下載量突破1100萬次。“近幾年，思開源社區(qū)影響力快速提升，目前已躋身全球主流AI框架第一梯隊，并將迅速發(fā)展成為具有全球影響力的開源社區(qū)�！敝袊斯ぶ悄軐W(xué)會副理事長、中國工程院何友說，“思不僅提供便捷的操作接口，還像變速箱和傳動軸一般，調(diào)度算力激發(fā)系統(tǒng)最佳性能。思創(chuàng)新項目大模型孵化、科學(xué)研究、端側(cè)應(yīng)用等多個技術(shù)方向，部分實(shí)踐已經(jīng)在金融、能源、制造、科研等行業(yè)發(fā)揮著重要價值，促進(jìn)了相關(guān)領(lǐng)域的科技和產(chǎn)業(yè)發(fā)展�！�
市場調(diào)查企業(yè)Odia發(fā)布的報告顯示，思和飛槳在國產(chǎn)AI框架中的開發(fā)者認(rèn)知度排名，目前已經(jīng)超過了眾多國外非常成熟的AI框架。
隨著技術(shù)持續(xù)迭代創(chuàng)新以及應(yīng)用場景層出不窮，國產(chǎn)AI框架展現(xiàn)出廣闊的前景。當(dāng)下，全球?qū)I行業(yè)的投入已呈現(xiàn)“井噴”態(tài)勢，AI框架市場也呈現(xiàn)出蓬勃發(fā)展局面。
“中國AI框架市場規(guī)模正在呈現(xiàn)快速增長的態(tài)勢，預(yù)計到2025年，整體市場規(guī)模有望超過數(shù)十億元�！彼糓indSpore開源社區(qū)理事長丁誠說。
目前，思開源社區(qū)已經(jīng)孵化支持50多個主流大模型�！拔覀兒椭袊田w上海飛機(jī)設(shè)計研究院聯(lián)合打造了東方翼風(fēng)的仿真大模型，與南方電網(wǎng)深度合作打造了馭電大模型。接下來我們將引入更多的企業(yè)及科研機(jī)構(gòu)，創(chuàng)新整體框架支撐更多場景應(yīng)用與科學(xué)創(chuàng)新�！倍≌\表示。
開源創(chuàng)新的作用
對于大模型的開源與閉源，業(yè)界有著許多爭論。中國電信人工智能研究院高級算法總監(jiān)宋雙永認(rèn)為，開源降低了行業(yè)科研人員的準(zhǔn)入門檻，否則，從零訓(xùn)大模型成本太高。很多科研人員基于已經(jīng)開源的大模型基礎(chǔ)進(jìn)行自己的科研，會加速整個行業(yè)的進(jìn)步速度，對整個行業(yè)有益。
“從另一個角度來看，從社會意義來講，無論是互聯(lián)網(wǎng)大廠還是運(yùn)營商，作為有能力訓(xùn)練基礎(chǔ)模型的廠商，我們把自己花了這么多人力、數(shù)據(jù)和運(yùn)算資源訓(xùn)練出來的模型開源，讓大家免費(fèi)使用，這是一種社會責(zé)任感，對行業(yè)起到了很好的推動作用。還有一個小點(diǎn)，開源是方便大家把開源模型的參數(shù)接口進(jìn)行統(tǒng)一化、歸一化，這樣使得大模型方向更加標(biāo)準(zhǔn)化，大家的使用更加方便。”宋雙永說。
對于AI框架而言，開源的意義也不言自明。據(jù)華為方面介紹，思自2020年開源以來，技術(shù)持續(xù)創(chuàng)新，生態(tài)繁榮發(fā)展。目前已孵化、支持50多個國內(nèi)外主流大模型；開源版本已累計獲得1100萬次下載，覆蓋全球130多個國家和地區(qū)的2400多個城市；3.7萬多名開發(fā)者參與社區(qū)貢獻(xiàn)；思與360多所高�？蒲性核归_教學(xué)及科研合作，聯(lián)合1700多位生態(tài)伙伴，打造超過2000個解決方案；PaperwithCode網(wǎng)站顯示，支持基于思原創(chuàng)論文發(fā)表累計超過1700篇，位列全球第二、中國第一。
“就我們自己的研究體會來說，在現(xiàn)在的情況下，我國的開源創(chuàng)新已經(jīng)比較好地展開了。其中有幾個代表性的企業(yè)和模型，有啟智、啟元、思、阿里Qwen、智譜等。這些生態(tài)和生態(tài)代表企業(yè)是我國做AI開源創(chuàng)新最重要的力量�！敝袊茖W(xué)院科技戰(zhàn)略咨詢研究院學(xué)術(shù)委員會副主任劉海波提出了自己的觀察，在開源發(fā)展的情況下，無論從基礎(chǔ)、平臺、算法和應(yīng)用上，都有很多實(shí)質(zhì)性得到了開展。在開源發(fā)展過程中，雖然我們看到了生態(tài)位已經(jīng)基本齊聚，雖然我國與發(fā)達(dá)國家相比仍有一定的不足，但我們在AI框架內(nèi)有自己的創(chuàng)新主導(dǎo)者，同時我們也推出了大量的政策，這些政策在發(fā)揮著實(shí)質(zhì)的推動作用，有的已經(jīng)開花結(jié)果。
記者了解到，在開源的發(fā)展過程中，技術(shù)內(nèi)容開源對AI的發(fā)展至關(guān)重要，而技術(shù)內(nèi)容的開源主要有三類主體，就是高校、企業(yè)和基金會。
“沒有清華、北大等高校院所的基礎(chǔ)研究，這些開源大概也走不遠(yuǎn)。同時企業(yè)的貢獻(xiàn)也非常重要，像華為這樣的科技企業(yè)在人工智能的基礎(chǔ)軟件、基礎(chǔ)模型的創(chuàng)新與開源上投入了大量的資金與人才，做了很多重要工作與貢獻(xiàn)，與開源基金組織共同加速開源生態(tài)發(fā)展和技術(shù)創(chuàng)新�！眲⒑２ㄍ瑫r建議，“無治理體系開明、不持續(xù)。在開放創(chuàng)新里，無論是AI領(lǐng)域還是其他領(lǐng)域都有一個治理體系的問題。開源社區(qū)自發(fā)的共享、協(xié)同、合作、激勵機(jī)制、人才培養(yǎng)，需要全體開發(fā)者和伙伴的共同參與，實(shí)現(xiàn)共建共治，開源與創(chuàng)新互補(bǔ)�！�
（編輯：吳清 審核：李正豪 校對：顏京寧）
