圖片系A(chǔ)I生成
在AI技術(shù)體系中，深度學(xué)習(xí)框架處于“承上啟下”的位置，南向使能多樣化算力，北向孵化各類算法模型，是大模型產(chǎn)業(yè)必不可少的環(huán)節(jié)。在全球?qū)用妫琓ensorFlow 和 PyTorch占據(jù)先發(fā)優(yōu)勢(shì)，中國(guó)市場(chǎng)也不例外，但是華為推出的思MindSpore和百度推出的飛槳PaddlePaddle等國(guó)產(chǎn)力量正在加速追趕。
在12月14日舉辦的思人工智能框架峰會(huì)上，18家單位發(fā)布基于思的原生開發(fā)大模型成果，據(jù)預(yù)測(cè)，中國(guó)AI框架2024年新增市場(chǎng)思份額將達(dá)30%。
華為ICT戰(zhàn)略與業(yè)務(wù)發(fā)展部總裁彭紅華表示，人工智能框架是AI時(shí)代的操作系統(tǒng)與軟件底座，領(lǐng)先的AI框架需要同時(shí)具備“更高效、更敏捷、更開放”的技術(shù)與生態(tài)能力，未來華為將持續(xù)投入思MindSpore，堅(jiān)持以開源的方式，促進(jìn)中國(guó)人工智能框架生態(tài)健康、高速發(fā)展。
大模型如何改變深度學(xué)習(xí)框架
智譜AI CEO張鵬在會(huì)上表示，去年大家談得更多的是需要卡、需要算力、需要的是硬件，今年算力問題有所緩解，其中尤其是華為騰的努力�，F(xiàn)在有了硬件資源，如何把動(dòng)輒價(jià)值千萬元人民幣的硬件資源用好，主要依靠AI大模型訓(xùn)練的框架和infra（基礎(chǔ)設(shè)施）。
現(xiàn)階段最關(guān)鍵的是提升大模型的訓(xùn)練性能，這是整個(gè)行業(yè)的優(yōu)先考慮事項(xiàng)，需要深度學(xué)習(xí)框架的不斷改進(jìn)，讓軟件更好地適配硬件和上層算法。
“相比于國(guó)外發(fā)展了十年，甚至更長(zhǎng)時(shí)間的框架，思做了很多工作，智譜也配合增強(qiáng)了分布式并行的能力，增強(qiáng)從訓(xùn)練到推理的一致性和部署可用性。最重要的是我們把核心技術(shù)終于從0到1突破了，掌握在自己的手里，能夠?qū)崿F(xiàn)全棧自主創(chuàng)新持續(xù)的演進(jìn)和創(chuàng)新�！睆堸i說道。
他還在現(xiàn)場(chǎng)透露，智譜從2020年就開始和眾多國(guó)產(chǎn)生態(tài)進(jìn)行合作，其中包括騰系列硬件，結(jié)合思MindSpore做完全自主創(chuàng)新的國(guó)產(chǎn)大模型訓(xùn)練。
智譜AI的明星產(chǎn)品CodeGeeX誕生于在疫情期間，智譜和華為各自投入了幾十人團(tuán)隊(duì)，分布式協(xié)作完成算法調(diào)優(yōu)、集群穩(wěn)定性的維護(hù)工作、inference的構(gòu)建。發(fā)展到今天，CodeGeeX已經(jīng)更新迭代了四代模型。
思MindSpore開源社區(qū)理事長(zhǎng)丁誠(chéng)也提到，大模型技術(shù)還在跨越式演進(jìn)，思MindSpore重點(diǎn)關(guān)注兩點(diǎn)。
第一，大模型的參數(shù)量、序列長(zhǎng)度和模態(tài)結(jié)構(gòu)繼續(xù)以指數(shù)級(jí)速度演進(jìn)。對(duì)此深度學(xué)習(xí)框架要解決異構(gòu)模型帶來的計(jì)算不均衡問題，超長(zhǎng)序列帶來的內(nèi)存爆炸問題和模型并行出現(xiàn)的流水線空炮問題。
第二，Open AI發(fā)布了o1，使得計(jì)算過程從單任務(wù)、單模型走向了多任務(wù)、多模型，深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)相融合的方式，對(duì)此深度學(xué)習(xí)框架需要解決多模型協(xié)同交互下的復(fù)雜編程問題，推理和強(qiáng)化學(xué)習(xí)任務(wù)的混合部署和調(diào)度問題，訓(xùn)推權(quán)重的在線轉(zhuǎn)換，并行策略的動(dòng)態(tài)調(diào)整問題。
開源4年份額達(dá)30%，思成為發(fā)展最快AI框架
開源是思快速追趕先進(jìn)框架的主要策略，典型如大模型爆發(fā)帶來了新的需求，思從社區(qū)論壇收集到3700多個(gè)技術(shù)問題，再針對(duì)性做技術(shù)預(yù)研和規(guī)劃。中國(guó)工程院院士何友表示，思作為自主創(chuàng)新的AI框架，在大模型時(shí)代的開源實(shí)踐尤為重要，甚至有些指標(biāo)可以和國(guó)際媲美。
彭紅華提到，未來思主要面向三個(gè)層面演進(jìn)，在開發(fā)者編程體驗(yàn)方面，思兼容業(yè)界主流生態(tài)，提供一致開發(fā)體驗(yàn)，持續(xù)降低遷移學(xué)習(xí)成本；
在大模型訓(xùn)練方面，提供更豐富的分布式并行策略，結(jié)合自動(dòng)搜索仿真調(diào)優(yōu)，為大模型訓(xùn)練節(jié)約端到端成本；
面向最新類o1模型帶來的技術(shù)挑戰(zhàn)，完善多模型多任務(wù)調(diào)度、訓(xùn)推無縫轉(zhuǎn)換能力，強(qiáng)化學(xué)習(xí)親和架構(gòu)，加速類o1模型演進(jìn)升級(jí)；面向AI for Science場(chǎng)景，思持續(xù)升級(jí)底層函數(shù)式編程體驗(yàn)，并打造高性能AI for Science使能套件，聯(lián)合行業(yè)用戶、科研機(jī)構(gòu)、學(xué)術(shù)專家共同加速科研創(chuàng)新，推動(dòng)科技進(jìn)步。
現(xiàn)場(chǎng)公布的數(shù)據(jù)顯示，思MindSpore自2020年開源以來，目前已孵化、支持50多個(gè)國(guó)內(nèi)外主流大模型；開源版本已累計(jì)獲得1100萬次下載，覆蓋全球130多個(gè)國(guó)家和地區(qū)的2400多個(gè)城市；3.7萬多名開發(fā)者參與社區(qū)貢獻(xiàn)。
此外，思與360多所高�？蒲性核归_教學(xué)及科研合作，聯(lián)合1700多位生態(tài)伙伴，打造超過2000+解決方案；PaperwithCode網(wǎng)站顯示，支持基于思原創(chuàng)論文發(fā)表累計(jì)超過1700篇，位列全球第二、中國(guó)第一。據(jù)預(yù)測(cè)，中國(guó)AI框架2024年新增市場(chǎng)思份額將達(dá)30%。
