人工智能發(fā)展的下一個階段是什么？
答案是商業(yè)化落地，市場給出了端側(cè)AI與垂直行業(yè)大模型兩條路，其中前者更為行業(yè)所看重，不僅市場更加廣闊，而且普羅大眾也將更具體感。
2024年，各類搭載了AI大模型的終端產(chǎn)品幾乎無處不在，如AI手機(jī)、AI PC、AI眼鏡、AI家居等，包括谷歌、META、Apple、華為、字節(jié)跳動、OPPO等科技巨頭都在竭力開發(fā)更具市場競爭力和吸引力的AI終端產(chǎn)品，唯恐在這場AI下半場的競爭中落后一步。
于是乎，2024年乃“端側(cè)AI元年”成為行業(yè)共識。
圖源 |pixabay.com
01
為什么是端側(cè)AI？
當(dāng)前我們所熟知的ChatGPT、文心一言、通義千問及Kimi等語言大模型皆屬于云端AI范疇。一般而言，云端AI從終端采集信息，再將信息通過網(wǎng)絡(luò)傳輸?shù)皆浦行膫?cè)進(jìn)行后續(xù)處理，過程當(dāng)中很難避免個人信息泄露。在這個信息時代，大眾對于數(shù)據(jù)隱私、安全的重視程度愈發(fā)提高，從這方面看，AI發(fā)展從云到端也是必然趨勢。
除安全及隱私保護(hù)之外，大模型在終端運(yùn)行時有以下幾個優(yōu)點(diǎn)，其一是可以在本地實現(xiàn)離線的數(shù)據(jù)推理，無需網(wǎng)絡(luò)交互，非常適合對實時性要求非常高的智能機(jī)器人、智能汽車等終端；其二是AI PC、AI手機(jī)中很多私人信息不大適合上傳至云端，當(dāng)數(shù)據(jù)可以在本地處理時，大模型可以結(jié)合私人數(shù)據(jù)，為用戶提供更好的個性化服務(wù)。
IDC預(yù)測，2024年中國終端設(shè)備市場中，將有超過半數(shù)的設(shè)備在硬件層面具備針對AI計算任務(wù)的算力基礎(chǔ)，至2027年，這一比例將進(jìn)一步攀升至接近80%的水平，并進(jìn)入平穩(wěn)提升階段。摩根士丹利在5月14日發(fā)布的研報中指出，2025年-2026年，AI PC的滲透率將從2024年的8%增至50%。
不過，將大模型從云端移至端側(cè)并沒有那么容易，中間有許多難題需要解決。當(dāng)前的大語言模型內(nèi)置參數(shù)多達(dá)百億千億，若要將其放置于算力相對有限的PC、智能手機(jī)或其他終端運(yùn)行，端側(cè)的算力、內(nèi)存容量、內(nèi)存寬度及功耗都需要納入考慮范圍之內(nèi)。如何才能使得大模型在完整運(yùn)行時，在功能方面不會有太大折扣？這是目前端側(cè)AI產(chǎn)業(yè)鏈需要一同解決的問題。
對于如何解決端側(cè)AI在發(fā)展中存在挑戰(zhàn)，此芯科技聯(lián)合創(chuàng)始人、軟件工程副總裁劉剛認(rèn)為產(chǎn)業(yè)生態(tài)合作非常重要，他表示，“AI技術(shù)發(fā)展日新月異，業(yè)界的關(guān)注正日益集中于推理技術(shù)的發(fā)展與應(yīng)用。隨著訓(xùn)練成本的不斷攀升，投資者和用戶越來越關(guān)注如何將AI算力有效落地并應(yīng)用于特定垂直行業(yè)。如何實現(xiàn)端側(cè)AI算力的高效利用，需要集上下游之力進(jìn)行系統(tǒng)級優(yōu)化，這已成為行業(yè)發(fā)展的下一個關(guān)鍵點(diǎn)�！�
系統(tǒng)級優(yōu)化需要從三個方面著手，第一層是對于芯片等硬件的優(yōu)化；第二層是對于算法與數(shù)據(jù)的優(yōu)化，讓語言大模型在性能基本不打折扣的情況下，參數(shù)規(guī)模越來越��；第三層是聚焦語言大模型之間的協(xié)同，大模型通過微調(diào)優(yōu)化，可以具備長距離多步推理能力（Reasoning），能以極高的效率解決特定領(lǐng)域的復(fù)雜問題。
02
大模型與算力的雙向奔赴
在近期舉行的此芯科技2024生態(tài)大會上，安謀科技市場與生態(tài)副總裁梁泉分享了一個有趣的現(xiàn)象大模型與算力的雙向奔赴。
當(dāng)前，語言大模型的發(fā)展呈現(xiàn)兩極分化的形式。一方面，云端的大模型內(nèi)置參數(shù)從百億、千億乃至數(shù)千億的規(guī)模，其發(fā)展在不斷提升語言大模型的天花板；另一方面，還有很多基于云端AI的創(chuàng)新，越來越多的小模型被發(fā)布和下載。而端側(cè)AI的發(fā)展，自然更加偏向于“更小更精”。
算力方面，主流AI芯片原本有CPU、GPU，如今多了更面向AI的計算器件NPU。而且，這兩年AI芯片算力也得到長足進(jìn)步，端側(cè)的算力從以往的510TOPS慢慢集成提升至40TOPS的范疇，未來還會更高。
端側(cè)AI能力是實現(xiàn)生成式AI全球規(guī)�；瘮U(kuò)展的關(guān)鍵，端側(cè)AI快速發(fā)展倒逼端側(cè)硬件性能升級。在此背景下，高通、蘋果等各大芯片龍頭爭先推出能夠在端側(cè)運(yùn)行生成式AI模型的處理器芯片。值得注意的是，高端芯片市場向來幾乎由歐美科技大廠占據(jù)，英特爾、AMD盤踞CPU市場，英偉達(dá)獨(dú)霸GPU領(lǐng)域，而手機(jī)SoC市占率大多由高通、蘋果等把控。端側(cè)AI芯片市場能否跑出一家足以與上述芯片巨頭掰手腕的中國企業(yè)？
瞄準(zhǔn)這一市場空白，此芯科技決定搏一搏。此前，此芯科技創(chuàng)始人、CEO孫文劍曾坦言，“2021 年此芯科技創(chuàng)立，面臨諸多關(guān)鍵抉擇。團(tuán)隊果斷選用潛力巨大、能效出眾的 Arm 架構(gòu)作為 CPU 底層核心，又選定端側(cè)賽道，發(fā)力 AI PC、智能汽車與空間計算的底層芯片及算力方案。畢竟，人工智能是產(chǎn)業(yè)發(fā)展的主線，既是機(jī)遇，也是方向�！�
此芯科技創(chuàng)始人、CEO 孫文劍
經(jīng)過數(shù)年的努力，2024年7月底，此芯科技正式發(fā)布了“此芯P1”芯片，該產(chǎn)品是一個高能效異構(gòu)處理器，芯片采用先進(jìn)的 Arm V9 架構(gòu)。異構(gòu)計算與混合AI的方式，可以更充分地利用端側(cè)算力，已經(jīng)成為業(yè)內(nèi)公認(rèn)的最優(yōu)解。
性能方面，“此芯P1”CPU部分通過多核設(shè)計，具備高效的通用計算能力；其GPU滿足極致桌面渲染和通用AI計算需求，在處理視頻、游戲等工作時有著優(yōu)異的表現(xiàn)；NPU采用的是安謀科技自研的“周易”NPU，算力達(dá)30TOPS，在進(jìn)行AI推理運(yùn)算時，提供強(qiáng)大的算力支持。強(qiáng)大的異構(gòu)AI引擎，提供45TOPS端側(cè)AI異構(gòu)算力，支持100億參數(shù)以內(nèi)端側(cè)大模型部署。此外，“此芯P1”的訪存子系統(tǒng)配置128-bit LPDDR5低功耗內(nèi)存，容量可達(dá)64GB，數(shù)據(jù)傳輸率可達(dá)6400Mbps、帶寬可達(dá)100GB/s。
合理的算力、內(nèi)存、帶寬搭配，使得“此芯P1”不僅擁有出色賬面算力，在終端上運(yùn)行時，對于數(shù)據(jù)的讀寫、處理也非常的流暢，不會因數(shù)據(jù)過大或過于復(fù)雜而出現(xiàn)遲滯的情況。也正因此，“此芯P1”可以覆蓋智能汽車、一體機(jī)、臺式機(jī)、家庭娛樂主機(jī)、企業(yè)邊緣側(cè)主機(jī)等多種產(chǎn)品形態(tài)，完美展現(xiàn)“一芯多用”特色。
03
貫通產(chǎn)業(yè)鏈，共創(chuàng)商業(yè)價值
想要在高通、蘋果、聯(lián)發(fā)科等芯片巨頭的競爭中食得一杯羹，僅僅憑借硬件的出色表現(xiàn)還不夠。對于芯片企業(yè)來說，硬件是公司的核心競爭力，而軟件是硬件能力釋放的關(guān)鍵，生態(tài)則是公司長期發(fā)展的護(hù)城河，能夠幫助公司建立市場主導(dǎo)地位。
一群行業(yè)老兵所創(chuàng)立的此芯科技自然知道軟件與生態(tài)的重要性。如今，此芯科技所秉持生態(tài)理念便是開放的態(tài)度，貫通產(chǎn)業(yè)鏈，共創(chuàng)商業(yè)價值。
以開放求進(jìn)步，以開放促合作，以開放取成功。在開放這條道路上，此芯科技是怎么做的？首先，在指令集架構(gòu)層面，此芯科技選擇了更為開放、生態(tài)更加完善的Arm。此芯科技創(chuàng)始人、CEO孫文劍在此芯科技2024生態(tài)大會上宣布，“未來，團(tuán)隊會向合作伙伴和方案商開放自己的參考設(shè)計，會把我們的BSP代碼逐步的開源并且向上游、下游提供支持，同時會開放GPU SDK、AI SDK，而且在AI的部署上會開放AI model hub。”
在軟件層面，此芯科技推出了此芯NeuralOne AI軟件棧，用以針對CPU、GPU、NPU等不同硬件處理單元協(xié)同調(diào)用，并支持異構(gòu)AI加速，可滿足不同場景下的性能和功耗需求。此芯科技自主設(shè)計了此芯GO圖形引擎，通過引入應(yīng)用兼容層并在核心驅(qū)動層實現(xiàn)原創(chuàng)優(yōu)化，適配多種主流桌面環(huán)境、兼容傳統(tǒng)應(yīng)用、支持OpenGL標(biāo)準(zhǔn)以及和不同多媒體框架協(xié)同等。
在產(chǎn)業(yè)鏈生態(tài)合作方面，此芯科技也在不斷加強(qiáng)聯(lián)系。目前，此芯科技已經(jīng)完成openKylin2.0和deepin 23兼容性認(rèn)證。同時，此芯科技還與神州網(wǎng)信深入合作，積極推進(jìn)基于Windows11的CMGE Arm POC，探索Arm硬件平臺與windows生態(tài)的兼容解決方案。對于下游的大模型應(yīng)用，此芯科技同樣在加強(qiáng)適配工作。自7月底此芯P1發(fā)布以來，此芯科技已經(jīng)完成了上百個端側(cè)AI模型的適配，包括傳統(tǒng)的CV、NLP&Audio模型以及最新的生成式AI模型。在大語言模型方面支持主流的Llama系列、千問系列、GLM系列、MiniCPM系列等等多種大模型，后續(xù)還將與面壁智能等企業(yè)進(jìn)一步推進(jìn)相關(guān)合作。
“獨(dú)行快、眾行遠(yuǎn)�！贝诵究萍疾⒎侵粚⒁曇熬窒拊诠镜陌l(fā)展，也積極參與到端側(cè)AI的發(fā)展與共建當(dāng)中，與產(chǎn)業(yè)鏈合作伙伴一同共創(chuàng)商業(yè)價值，推動端側(cè)AI產(chǎn)業(yè)的繁榮。
硬件層面，此芯科技洞察到市場對于生成式AI開發(fā)板的需求，與安謀科技、瑞莎計算機(jī)聯(lián)合打造了全球首款A(yù)rmv9開源主板--瑞莎星睿O6。開發(fā)套件搭載了“此芯P1”高能效Armv9處理器，可以基于異構(gòu)算力支持主流端側(cè)生成式AI大模型和傳統(tǒng)CNN模型。在算力方面，其擁有12核CPU、桌面級GPU和30TOPS NPU，接口豐富、性能強(qiáng),異構(gòu)綜合算力達(dá)45TOPS，滿足AI PC算力需求。在硬件架構(gòu)方面，瑞莎星睿O6既是一款MiniATX標(biāo)準(zhǔn)的主板，也是一款基于Arm架構(gòu)的單板計算機(jī)。
在行業(yè)技術(shù)規(guī)范及平臺方面，此芯科技與Arm及國內(nèi)廠商一起探討基于Arm SystemReady以及PC BSA規(guī)范的支持，這將大大減少合作伙伴相關(guān)的重復(fù)開發(fā)工作量，加快AI PC產(chǎn)品的落地。此芯科技作為芯片設(shè)計企業(yè)的重要代表，還加入了由安謀科技牽頭發(fā)起的多方聯(lián)合共建的端側(cè)AI合作平臺“AIPC和EdgeAI聯(lián)合實驗室”，旨在推動本土的AI生態(tài)建設(shè)、社區(qū)發(fā)展和技術(shù)運(yùn)營，進(jìn)而給端側(cè)AI的落地添磚加瓦。
04
結(jié)語
或許，對于許多人而言，端側(cè)AI還遠(yuǎn)，換句話說即當(dāng)前的端側(cè)AI還不夠智能，無法打動消費(fèi)者。但任何新事物的發(fā)展都需要時間的沉淀，在這個過程中不斷迭代進(jìn)化。
以智能手機(jī)為例，2007年，Apple推出了iPhone，當(dāng)時喬布斯在發(fā)布會上說，“今天我們重新發(fā)明了電話�！钡钡�2010年iPhone 4被推出時，iPhone才真正開始風(fēng)靡全球。這中間的三年，是iPhone被重新定義所需要的時間。
2024年，被業(yè)內(nèi)稱為“端側(cè)AI元年”，盡管普羅大眾對于這個說法并不關(guān)心，但這不妨礙端側(cè)AI將成為未來智能化世界中不可或缺的存在。只不過，端側(cè)AI也如同iPhone那般，需要“被重新定義的那三年”，在這個過程當(dāng)中，此芯科技作為行業(yè)構(gòu)成的一份子，在竭力賦能行業(yè)發(fā)展的同時，也將不斷壯大自身，打造智能世界 2.0新范式。
