劃重點(diǎn)
01深圳云天勵(lì)飛完成近16億元AI大單交付，為北京德元方惠科技提供AI訓(xùn)練及推理算力服務(wù)。
02云天勵(lì)飛在異構(gòu)算力領(lǐng)域布局較早，核心競(jìng)爭(zhēng)力在于算法和芯片兩大方面。
03除此之外，云天勵(lì)飛已落地西南、華南區(qū)域三個(gè)高性能算力集群，運(yùn)營(yíng)算力規(guī)模接近5000P。
04陳騰宇表示，云天勵(lì)飛將繼續(xù)做深，綁定多個(gè)行業(yè)龍頭，挖掘客戶(hù)需求。
以上內(nèi)容由大模型生成，僅供參考
智東西（公眾號(hào)：zhidxcom）
作者 | 三北
編輯 | 漠影
AI上市公司深圳云天勵(lì)飛，最近在算力產(chǎn)品及服務(wù)業(yè)務(wù)板塊完成諸多大額訂單。
首先是11月5日，云天勵(lì)飛宣布已完成近16億元的AI大單的交付工作，為北京德元方惠科技開(kāi)發(fā)有限責(zé)任公司（簡(jiǎn)稱(chēng)“德元方惠”）提供AI訓(xùn)練及推理算力服務(wù)。同時(shí)，第一批算力服務(wù)（對(duì)應(yīng)合同中約60%的算力規(guī)模）的驗(yàn)收相關(guān)工作已完成，上線(xiàn)日期為2024年10月1日。
▲云天勵(lì)飛最新公告部分截取
而就在不久前的9月，云天勵(lì)飛剛中標(biāo)了約1.3億元的“天府智算中心（一期）項(xiàng)目設(shè)備采購(gòu)及監(jiān)理服務(wù)采購(gòu)項(xiàng)目”，連下兩城。
自去年以來(lái)，大模型催生了大量訓(xùn)練及推理算力需求，全球各路云計(jì)算大廠(chǎng)、服務(wù)器廠(chǎng)商、AI企業(yè)以及一些跨界玩家紛紛開(kāi)始進(jìn)入智算行業(yè)。
作為一家做AI算法起家的企業(yè)，云天勵(lì)飛拿下這些項(xiàng)目的背后，有什么樣的技術(shù)和商業(yè)邏輯？這又能為AI企業(yè)同行帶來(lái)什么樣的啟示？
通過(guò)對(duì)話(huà)云天勵(lì)飛副CFO兼資本中心總經(jīng)理陳騰宇，本文對(duì)此進(jìn)行了深入探討。
一、大模型狂飆500天，訓(xùn)練及推理算力需求激增
自2023年大模型爆火以來(lái)，催生了大量訓(xùn)練及推理算力需求。
大模型朝超大參數(shù)規(guī)模發(fā)展，OpenAI提出的百萬(wàn)卡的智算集群思路已經(jīng)被驗(yàn)證，推動(dòng)智算中心如雨后春筍般涌現(xiàn)。根據(jù)工信部最新數(shù)據(jù)，截至2024年上半年，國(guó)內(nèi)已經(jīng)建設(shè)和正在建設(shè)的智算中心超過(guò)250個(gè)。2024年上半年智算中心招投標(biāo)相關(guān)事件791起，同比增長(zhǎng)高達(dá)407.1%。
提早預(yù)判到這樣的趨勢(shì)，云天勵(lì)飛于2023年初涉足異構(gòu)算力領(lǐng)域，這是國(guó)內(nèi)AI企業(yè)最早布局智算的步伐之一。陳騰宇向智東西談及當(dāng)時(shí)的契機(jī)：短期來(lái)看，云天勵(lì)飛在研發(fā)過(guò)程中有大量的技術(shù)沉淀可以支撐異構(gòu)算力集群的高效率運(yùn)行，而其盈利能力亦較為可觀(guān)；另一方面，訓(xùn)練背后的推理需求是更大的藍(lán)海，將給云天勵(lì)飛自研推理芯片提供廣闊的應(yīng)用場(chǎng)景。
籌謀一年多，時(shí)間來(lái)到2024年7月，云天勵(lì)飛與德元方惠一舉簽下16億元的AI大單，在產(chǎn)業(yè)里一戰(zhàn)成名。
按照合約，云天勵(lì)飛將為后者提供智能算力調(diào)度及AI大模型開(kāi)發(fā)服務(wù)平臺(tái)配套服務(wù)，算力總規(guī)模約4000PFLOPS，用于大模型訓(xùn)練及推理。
項(xiàng)目規(guī)模之大、業(yè)務(wù)之聚焦，很多業(yè)內(nèi)人士好奇，云天勵(lì)飛能搞定這個(gè)項(xiàng)目嗎？
陳騰宇告訴智東西，目前這一項(xiàng)目已全面完成交付，并進(jìn)入調(diào)試及驗(yàn)收階段。同時(shí)，項(xiàng)目商業(yè)化也不成問(wèn)題，根據(jù)云天勵(lì)飛官方公告，這一項(xiàng)目未來(lái)三年預(yù)計(jì)每年為公司新增營(yíng)收約5億元，三年累計(jì)產(chǎn)生利潤(rùn)5.39億元。
今年9月，云天勵(lì)飛緊接著再下一城，中標(biāo)了約1.3億元的天府智算中心項(xiàng)目。
據(jù)悉，該項(xiàng)目目前也已經(jīng)進(jìn)入交付過(guò)程，預(yù)計(jì)進(jìn)一步為云天勵(lì)飛的業(yè)績(jī)帶來(lái)直接收益。
大項(xiàng)目紛紛交付，標(biāo)志著云天勵(lì)飛異構(gòu)算力業(yè)務(wù)步入正軌，成為一條新的增長(zhǎng)曲線(xiàn)。
可以看到，相比國(guó)內(nèi)其他AI領(lǐng)域同行，云天勵(lì)飛是在該領(lǐng)域跑得較快的AI企業(yè)。究其原因，首先還是因?yàn)楣据^快地看到并抓住了這波AI機(jī)遇。
但提早布局AI算力的企業(yè)不在少數(shù)，為什么云天勵(lì)飛能夠突圍？
二、為什么是云天勵(lì)飛？左手算法，右手芯片
AI算力混戰(zhàn)局面持續(xù)已一年多。
自去年以來(lái)，盡管云巨頭相繼推出令人眼饞的大模型訓(xùn)推“全家桶”，但實(shí)際可用的算力仍是稀缺資源，服務(wù)器廠(chǎng)商、AI企業(yè)都在布局智算，甚至跨界玩家都入局了，競(jìng)爭(zhēng)好不激烈。
之所以能夠在群雄混戰(zhàn)的AI算力市場(chǎng)站住腳，陳騰宇認(rèn)為，云天勵(lì)飛的核心競(jìng)爭(zhēng)力還在于技術(shù)儲(chǔ)備，主要體現(xiàn)在算法和芯片兩大方面。
1、自研大模型經(jīng)驗(yàn)沉淀工具，助客戶(hù)提升算力利用效率
在算法層面，云天勵(lì)飛于2023年推出了自研千億級(jí)“云天天書(shū)”大模型，并在大模型的研發(fā)過(guò)程中積累了一系列算力調(diào)優(yōu)、提升模型訓(xùn)練效率的技術(shù)平臺(tái)和相應(yīng)工具。
這些經(jīng)驗(yàn)及工具都被云天勵(lì)飛沉淀到產(chǎn)品和服務(wù)中，可幫助客戶(hù)提升模型訓(xùn)練及算力利用效率，以更低成本訓(xùn)練大模型。
具體到集群管理方面，云天勵(lì)飛智能訓(xùn)練平臺(tái)及算力調(diào)度平臺(tái)，能夠按任務(wù)調(diào)度到卡，并進(jìn)行任務(wù)管理、任務(wù)編排、訓(xùn)練告警、大模型斷點(diǎn)續(xù)訓(xùn)。
此外，其數(shù)據(jù)管理（DataHub）支持?jǐn)?shù)據(jù)可視化、挖掘、治理等多維管理，在保證數(shù)據(jù)安全性的基礎(chǔ)上實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)化；此外在集群管理中的通信優(yōu)化、日志集群、監(jiān)控告警等方面也積累了多個(gè)工具鏈。
具體到軟件平臺(tái)方面，云天勵(lì)飛推出了智能算法標(biāo)注平臺(tái)，為算法訓(xùn)練提供了可靠的底層數(shù)據(jù)支持，可支持圖像和文本自動(dòng)化標(biāo)注，據(jù)稱(chēng)相比人工標(biāo)注效率提高40%左右。
除此之外，支持大模型負(fù)載均衡的部署平臺(tái)，支持在多個(gè)主流硬件平臺(tái)進(jìn)行零代碼、自動(dòng)化的模型發(fā)布的模型發(fā)布平臺(tái)，提供完整工具和資源的模型評(píng)測(cè)平臺(tái)，全面覆蓋內(nèi)容審核過(guò)濾的智能內(nèi)容審核平臺(tái)等，都可以大大提高算法訓(xùn)練效率。
2、算法芯片化，自研大模型芯片提供高效推理服務(wù)
在芯片層面，云天勵(lì)飛基于對(duì)AI算法技術(shù)特點(diǎn)及行業(yè)場(chǎng)景計(jì)算需求的理解，通過(guò)自定義指令集、處理器架構(gòu)及工具鏈的協(xié)同設(shè)計(jì)，實(shí)現(xiàn)算法技術(shù)芯片化，構(gòu)建了神經(jīng)網(wǎng)絡(luò)處理器平臺(tái)，可以支持其算力產(chǎn)品及服務(wù)。
同時(shí)，云天勵(lì)飛已具備自研的推理卡，依托創(chuàng)新的D2D chiplet架構(gòu)，可承載大模型應(yīng)用落地的大規(guī)模推理計(jì)算。據(jù)悉，從2022年開(kāi)始其就開(kāi)始針對(duì)大模型的Transformer架構(gòu)做優(yōu)化，實(shí)現(xiàn)流片，可見(jiàn)其對(duì)市場(chǎng)感知的前瞻性。
盡管在軟件生態(tài)上還存在差距，但與海外高性能算力相比較，一些國(guó)產(chǎn)推理芯片已經(jīng)在某些專(zhuān)項(xiàng)上占據(jù)優(yōu)勢(shì)。比如說(shuō)云天勵(lì)飛X6000一體機(jī)，采用Mesh互聯(lián)技術(shù)，在多卡互聯(lián)時(shí)可實(shí)現(xiàn)存儲(chǔ)共享、最大化發(fā)揮帶寬優(yōu)勢(shì)，從而提升大模型推理效率，針對(duì)70B模型的推理效率已達(dá)60 Tokens/s，而針對(duì)MoE架構(gòu)模型，如mistral08*7B，推理效率達(dá)到260 Tokens/s。
具體到大模型推理的實(shí)務(wù)中，很多客戶(hù)更多關(guān)注的是帶寬能不能充分利用起來(lái)這個(gè)問(wèn)題。云天勵(lì)飛在卡間互聯(lián)、堆疊式設(shè)計(jì)等多方面的研發(fā)儲(chǔ)備，使其能夠滿(mǎn)足客戶(hù)的這一核心需求。
可以看到，之所以能夠拿下近20億元大單，還因?yàn)樵铺靹?lì)飛建立了雙重護(hù)城河：左手算法，右手芯片，使其在群雄混戰(zhàn)的AI算力市場(chǎng)殺出一條血路。
三、技術(shù)立身，做最懂大模型的算力產(chǎn)品及服務(wù)
縱觀(guān)算力產(chǎn)業(yè)，動(dòng)輒一個(gè)項(xiàng)目的金額達(dá)數(shù)億甚至數(shù)十億元，周期長(zhǎng)、工程量大、后續(xù)運(yùn)營(yíng)服務(wù)需求高。
針對(duì)這樣的業(yè)務(wù)特征，陳騰宇告訴智東西，對(duì)于大客戶(hù)來(lái)說(shuō)，他們?cè)谶x擇算力服務(wù)提供商時(shí)，首先還是要考慮這家公司是否靠譜。主要考察的方面除了技術(shù)儲(chǔ)備，還包括行業(yè)經(jīng)驗(yàn)、供應(yīng)鏈和交付能力、運(yùn)營(yíng)穩(wěn)定性及資金實(shí)力等一系列綜合能力。
而隨著百模大戰(zhàn)繼續(xù)推進(jìn)，集群運(yùn)營(yíng)面臨的最大挑戰(zhàn)還在于整體的運(yùn)營(yíng)能力，以及隨著市場(chǎng)趨勢(shì)變化，通過(guò)軟硬件協(xié)同迭代，不斷滿(mǎn)足客戶(hù)的新需求。
談及云天勵(lì)飛在這些“軟實(shí)力”方面的儲(chǔ)備，陳騰宇談道，云天勵(lì)飛已經(jīng)搭建能力板塊較為齊全的業(yè)務(wù)團(tuán)隊(duì)，包含技術(shù)研發(fā)、運(yùn)營(yíng)及銷(xiāo)售、技術(shù)運(yùn)維及交付等人員，保障業(yè)務(wù)順利開(kāi)展、進(jìn)行。
同時(shí)，該業(yè)務(wù)板塊已有規(guī)�；涞�。根據(jù)云天勵(lì)飛官方公告，其已落地西南、華南區(qū)域三個(gè)高性能算力集群，運(yùn)營(yíng)算力規(guī)模接近5000P。在拿下兩個(gè)巨額大單前，截至2024年5月末，公司已搭建異構(gòu)計(jì)算集群算力超800P。
此外，云天勵(lì)飛還積累了多個(gè)行業(yè)的客戶(hù)資源。通過(guò)前期業(yè)務(wù)拓展觸達(dá)、上下游生態(tài)搭建等方式，云天勵(lì)飛積累較多具備大模型訓(xùn)練及推理需求客戶(hù)，包括AI初創(chuàng)公司、科研院所、互聯(lián)網(wǎng)企業(yè)、自動(dòng)駕駛企業(yè)、運(yùn)營(yíng)商等客戶(hù)資源。
可以看到，正是這樣的團(tuán)隊(duì)儲(chǔ)備、落地案例及客戶(hù)資源積累，配合“算法芯片化”戰(zhàn)略及技術(shù)儲(chǔ)備，讓云天勵(lì)飛的異構(gòu)算力業(yè)務(wù)穩(wěn)步發(fā)展起來(lái)。
對(duì)于A(yíng)I行業(yè)來(lái)說(shuō)，云天勵(lì)飛開(kāi)辟了一條AI企業(yè)在大模型時(shí)代的新出路不止于算法攻關(guān)，而是將算法與算力經(jīng)驗(yàn)結(jié)合布局算力產(chǎn)品和服務(wù)，這對(duì)AI同行有一定的啟迪作用。
結(jié)語(yǔ)：順勢(shì)而為，構(gòu)筑AI企業(yè)新價(jià)值
回顧過(guò)去一年多，AI算力在“百模大戰(zhàn)”狂潮之中成為競(jìng)爭(zhēng)焦點(diǎn)；站在現(xiàn)在看未來(lái)，行業(yè)已經(jīng)歷過(guò)一波大浪淘沙，突出重圍的玩家如云天勵(lì)飛，正真槍實(shí)劍披掛上陣，構(gòu)筑AI企業(yè)的新價(jià)值壁壘。
智算中心正從“建起來(lái)”走向“用起來(lái)”，也對(duì)云天勵(lì)飛們提出了新挑戰(zhàn)�！拔覀兊哪芰�(gòu)建和商業(yè)化已經(jīng)做得比較好了，下一步我們會(huì)繼續(xù)做深，綁定多個(gè)行業(yè)龍頭，盡可能地挖掘客戶(hù)需求，同時(shí)借用他們的行業(yè)經(jīng)驗(yàn)去迭代自己的推理算力。”陳騰宇說(shuō)。
查看原圖 533K
