導(dǎo)讀：IT之家 3 月 19 日消息，英偉達(dá)今日正式發(fā)布Dynamo，號稱是“AI 工廠的操作系統(tǒng)”。Dynamo 是一個(gè)“分布式推理服務(wù)庫”。本質(zhì)上，它是一個(gè)針對用戶需求 token 而無法生產(chǎn)足夠 token 之間問題的開源解決方案。黃仁勛展示了一張關(guān)于推理的圖表，X 軸顯示用戶每秒的 Token 數(shù)，Y 軸顯示工廠每秒的 Token 數(shù)。在Dynamo、Grace Blackwell NVLink72 超級芯片的加持下，Blackwell 相比 ......
IT之家 3 月 19 日消息，英偉達(dá)今日正式發(fā)布Dynamo，號稱是“AI 工廠的操作系統(tǒng)”。
Dynamo 是一個(gè)“分布式推理服務(wù)庫”。本質(zhì)上，它是一個(gè)針對用戶需求 token 而無法生產(chǎn)足夠 token 之間問題的開源解決方案。
黃仁勛展示了一張關(guān)于推理的圖表，X 軸顯示用戶每秒的 Token 數(shù)，Y 軸顯示工廠每秒的 Token 數(shù)。
在Dynamo、Grace Blackwell NVLink72 超級芯片的加持下，Blackwell 相比 Hopper可實(shí)現(xiàn) 25 倍的性能提升。
而在推理模型中，Blackwell 的性能是 Hopper 的 40 倍。
IT之家注意到，黃仁勛還打趣道，有了上述最新技術(shù)加持，搭建 AI 工廠的廠商“買得越多、省得越多”，總而言之就是掏錢吧。
