IT之家 7 月 24 日消息，英偉達(dá)公司昨日（7 月 23 日）發(fā)布新聞稿，正式推出“NVIDIA AI Foundry”代工服務(wù)和“NVIDIA NIM”推理微服務(wù)。
“NVIDIA AI Foundry”代工服務(wù)
英偉達(dá)表示客戶可以使用 Meta 的 Llama 3.1 AI 模型，以及英偉達(dá)的軟件、計(jì)算和專業(yè)知識，為特定領(lǐng)域定制構(gòu)建“超級模型”。
客戶可以利用專有數(shù)據(jù)、由 Llama 3.1 405B 和英偉達(dá) Nemotron Reward 模型生成的合成數(shù)據(jù)來訓(xùn)練這些“超級模型”。
NVIDIA AI Foundry 由 NVIDIA DGX Cloud AI 平臺提供支持，該平臺與世界領(lǐng)先的公共云共同設(shè)計(jì)，為企業(yè)提供大量計(jì)算資源，并可根據(jù) AI 需求的變化輕松擴(kuò)展。
NVIDIA AI Foundry 包括 Nemotron 和 Edify 等英偉達(dá)創(chuàng)建的 AI 模型、流行的開放式基礎(chǔ)模型、用于定制模型的 NVIDIA NeMo 軟件，以及 NVIDIA DGX Cloud 上的專用容量（由 NVIDIA AI 專家構(gòu)建并提供支持）。
輸出結(jié)果由 NVIDIA NIM（一個(gè)推理微服務(wù)，其中包括定制模型、優(yōu)化引擎和標(biāo)準(zhǔn) API）負(fù)責(zé)，可以部署到任何地方。
NVIDIA NIM 推理微服務(wù)
IT之家注：NVIDIA NIM 是一套加速推理微服務(wù)，允許企業(yè)在云計(jì)算、數(shù)據(jù)中心、工作站和 PC 等任何地方的 NVIDIA GPU 上運(yùn)行 AI 模型。
通過使用行業(yè)標(biāo)準(zhǔn)的 API，開發(fā)人員只需幾行代碼就能利用 NIM 部署人工智能模型。NIM 容器無縫集成 Kubernetes（K8s）生態(tài)系統(tǒng)，可以高效地協(xié)調(diào)和管理容器化人工智能應(yīng)用。
參考
