IT之家 11 月 14 日消息,科技媒體 WccfTech 昨日(11 月 13 日)發(fā)布博文,報道稱英偉達首次公布了 Blackwell GPU 在 MLPerf v4.1 AI 訓練工作負載中的成績,在訓練 Llama 2 70B (Fine-Tuning)模型時比Hopper快2.2 倍。
測試簡介英偉達于今年 8 月,首次公布了 Blackwell GPU 在 MLPerf v4.1 AI 推理方面的基準測試成績,而今天首次公布了該 GPU 在 MLPerf v4.1 AI 訓練工作負載方面的測試成績。
NVIDIA 表示,隨著新模型的推出,AI 領域對計算的需求正在以指數(shù)級增長,因此需要大幅提升訓練和推理 AI 的能力,IT之家附上本次訓練工作負載主要使用的模型如下:
Llama 2 70B(LLM 微調)
Stable Diffusion(文本到圖像)
DLRMv2(推薦系統(tǒng))
BERT(自然語言處理)
RetinaNet(目標檢測)
GPT-3 175B(LLM 預訓練)
R-GAT(圖神經網(wǎng)絡)
這些工作負載的基準測試為評估 AI 加速器的訓練性能提供了準確的數(shù)據(jù)支持。
Hopper GPU 的持續(xù)優(yōu)化Hopper GPU 自發(fā)布以來,經過持續(xù)的軟件優(yōu)化,性能得到了顯著提升。H100 GPU 在 LLM 預訓練性能上比首次提交時快了 1.3 倍,并且在 GPT-3(175B 訓練)中實現(xiàn)了 70% 的性能提升。
英偉達利用 11616 個 H100 GPU 進行了 MLPerf 的最大規(guī)模提交,進一步證明了其在數(shù)據(jù)中心級別的強大能力。
Blackwell 的技術優(yōu)勢Blackwell GPU 的設計旨在提高每個 GPU 的計算吞吐量,配備更大更快的高帶寬內存,不降低性能的前提下,能夠在更少的 GPU 上運行 GPT-3 175B 基準測試。
根據(jù)測試結果,64 張 Blackwell GPU 的測試性能,可以達到 256 張 Hopper GPU 的水平。