英偉達(dá)2024年GTC人工智能大會(huì)看點(diǎn)，黃仁勛發(fā)布最炸裂的B200 GPU，講述人工智能奇跡

2024年GTC人工智能大會(huì)，和過去一樣，黃仁勛，這位穿黑色皮夾克的男人用兩個(gè)小時(shí)講述了人工智能的奇跡，發(fā)布最炸裂的B200 GPU，以及讓人工智能唱歌跳舞的下一代硬件和軟件技術(shù)。

JAEALOT

2024年3月19日

2024年GTC人工智能大會(huì)，黃仁勛向一群崇拜的技術(shù)人員和投資者發(fā)表了現(xiàn)場(chǎng)主題演講。和過去一樣，這位穿黑色皮夾克的男人用兩個(gè)小時(shí)講述了人工智能的奇跡，以及讓人工智能唱歌跳舞的下一代硬件和軟件技術(shù)。

老黃的主題演講從公司過去二十年左右的歷程開始。不得不說，英偉達(dá)二十年左右發(fā)展成今天人工智能的領(lǐng)頭羊，是非常了不起的。

接著便是本次大會(huì)的重磅產(chǎn)品，Blackwell B200 GPU，號(hào)稱是如今世界上最強(qiáng)大的AI芯片。

在這里，我們可以看到一個(gè) Arm CPU，兩側(cè)是 DRAM 封裝，以及兩個(gè)相連的下一代 GPU。在此圖中，每個(gè) Blackwell GPU 似乎都有八個(gè) HBM 包和兩個(gè)計(jì)算芯片。

這是Blackwell GPU芯片和Hopper H100芯片的尺寸比較。

這是兩款芯片的特寫照，濃縮就是精華~不斷超越摩爾定律，開始自己的老黃定律。

NVIDIA 為現(xiàn)有 DGX/HGX 系統(tǒng)提供 Blackwell GPU 設(shè)計(jì)，DGX B100 和 HGX B100 適用于 x86 服務(wù)器。它的設(shè)計(jì)功率約為 700W，因此可以在現(xiàn)有系統(tǒng)中工作。

NVIDIA Blackwell HGX B100

這是 NVIDIA Grace Blackwell，配有兩Blackwell GPU 和一個(gè) Grace CPU，每個(gè) CPU 都有內(nèi)存。板卡頂部有 NVLink，板卡底部有 PCIe。

NVIDIA Grace Blackwell GB200 生產(chǎn)板

這就是未來的 Arm 和 NVIDIA。下面是開發(fā)板，上面是生產(chǎn)板。

NVIDIA Grace Blackwell 開發(fā)板

以下是配備 192GB HBM3e 的 Blackwell GPU 的規(guī)格，聽起來像是 8x 8-hi HBM 堆棧。

還有一些新功能，例如可以處理 FP4 和 FP6 的新變壓器引擎。第五代 NVLink、RAS、安全 AI 和解壓縮引擎。

FP4 和 FP6 比 Hopper 增加了大量性能。

NVIDIA 還發(fā)布了 ConnectX-8 / ConnectX-800G Infiniband。800GBps 網(wǎng)絡(luò)已經(jīng)到來，所以這必須是 PCIe Gen6。

NVIDIA ConnectX 8

有趣的是，NVIDIA 仍在使用 BlueField-3 DPU，而不是新一代。考慮到其他所有內(nèi)容都進(jìn)行了修訂，這感覺很奇怪。

這是 800Gbps NVIDIA Quantum Infiniband 交換機(jī)。

800Gbps NVIDIA 量子交換機(jī)

這是新的 NVLink 開關(guān)芯片。這是一件大事，因?yàn)闃I(yè)內(nèi)其他公司沒有這樣的擴(kuò)展解決方案。

NVLink開關(guān)芯片

這是新的 NVIDIA DGX GB200 NVL72。通過 NVLink 連接 72 個(gè) Blackwell GPU。

NVIDIA GB200 72 Blackwell GPU 通過 NVLink 完全連接

這是一款液冷且支持 NVLink 的 DGX。這比當(dāng)前的 DGX 系統(tǒng)大得多。這大約是120kW。

NVIDIA DGX GB200 NVL72

這是使用銅的 NVLink 主干，可節(jié)省約 20kW 的功率。

NVIDIA DGX GB200 NVL72 NVLink Spine 不帶光學(xué)器件

NVIDIA GB200 機(jī)箱中還有帶有兩個(gè) GB200 復(fù)合體的交換機(jī)。

NVIDIA GB200 內(nèi)部 NVLink 開關(guān)

以下是 NVIDIA Blackwell 計(jì)算節(jié)點(diǎn)的概述。

NVIDIA Blackwell 計(jì)算節(jié)點(diǎn)

以下是 GPU 對(duì) Pascal 性能的影響。為了實(shí)現(xiàn)這一目標(biāo)，NVIDIA 做了很多事情，例如添加張量核心、改變精度等，此外還縮小了工藝并在芯片上塞進(jìn)了更多晶體管。

NVIDIA Pascal 到 Blackwell 的 AI 計(jì)算擴(kuò)展

NVIDIA 表示，由于采用了新的 NVSwitch 和新的 FP4 變壓器引擎，Blackwell 的性能大約是 Hopper 的 30 倍。紫色線是如果 NVIDIA 建造一個(gè)更大的帶有更多晶體管的 Hopper 時(shí)會(huì)發(fā)生的情況。

NVIDIA Blackwell To Hopper 推理性能

如果您是另一家生產(chǎn)與 NVIDIA 規(guī)模相當(dāng)?shù)娜斯ぶ悄芗铀倨鞯墓荆@應(yīng)該會(huì)讓您感到緊張。AWS、Google、Microsoft 和 OEM/ODM 都是 Blackwell 的客戶。

NVIDIA 剛剛展示了 Apple Vision Pro 在 Omniverse 中的工作情況。這將為蘋果打開一個(gè)巨大的市場(chǎng)。

Apple Vision Pro 和 NVIDIA Omniverse

NVIDIA 正在將預(yù)先訓(xùn)練的模型與依賴項(xiàng)打包在一起，并使其能夠輕松部署被稱為 NVIDIA 推理微服務(wù)或 NIMS 的微服務(wù)。這不僅僅是 CUDA。這使得模型易于實(shí)施。

NVIDIA 推理微服務(wù) NIMS

NVIDIA 將幫助公司和應(yīng)用程序微調(diào)模型或定制模型。

NVIDIA NeMo 微服務(wù)

借助 NVIDIA DGX Cloud，NVIDIA 希望成為 AI 代工廠，或者像臺(tái)積電一樣成為 AI 代工廠。

NVIDIA Drive Thor 將被比亞迪等公司采用。

NVIDIA 驅(qū)動(dòng)雷神

NVIDIA Jetson Thor 用于更新 NVIDIA Jetson Orin 的機(jī)器人。NVIDIA 的一大賭注是下一代能夠控制人形機(jī)器人。NVIDIA 也正在為此構(gòu)建一個(gè)軟件堆棧。

適用于人形機(jī)器人的 NVIDIA Jeton Thor

世界是為人類而生，因此英偉達(dá)試用 NVIDIA Thor 和 NVIDIA Project GR00T 軟件來訓(xùn)練和管理新型人形機(jī)器人。

英偉達(dá)GR00T

老黃帶著由該公司提供支持的人形機(jī)器人登上舞臺(tái)，其中包括來自迪士尼的小型機(jī)器人，它們?cè)?NVIDIA Isaac SIM 中學(xué)習(xí)行走。

NVIDIA GR00T 和機(jī)器人

NVIDIA 正試圖通過機(jī)器人技術(shù)架起數(shù)字世界與物理世界的橋梁。從公司的數(shù)據(jù)中心產(chǎn)品一路走到邊緣。這就是本次 GTC 2024的愿景。