英偉達發(fā)布超強AI加速卡，性能大幅提升，可支持1.8萬億參數模的訓練

3月19日消息，NVIDIA宣布成功研發(fā)AI加速卡——Blackwell GB200，預計年內開始交付。這是NVIDIA在GTC開發(fā)者大會上所公布的最新成果。

GB200創(chuàng)新性的運用了NVIDIA獨創(chuàng)的新一代AI圖形處理器架構Blackwell。NVIDIA CEO黃仁勛明確指出：“盡管Hopper已然優(yōu)秀，但我們需要更強的GPU推動發(fā)展?！?/p>

得益于NVIDIA每兩年進行一次GPU架構升級以提高性能的策略，全新的基于Blackwell的加速卡比之前的H100更為強大，尤其適用于AI相關任務。

Blackwell GPU卓越表現(xiàn)使得AI性能達到驚人的20PetaFLOPS。相比之下，基于Hoper架構的H100僅為4PetaFLOPS。NVIDIA強調，這種額外的處理能力將極大地便利人工智能廠商順利培訓復雜且大規(guī)模的模型。

Blackwell GPU大大刷新了人們的認知，其龐大身形由臺積電4納米（4NP）工藝制成，包含兩個獨立制造的裸晶（Die），共有2080億個晶體管。為了方便捆綁芯片，它采用NVLink 5.0技術。兩枚Blackwell芯片在同一封裝中，相較以往的GPU而言，整體性能顯著提升達2.5倍，若處理FP4八精度浮點運算，則性能甚至可飆升至5倍之多。校園秘

關于GB200，NVIDIA宣稱，其合成物包括兩個B200 Blackwell GPU以及一個基于Arm的Grace CPU。很多人驚訝地發(fā)現(xiàn) NvTech的首批量產計算機將其性能獲得了提升超過30倍，同時降低成本和能耗。根據NVIDIA的數據分析，他們現(xiàn)有的硬件只用2000個Blackwell GPU就夠再去完成諸如1.8萬億個參數模型這樣的運算任務，且只消耗4兆瓦的電力。在參數為1，750億的GPT-3 LLM基準測試中，Nvidia的GB200的性能甚至超越了H100 7倍。規(guī)律紀律意識

對于致力于擁有龐大需求企業(yè)的成品服務，NVIDA推出了包含36個CPU及72個Blackwell GPU的NVL72服務器，并附贈一體式水冷散熱解決方案，產能可實現(xiàn)高達720 PetaFLOPS的AI訓練性能，或者達到驚人的1，440 PetaFlops。另外，還有144個壁搏立帆、576個GPU以及240TB的內存。單據一份官方報道顯示，早先以至于要運行一帶有1.8萬億個參數模型的堆棧，原先需要8000個 Hopper GPU，外加15兆瓦的電力。

英偉達透露，同類機型已被亞馬遜、谷歌、微軟和甲骨文計劃納入他們的云服務產品之中，由于對具體采購量的保密，外界暫無確切消息。但據Nvidia表示，已經接到了Amazon AWS對于采用2萬片 Blackwell芯片建成的服務器集群的購買計劃。通過Node-to-Node NVLink 5.0，每個機架將被18塊GB200芯片和9塊交換機裝滿。而不同于此，英偉達的 Skeeter InfiniBand可連接多達144個節(jié)點，Quantum-X800 InfiniBand則最高可支持64個節(jié)點。