電子發(fā)燒友網(wǎng)報道(文/周凱揚(yáng))作為AI時代不容置疑的無冕之王,英偉達(dá)每年舉辦的GTC大會不僅是針對英偉達(dá)軟硬件生態(tài)開發(fā)者的一場盛會,也是英偉達(dá)展示肌肉的舞臺。在近日舉辦的GTC大會上,英偉達(dá)CEO黃仁勛在發(fā)布新品的同時,也宣告了一個新的計算時代的到來。
黃仁勛表示,我們需要更大的模型,然后用更多的多模數(shù)據(jù)去訓(xùn)練它,而不再局限于互聯(lián)網(wǎng)上的文本數(shù)據(jù),還有圖片、圖表。正如我們通過電視來獲取支持知識一樣,這些大模型也將快速接入視頻數(shù)據(jù),比如最近爆火的Sora等。
192GB HBM3e內(nèi)存,Blackwell架構(gòu)的前鋒
為了應(yīng)對更大的模型,自然也就需要更大的GPU,這才有了英偉達(dá)此次發(fā)布的Blackwell GPU平臺。Blackwell架構(gòu)以數(shù)學(xué)家David Harold Blackwell命名,作為兩年前發(fā)布的Hopper架構(gòu)繼任者,Blackwell可以說實現(xiàn)了設(shè)計到性能上的全方位升級,而首個享受這些升級的,就是B200 GPU。
全新的B200 GPU基于臺積電4NP工藝,采用了兩個GPU die集成在同一芯片上的設(shè)計,并配備了192GGB的HBM3e超大內(nèi)存。也正因如此,B200單芯片的晶體管數(shù)量達(dá)到了驚人的2080億個,TDP也高達(dá)1000W。但這樣瘋狂的堆料帶來的自然是性能的翻倍提升,在FP8精度的訓(xùn)練性能上,B200 GPU的算力是上一代的2.5倍。
?
兩代GPU架構(gòu)支持精度 / 英偉達(dá)
有趣的一點在于,在英偉達(dá)第二代Transformer引擎的支持下,此次B200加入了對FP4精度的支持,從而支持到規(guī)模更大,性能要求更高的模型。在FP4精度下的推理性能,B200的算力更是達(dá)到了上一代的5倍。如果以1750億參數(shù)的GPT-3大模型作為實例進(jìn)行測試的話,B200 GPU的總體性能是H100的7倍,訓(xùn)練速度則是H100的4倍。
為了更好地提升B200的擴(kuò)展性,英偉達(dá)基于最新的第五代NVLink技術(shù),開發(fā)了一塊全新的NVLink Switch芯片,雙向帶寬高達(dá)1800GB/s,是上一代的兩倍。與此同時,NVLink支持的最大擴(kuò)展規(guī)模也得到了提升,如今最多支持576塊B200 GPU互聯(lián)互通。
?
GB200超級芯片 / 英偉達(dá)
除了新架構(gòu)的GPU外,英偉達(dá)基于NVLink C2C互聯(lián)技術(shù),也為超級芯片GH200打造了下一代繼任者GB200。GB200超級芯片由一個Grace CPU與兩塊B200 GPU組成,并以超低功耗卻能實現(xiàn)900GB/s超大帶寬的互聯(lián)。不過此次英偉達(dá)并沒有對CPU的架構(gòu)進(jìn)行升級,仍然采用的是72核Arm Neoverse N2的設(shè)計,所以此次GH200的主要性能提升還是在GPU上,英偉達(dá)GB200在LLM推理性能上有了30倍的提升,但能效比也提升了25倍。
?
GB200 NVL72與GB200配置與性能 / 英偉達(dá)
針對萬億參數(shù)級別的超級大模型,英偉達(dá)基于GB200和NVLink技術(shù)推出了集成36/72個GPU的GB200 NVL36/72方案。基于GB200 NVL72打造的MGX系統(tǒng)更是可以實現(xiàn)30TB的統(tǒng)一內(nèi)存,130TB/s的總帶寬,甚至是單機(jī)柜exaFLOP級(FP4精度)的AI算力。英偉達(dá)表示,即便面對1.8萬億參數(shù)的GPT-MoE-1.8T超大模型,也可以實現(xiàn)比同數(shù)量H100 GPU高出4倍的訓(xùn)練性能,以及實時的AI推理。
B200發(fā)布后,哪些產(chǎn)業(yè)同步受益
過去英偉達(dá)先進(jìn)AI GPU的熱度,已經(jīng)帶動了一批上下游產(chǎn)業(yè)的發(fā)展,而隨著B200的發(fā)布,相關(guān)市場或再度迎來一輪爆發(fā)。從制造上游來看,無疑晶圓代工廠受益最大,無論是提供邏輯代工、先進(jìn)封裝方案的臺積電,還是為新GPU提供大容量HBM內(nèi)存的三大存儲廠商(SK海力士、三星和美光)。
四年之前,英偉達(dá)在GA100采取了將芯片分成兩半,通過高速互聯(lián)技術(shù)來完成通信的設(shè)計,然而這一大膽的設(shè)計卻很少被人注意。而如今在CUDA、GPU團(tuán)隊,以及臺積電的先進(jìn)邏輯與封裝工藝下,B200終于采用了Chiplet的設(shè)計,將兩個GPU die集成在單個封裝內(nèi),并做到了逼近臺積電4NP工藝節(jié)點的極限die面積,以及高達(dá)10TB/s的C2C互聯(lián)速度。
再考慮到未來即將出貨的H200和B100 GPU,這一系列芯片將進(jìn)一步推動臺積電4nm工藝走向滿載的產(chǎn)能利用率,而這還是在過去只被視為淡季的Q1。更不用說這一系列芯片帶來的CoWoS產(chǎn)能壓力,據(jù)報道,臺積電已經(jīng)計劃投資160億美元在臺灣建設(shè)6座新的CoWoS封裝設(shè)施,甚至有爆料稱臺積電開始考慮出海擴(kuò)張CoWoS封裝產(chǎn)能,第一站很可能會在日本,足以看出GPU的訂單數(shù)量之夸張。
這也進(jìn)一步推動了存儲廠商在HBM上的營收占比,三大參與廠商在HBM產(chǎn)能供應(yīng)上的競爭已經(jīng)進(jìn)入了白熱化階段。本次GTC線下活動中,SK海力士、三星和美光均展示了自己的HBM3e解決方案。據(jù)TrendForce預(yù)估,2024年全年HBM產(chǎn)能將同比提升260%,于整個DRAM行業(yè)產(chǎn)值占比從去年的8.4%擴(kuò)大至20.1%。不過,對于存儲廠商而言,今年的訂單基本已經(jīng)排滿了,依照英偉達(dá)和AMD的發(fā)布計劃來看,即便在瘋狂擴(kuò)產(chǎn)下,2025年的產(chǎn)能恐怕也抵不住即將瘋狂襲來的訂單。
另一個即將從數(shù)據(jù)中心進(jìn)一步攫取更多市場機(jī)會的產(chǎn)業(yè)為液冷,而且服務(wù)器廠商們早已準(zhǔn)備好了對應(yīng)的解決方案。目前隨著服務(wù)器AI算力的不斷增強(qiáng),液冷解決方案的普及率在整個服務(wù)器市場依然算不上高,甚至不到5%。
B200、GB200以及GB200 NVL72盡管一再強(qiáng)調(diào)提高了能效比,但對于單個系統(tǒng)的散熱要求依然提高了。畢竟單個GB200 NVL72機(jī)柜的計算單元規(guī)模就比過去的DGX系統(tǒng)高出不少,液冷是英偉達(dá)目前給出的唯一設(shè)計,畢竟單個GB200超級芯片的最高TDP可達(dá)2700W。
為此服務(wù)器OEM幾乎同時宣布了對應(yīng)的液冷服務(wù)器配置方案,比如戴爾推出了首個采用液冷配置的PowerEdge XE9680服務(wù)器,Supermicro也發(fā)布了液冷ORV3 MGX系統(tǒng)。鴻海集團(tuán)也發(fā)布了針對GB200 NVL72的先進(jìn)液冷解決方案,具備高達(dá)1300kW的強(qiáng)大散熱能力。
最后自然就是服務(wù)器上的高速通信了,與B200同步公布的還有Quantum-X800 InfiniBand和Spectrum?-X800 Ethernet這兩大高速網(wǎng)絡(luò)解決方案。在與英偉達(dá)LinkX線纜和光模塊的組合下,可以做到最高2公里內(nèi)的800GB/s網(wǎng)絡(luò)傳輸速度。盡管這是英偉達(dá)收購Mellanox后發(fā)布的專用方案,但無疑加快了800G網(wǎng)絡(luò)普及的進(jìn)程。
計算光刻,反哺芯片制造
去年,英偉達(dá)推出了cuLitho這一軟件庫,借助GPU的強(qiáng)大算力有望將光罩的開發(fā)速度提升40倍。在今天的GTC大會上,英偉達(dá)也宣布和臺積電、新思達(dá)成合作,正式將其計算光刻技術(shù)投入生態(tài)當(dāng)中去,并充分利用英偉達(dá)此次發(fā)布的Blackwell GPU。
計算光刻主要用于芯片的開發(fā)和制造環(huán)節(jié),通過建立大量的數(shù)學(xué)和物理模型來幫助客戶設(shè)計光罩。相比傳統(tǒng)基于CPU的計算光刻技術(shù),基于GPU加速和生成式AI算法的計算光刻技術(shù)要高效得多,英偉達(dá)聲稱集成了350個H100的系統(tǒng)就可以替代掉一個由40000個CPU組成的計算光刻系統(tǒng),加速生產(chǎn)時間的同時,降低了成本、部署空間和功耗。
寫在最后
盡管每次在英偉達(dá)展示其新品后,這些產(chǎn)品都會成為其他AI硬件公司拿來作為各種性能對比的參考,比如這次Groq就在GTC會后很快正面回應(yīng)了英偉達(dá),并發(fā)布了“Groq仍然更快”的聲明。然而,明眼人都能看出來,在當(dāng)今的市場環(huán)境下,英偉達(dá)在AI行業(yè)的地位依舊不可撼動。
其中不僅有架構(gòu)創(chuàng)新、CUDA的功勞,也少不了英偉達(dá)在半導(dǎo)體上下游多年來的經(jīng)營。臺積電優(yōu)先給英偉達(dá)CoWoS封裝產(chǎn)能,AI服務(wù)器廠商們在發(fā)布會后一呼百應(yīng),都佐證了英偉達(dá)已經(jīng)為這個新計算時代打造好了一條完整且已經(jīng)得到證實的AI生態(tài)。
-
gpu
+關(guān)注
關(guān)注
27文章
4650瀏覽量
128490 -
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3691瀏覽量
90543
發(fā)布評論請先 登錄
相關(guān)推薦
評論