英特爾Gaudi 3 AI芯片：5nm工藝設(shè)計(jì)，訓(xùn)練推理皆強(qiáng)

4 月 9 日，英特爾在 Vision 2024 大會(huì)上公布最新一代 Gaudi 3 AI 芯片并宣布將于同年第三季度批量上市。相較于英偉達(dá) H100，Gaudi 3 訓(xùn)練性能提升 170%，推理能力增幅 50%，效率提升 40%，而成本顯著降低。

此外，英特爾在發(fā)布會(huì)上還宣布更改旗下數(shù)據(jù)中心CPU產(chǎn)品名稱：原“Granite Rapids”和“Sierra Forest”將更名為“Xeon 6”系列。新品預(yù)計(jì)今年發(fā)售，并支持性能提升后的標(biāo)準(zhǔn)化 MXFP4 數(shù)據(jù)格式。

除此之外，英特爾正研發(fā)適用于以太網(wǎng)的 AI NIC ASIC 及 AI NIC 小芯片。這兩款產(chǎn)品尤其適合于其未來的 XPU 和 Gaudi 3 處理器，有望通過英特爾代工廠對(duì)外銷售。有關(guān)網(wǎng)絡(luò)產(chǎn)品的詳細(xì)信息尚未公開。

據(jù)悉，Gaudi 3 采用 5nm 制程，F(xiàn)P8性能較前代翻番，BF16性能增大至四倍，網(wǎng)絡(luò)帶寬增加一倍，內(nèi)存帶寬擴(kuò)大約 1.5 倍，能夠提供Mezz卡、板載以及PCIe三種形式。

Gaudi 3擁有64個(gè)第五代張量處理核心和8個(gè)矩陣計(jì)算引擎，并配備128GBHBM內(nèi)存和96MBSRAM。設(shè)計(jì)有24條200GBERoCE標(biāo)準(zhǔn)以太網(wǎng)總線和最多16條PCIe5.0總線。

在板載版，聚類產(chǎn)品型號(hào)為HLB-325。由八塊Gaudi 3 Mezz卡組成的模塊提供約14.6PFLOPS的FP8性能，極大的帶寬速率達(dá)29.6TB/s的HBM2e內(nèi)存，64個(gè)線性計(jì)算引擎，192條200GBE網(wǎng)絡(luò)總線和上述所有。

在PCIe版本，型號(hào)為HL-338的卡具有單卡達(dá)1835TFLOPS的FP8峰值性能，128GBHBM2e內(nèi)存，8個(gè)線性計(jì)算引擎，24條200GBE網(wǎng)絡(luò)總線，功率消耗600W，占兩卡槽的整體空間高度。

一個(gè)由8個(gè)Gaudi 3 AI加速器構(gòu)成的節(jié)點(diǎn)可提供14.7PF FP8計(jì)算性能，128GB的內(nèi)存，8.4TB/s的網(wǎng)絡(luò)讀寫速度，而64個(gè)節(jié)點(diǎn)的集群（512個(gè)AI加速器）能提供的最大計(jì)算性能為7.52EF FP8，525.3TB的內(nèi)存和614TB/s的網(wǎng)絡(luò)讀寫速度。更高的，1024個(gè)節(jié)點(diǎn)的集群可以達(dá)到15EF FP8的計(jì)算性能，1PB的內(nèi)存和1，229PB每秒的網(wǎng)絡(luò)讀寫速度。

在實(shí)際測(cè)試中，與英偉達(dá)的主流產(chǎn)品H100比較，Gaudi 3在相同節(jié)點(diǎn)數(shù)時(shí)的平均訓(xùn)練時(shí)間要高出約1.7倍，LLAMA2 70億的模型參數(shù)的情況下超過了H100的1.5倍，對(duì)于LLAMA2 130億參數(shù)的模型，Gaudi 3在最高時(shí)也超過了H100的1.7倍，同樣，GPT 3已達(dá)到1750億參數(shù)，且Gaudi 3在推理速度和能效表現(xiàn)上均優(yōu)

英特爾近日發(fā)布了其下一代 GPU 路線規(guī)劃——Gaudi 3，包括風(fēng)冷和液冷版本，計(jì)劃于明年三至四季度相繼批量交付。Gaudi 3 由戴爾、惠普、聯(lián)想及超微等眾多合作伙伴負(fù)責(zé)生產(chǎn)和銷售，據(jù)稱下半年有望登陸英特爾自家的云服務(wù)——Developer Cloud。除了 Gaudi 3，英特爾還向我們展示了公司在各層面的 AI 產(chǎn)品線的最新進(jìn)展。

為了更好地優(yōu)化 AI 的表現(xiàn)，英特爾發(fā)布了全新的 Xeon 6 處理器，主要用于大模型的訓(xùn)練。Xeon 6 采用了高效能的 E-core 核心和高性能的 P-core 核心，其中 E-core 核心代號(hào)為 Sierra Forest，能效較前一代提升了整整兩倍半，而 P-core 則代號(hào)為 Granite Rapids，支持 MXFP4。值得一提的是，比起前一代 Xeon 處理器，Xeon 6 的機(jī)身架構(gòu)擴(kuò)展了整整 2.7 倍，已經(jīng)開始被許多用戶用來升級(jí)老舊設(shè)備，以此達(dá)到節(jié)能減排的目的。

值得一提的還有物聯(lián)網(wǎng)的應(yīng)用。今年，英特爾預(yù)計(jì)將共售出超過 4000 萬臺(tái)基于酷睿 Ultra 處理器的 AI PC，除了消費(fèi)級(jí)市場(chǎng)，AI 也正逐漸走進(jìn)人們生活的方方面面，如工業(yè)制造、醫(yī)療健康等領(lǐng)域。據(jù)悉，該公司將于年內(nèi)發(fā)布一系列新的邊緣芯片，這些產(chǎn)品將涵蓋酷睿 Ultra、酷睿、凌動(dòng)處理器和 Arc GPU，旨在覆蓋多個(gè)不同行業(yè)的應(yīng)用需求。

另外，英特爾還透露計(jì)劃此次與Ultra Ethernet Consortium合作，推出一種名為 AI Ethernet 的網(wǎng)絡(luò)解決方案，專門解決海量數(shù)據(jù)遷移中的網(wǎng)絡(luò)擁堵問題。