深入解讀Grace CPU芯片架構(gòu)

NVIDIA Grace CPU是 NVIDIA 開(kāi)發(fā)的第一款數(shù)據(jù)中心 CPU。通過(guò)將 NVIDIA 專(zhuān)業(yè)知識(shí)與 Arm 處理器、片上結(jié)構(gòu)、片上系統(tǒng) (SoC) 設(shè)計(jì)和彈性高帶寬低功耗內(nèi)存技術(shù)相結(jié)合。參考內(nèi)容“NVIDIA GraceCPU處理器合集”。

NVIDIA Grace CPU 從頭開(kāi)始構(gòu)建，以創(chuàng)建世界上第一個(gè)用于計(jì)算的超級(jí)芯片（super chip)。超級(jí)芯片的核心是NVLink Chip-2-Chip (C2C)，它允許 NVIDIA Grace CPU 以 900 GB/s 的雙向帶寬與超級(jí)芯片中的另一個(gè) NVIDIA Grace CPU 或NVIDIA Hopper GPU進(jìn)行通信。

NVIDIA Grace Hopper Superchip將節(jié)能、高帶寬的 NVIDIA Grace CPU 與功能強(qiáng)大的 NVIDIA H100 Hopper GPU 結(jié)合使用 NVLink-C2C，以最大限度地提高強(qiáng)大的高性能計(jì)算 (HPC) 和巨型 AI 工作負(fù)載的能力。 NVIDIA Grace CPU 超級(jí)芯片是使用兩個(gè)通過(guò) NVLink-C2C 連接的 Grace CPU 構(gòu)建的。該超級(jí)芯片建立在現(xiàn)有 Arm 生態(tài)系統(tǒng)的基礎(chǔ)上，為 HPC、要求苛刻的云工作負(fù)載以及高性能和高能效的密集基礎(chǔ)設(shè)施創(chuàng)建了首個(gè)毫不妥協(xié)的 Arm CPU。 在本文中，您將了解 NVIDIA Grace CPU 超級(jí)芯片以及提供 NVIDIA Grace CPU 性能和能效的技術(shù)。有關(guān)詳細(xì)信息。

圖 1. 與雙插槽 Milan 7763 CPU 相比，NVIDIA Grace CPU Superchip 上應(yīng)用程序的性能和節(jié)能效果

專(zhuān)為 HPC 和 AI 工作負(fù)載打造的超級(jí)芯片

NVIDIA Grace CPU 超級(jí)芯片通過(guò)將旗艦雙路 x86-64 服務(wù)器或工作站平臺(tái)提供的性能水平集成到單個(gè)超級(jí)芯片中，代表了計(jì)算平臺(tái)設(shè)計(jì)的一場(chǎng)革命。高效的設(shè)計(jì)可在較低的功率范圍內(nèi)實(shí)現(xiàn) 2 倍的計(jì)算密度。

NVIDIA Grace CPU 旨在提供高單線(xiàn)程性能、高內(nèi)存帶寬和出色的數(shù)據(jù)移動(dòng)能力，每瓦性能領(lǐng)先。NVIDIA Grace CPU Superchip 結(jié)合了兩個(gè)連接超過(guò) 900 GB/s 雙向帶寬 NVLink-C2C 的 NVIDIA Grace CPU，提供 144 個(gè)高性能 Arm Neoverse V2 內(nèi)核和高達(dá) 1 TB/s 帶寬的數(shù)據(jù)中心級(jí) LPDDR5X 內(nèi)存，帶糾錯(cuò)碼（ ECC）內(nèi)存。

圖2. 具有 900 GB/s NVLink-C2C 的 NVIDIA Grace CPU 超級(jí)芯片

使用 NVLink-C2C 互連緩解瓶頸

為了擴(kuò)展到 144 個(gè) Arm Neoverse V2 內(nèi)核并在兩個(gè) CPU 之間移動(dòng)數(shù)據(jù)，NVIDIA Grace CPU Superchip 需要在 CPU 之間建立高帶寬連接。NVLink C2C 互連在兩個(gè) NVIDIA Grace CPU 之間提供高帶寬直接連接，以創(chuàng)建 NVIDIA Grace CPU 超級(jí)芯片。

使用 NVIDIA Scalable Coherency Fabric 擴(kuò)展內(nèi)核和帶寬

現(xiàn)代 CPU 工作負(fù)載需要快速的數(shù)據(jù)移動(dòng)。由 NVIDIA 設(shè)計(jì)的可擴(kuò)展一致性結(jié)構(gòu) (SCF) 是一種網(wǎng)狀結(jié)構(gòu)和分布式緩存架構(gòu)，旨在擴(kuò)展內(nèi)核和帶寬（圖 3）。SCF 提供超過(guò) 3.2 TB/s 的總二分帶寬，以保持?jǐn)?shù)據(jù)在 CPU 內(nèi)核、NVLink-C2C、內(nèi)存和系統(tǒng) IO 之間流動(dòng)。 CPU 核心和 SCF 緩存分區(qū)分布在整個(gè)網(wǎng)格中，而緩存交換節(jié)點(diǎn)通過(guò)結(jié)構(gòu)路由數(shù)據(jù)并充當(dāng) CPU、緩存內(nèi)存和系統(tǒng) IO 之間的接口。NVIDIA Grace CPU 超級(jí)芯片在兩個(gè)芯片上具有 234 MB 的分布式三級(jí)緩存。

圖3. NVIDIA Grace CPU 和可擴(kuò)展一致性結(jié)構(gòu)

LPDDR5X

能效和內(nèi)存帶寬都是數(shù)據(jù)中心 CPU 的關(guān)鍵組成部分。NVIDIA Grace CPU Superchip 使用高達(dá) 960 GB 的服務(wù)器級(jí)低功耗 DDR5X (LPDDR5X) 內(nèi)存和 ECC。此設(shè)計(jì)為大規(guī)模 AI 和 HPC 工作負(fù)載實(shí)現(xiàn)了帶寬、能效、容量和成本的最佳平衡。 與八通道 DDR5 設(shè)計(jì)相比，NVIDIA Grace CPU LPDDR5X 內(nèi)存子系統(tǒng)以每千兆字節(jié)每秒八分之一的功率提供高達(dá) 53% 的帶寬，同時(shí)成本相似。HBM2e 內(nèi)存子系統(tǒng)本可以提供大量?jī)?nèi)存帶寬和良好的能效，但每 GB 成本是其 3 倍多，并且僅為 LPDDR5X 可用最大容量的八分之一。 LPDDR5X 較低的功耗降低了整體系統(tǒng)功率要求，并使更多資源能夠用于 CPU 內(nèi)核。緊湊的外形使基于 DIMM 的典型設(shè)計(jì)的密度提高了 2 倍。

NVIDIA Grace CPU I/O

NVIDIA Grace CPU Superchip 支持多達(dá) 128 條用于 IO 連接的 PCIe Gen 5 通道。8 個(gè) PCIe Gen 5 x16 鏈路中的每一個(gè)都支持高達(dá) 128 GB/s 的雙向帶寬，并且可以分為 2x8 個(gè)以提供額外的連接，并且可以支持各種 PCIe 插槽形狀因數(shù)，開(kāi)箱即用地支持NVIDIA GPU和NVIDIA DPU、NVIDIA ConnectX SmartNIC、E1.S 和 M.2 NVMe 設(shè)備、模塊化 BMC 選項(xiàng)等。?

NVIDIA Grace CPU 核心架構(gòu)

為了實(shí)現(xiàn)最大的工作負(fù)載加速，快速高效的 CPU 是系統(tǒng)設(shè)計(jì)的重要組成部分。Grace CPU 的核心是 Arm Neoverse V2 CPU 內(nèi)核。Neoverse V2 是 Arm V 系列基礎(chǔ)架構(gòu) CPU 內(nèi)核中的最新產(chǎn)品，經(jīng)過(guò)優(yōu)化可提供領(lǐng)先的每線(xiàn)程性能，同時(shí)與傳統(tǒng) CPU 相比提供領(lǐng)先的能效。

圖4. NVIDIA Grace CPU 的 Arm Neoverse V2 內(nèi)核

Arm架構(gòu)

NVIDIA Grace CPU Neoverse V2 核心實(shí)現(xiàn)了 Armv9-A 架構(gòu)，它將 Armv8-A 架構(gòu)中定義的架構(gòu)擴(kuò)展到 Armv8.5-A。為 Armv8.5-A 之前的 Armv8 架構(gòu)構(gòu)建的任何應(yīng)用程序二進(jìn)制文件都將在 NVIDIA Grace CPU 上執(zhí)行。這包括針對(duì) Ampere Altra、AWS Graviton2 和AWS Graviton3等 CPU 的二進(jìn)制文件。

SIMD指令

Neoverse V2 在 4×128 位配置中實(shí)現(xiàn)了兩個(gè)單指令多數(shù)據(jù) (SIMD) 向量指令集：可擴(kuò)展向量擴(kuò)展版本 2 (SVE2) 和高級(jí) SIMD (NEON)。四個(gè) 128 位功能單元中的每一個(gè)都可以退出 SVE2 或 NEON 指令。這種設(shè)計(jì)使更多代碼能夠充分利用 SIMD 性能。SVE2 通過(guò)高級(jí)指令進(jìn)一步擴(kuò)展了 SVE ISA，這些指令可以加速機(jī)器學(xué)習(xí)、基因組學(xué)和密碼學(xué)等關(guān)鍵 HPC 應(yīng)用程序。

原子操作(Atomic operation)

NVIDIA Grace CPU 支持在 Armv8.1 中首次引入的大型系統(tǒng)擴(kuò)展 (LSE)。LSE 提供低成本的原子操作，可以提高 CPU 到 CPU 通信、鎖和互斥鎖的系統(tǒng)吞吐量。這些指令可以對(duì)整數(shù)數(shù)據(jù)進(jìn)行操作。所有支持 NVIDIA Grace CPU 的編譯器都將在同步函數(shù)中自動(dòng)使用這些指令，例如 GNU 編譯器集合__atomic內(nèi)置函數(shù)和std::atomic. 當(dāng)使用 LSE 原子而不是加載/存儲(chǔ)獨(dú)占時(shí)，改進(jìn)可以達(dá)到一個(gè)數(shù)量級(jí)。

Armv9 附加功能

NVIDIA Grace CPU實(shí)現(xiàn)了Armv9 產(chǎn)品組合的多項(xiàng)關(guān)鍵功能，可在通用數(shù)據(jù)中心 CPU 中提供實(shí)用程序，包括但不限于加密加速、可擴(kuò)展分析擴(kuò)展、虛擬化擴(kuò)展、全內(nèi)存加密、安全啟動(dòng)等。

NVIDIA Grace CPU 軟件

NVIDIA Grace CPU Superchip 旨在為軟件開(kāi)發(fā)人員提供符合標(biāo)準(zhǔn)的平臺(tái)。 NVIDIA Grace CPU 符合 Arm 服務(wù)器基礎(chǔ)系統(tǒng)架構(gòu) (SBSA)，以支持符合標(biāo)準(zhǔn)的硬件和軟件接口。此外，為了在基于 Grace CPU 的系統(tǒng)上啟用標(biāo)準(zhǔn)引導(dǎo)流程，Grace CPU 被設(shè)計(jì)為支持 Arm 服務(wù)器基本引導(dǎo)要求 (SBBR)。所有主要的 Linux 發(fā)行版，以及它們提供的大量軟件包，都可以在 NVIDIA Grace CPU 上完美運(yùn)行，無(wú)需修改。 編譯器、庫(kù)、工具、分析器、系統(tǒng)管理實(shí)用程序以及用于容器化和虛擬化的框架現(xiàn)已上市，并且可以像在任何其他數(shù)據(jù)中心 CPU 上一樣輕松地在 NVIDIA Grace CPU 上安裝和使用。 此外，整個(gè) NVIDIA 軟件堆棧都可用于 NVIDIA Grace CPU。NVIDIA HPC SDK 和每個(gè) CUDA 組件都有 Arm 原生安裝程序和容器。NVIDIA GPU Cloud (NGC) 還提供深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和針對(duì) Arm 優(yōu)化的 HPC 容器。NVIDIA Grace CPU 遵循主流 CPU 設(shè)計(jì)原則，并且與任何其他服務(wù)器 CPU 一樣進(jìn)行編程。

圖 5. NVIDIA Grace CPU 軟件生態(tài)系統(tǒng)將用于 CPU、GPU 和 DPU 的全套 NVIDIA 軟件與完整的 Arm 數(shù)據(jù)中心生態(tài)系統(tǒng)相結(jié)合

審核編輯 ：李倩