英偉達(dá)三大AI法寶：CUDA、Nvlink、InfiniBand

01.?CUDA架構(gòu)，助力AI加速計(jì)算生態(tài)

GPU適用于處理大數(shù)據(jù)集，CUDA核是本質(zhì)原因。最開(kāi)始，GPU(圖形處理單元)作為一種專(zhuān)用計(jì)算機(jī)處理器，可以滿(mǎn)足實(shí)施高分辨率3D圖形計(jì)算密集型任務(wù)的需求。到2012年，由于GPU已經(jīng)發(fā)展成為高度并行的多核系統(tǒng)，讓它具備了處理大量數(shù)據(jù)的能力。簡(jiǎn)而言之，CPU做的專(zhuān)注線性計(jì)算，GPU做的是并行計(jì)算(數(shù)據(jù)之間沒(méi)有直接關(guān)系)，而本質(zhì)的原因是CUDA核的不同，CUDA核越多，計(jì)算性能越強(qiáng)，而GPU的CUDA核數(shù)是CPU的上百倍，如AMD EPYC 7003系列7763核心數(shù)為64個(gè)，而英偉達(dá)A100 40GB核心數(shù)為6912個(gè)。

CUDA的本質(zhì)是“軟件定義硬件”，實(shí)現(xiàn)“軟件調(diào)用硬件”。CUDA是一種并行計(jì)算平臺(tái)和應(yīng)用程序編程接口(API)，允許軟件使用特定類(lèi)型的圖形處理單元(GPU)進(jìn)行通用目的的處理，稱(chēng)為通用圖形處理單元計(jì)算(GPGPU)。CUDA提供了直接訪問(wèn)GPU虛擬指令集和并行計(jì)算元素的軟件層，用于執(zhí)行計(jì)算內(nèi)核。CUDA支持的GPU還可以使用編程框架，通過(guò)將代碼編譯為CUDA來(lái)使用HIP。CUDA將從前多種不同的代碼整合成了一氣呵成的代碼，這樣極大的加快了開(kāi)發(fā)模型的訓(xùn)練速度。可以簡(jiǎn)單理解，CUDA是英偉達(dá)實(shí)現(xiàn)軟硬件適配的一種“類(lèi)編譯器”，將軟件的代碼轉(zhuǎn)換成硬件匯編代碼，CUDA是英偉達(dá)實(shí)現(xiàn)軟硬件生態(tài)的護(hù)城河。

CUDA助力加速計(jì)算及深度學(xué)習(xí)：GPU通過(guò)圖形應(yīng)用程序的算法存在算法密集、高度并行、控制簡(jiǎn)單、分多個(gè)階段執(zhí)行等特征，英偉達(dá)引入的CUDA使GPU超越了圖形領(lǐng)域。同時(shí)，CUDA的框架和庫(kù)可以充分發(fā)揮GPU的并行計(jì)算能力，提供高效的矩陣運(yùn)算、卷積運(yùn)算等計(jì)算任務(wù)的實(shí)現(xiàn)，大大簡(jiǎn)化深度學(xué)習(xí)的編程工作，提高開(kāi)發(fā)效率和代碼質(zhì)量。在經(jīng)GPU加速的應(yīng)用中，工作負(fù)載的串行部分在CPU上運(yùn)行，而應(yīng)用的計(jì)算密集型部分則以并行方式在數(shù)千個(gè)GPU 核心上運(yùn)行，能夠大幅提升計(jì)算效率。目前NVIDIA H100 GPU的CUDA數(shù)已達(dá)到14592個(gè)，遠(yuǎn)超AMD EPYC Genoa-X CPU的96個(gè)核心。

CUDA生態(tài)合作者規(guī)模翻倍增長(zhǎng)。根據(jù)英偉達(dá)2023財(cái)年年報(bào)，目前有400萬(wàn)名開(kāi)發(fā)者正在與CUDA合作，而且規(guī)模還在不斷擴(kuò)大。英偉達(dá)通過(guò)12年的時(shí)間達(dá)到200萬(wàn)名開(kāi)發(fā)者，在過(guò)去的兩年半里該數(shù)字翻了一番。目前CUDA的下載量已經(jīng)超過(guò)了4000萬(wàn)次。

02.?Nvlink、NVSwitch助力芯片快速互聯(lián)互通

速度更快、可擴(kuò)展性更強(qiáng)的互連已成為當(dāng)前的迫切需求: AI和高性能計(jì)算領(lǐng)域的計(jì)算需求不斷增長(zhǎng)，對(duì)于能夠在每個(gè)GPU之間實(shí)現(xiàn)無(wú)縫高速通信的多節(jié)點(diǎn)、多GPU系統(tǒng)的需求也在與日俱增。要打造功能強(qiáng)大且能夠滿(mǎn)足業(yè)務(wù)速度需求的端到端計(jì)算平臺(tái)，可擴(kuò)展的快速互連必不可少。簡(jiǎn)而言之，隨著模型復(fù)雜程度增加，單張GPU無(wú)法完成訓(xùn)練任務(wù)，需要聯(lián)合多張GPU，乃至多臺(tái)服務(wù)器搭建集群協(xié)同工作，并需要GPU之間以及服務(wù)器之間進(jìn)行數(shù)據(jù)傳輸交互。我們認(rèn)為數(shù)據(jù)傳輸同樣也是大模型算力集群能力的重要體現(xiàn)。

英偉達(dá)推出NVLink技術(shù)代替?zhèn)鹘y(tǒng)的PCIe技術(shù)：第四代NVIDIA NVLink 技術(shù)可為多GPU系統(tǒng)配置提供高于以往1.5倍的帶寬，以及增強(qiáng)的可擴(kuò)展性。單個(gè) NVIDIA H100 Tensor Core GPU 支持多達(dá)18個(gè)NVLink 連接，總帶寬為900GB/s，是PCIe 5.0帶寬的7倍。NVIDIADGX H100等服務(wù)器可利用這項(xiàng)技術(shù)來(lái)提高可擴(kuò)展性，進(jìn)而實(shí)現(xiàn)超快速的深度學(xué)習(xí)訓(xùn)練。

NVSwitch與Nvlink協(xié)同互聯(lián)，助力英偉達(dá)高速通信能力構(gòu)建: NVSwitch是一種高速交換機(jī)技術(shù)，可以將多個(gè) GPU 和 CPU 直接連接起來(lái)，形成一個(gè)高性能計(jì)算系統(tǒng)。每個(gè)NVSwitch都有 64 個(gè) NVLink 端口，并配有 NVIDIA SHARP 引擎，可用于網(wǎng)絡(luò)內(nèi)歸約和組播加速。

?

03.?InfiniBand配合組網(wǎng)技術(shù)實(shí)現(xiàn)高效互聯(lián)互通

IB交換機(jī)：是采用InfiniBand網(wǎng)絡(luò)通信標(biāo)準(zhǔn)的交換機(jī)（以太網(wǎng)交換機(jī)是采用以太網(wǎng)協(xié)議），IB網(wǎng)絡(luò)具備高吞吐帶寬和低網(wǎng)絡(luò)時(shí)延等優(yōu)點(diǎn)。Mellanox是全球IB交換機(jī)領(lǐng)先廠商，2020年被英偉達(dá)68億美金收購(gòu)。當(dāng)前AI大模型的建設(shè)，尤其模型的訓(xùn)練部分，英偉達(dá)的網(wǎng)絡(luò)配置方案已經(jīng)占據(jù)了絕對(duì)領(lǐng)先地位。目前業(yè)界基于英偉達(dá)A100和H100 GPU構(gòu)建的網(wǎng)絡(luò)以配套IB交換機(jī)為主：

DGX A100 SuperPOD基本部署結(jié)構(gòu)信息為，140臺(tái)服務(wù)器(每臺(tái)服務(wù)器8張GPU）+交換機(jī)（每臺(tái)交換機(jī)40個(gè)端口，單端口200G），網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為IB fat-tree（胖樹(shù)），交換機(jī)速率為200Gb/s；交換機(jī)建議Mellanox HDR 200GB/s InfinBand交換機(jī)；

DGX H100 SuperPOD基本部署結(jié)構(gòu)信息為：32臺(tái)服務(wù)器(每臺(tái)服務(wù)器8張GPU）+12臺(tái)交換機(jī)，網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)為IB fat-tree（胖樹(shù)），交換機(jī)單端口400G速率，可合并形成800G端口；交換機(jī)建議NVIDIA Quantum QM9700 switc；

以太網(wǎng)是一種廣泛使用的網(wǎng)絡(luò)協(xié)議，但其傳輸速率和延遲無(wú)法滿(mǎn)足大型模型訓(xùn)練的需求。相比之下，端到端IB（InfiniBand）網(wǎng)絡(luò)是一種高性能計(jì)算網(wǎng)絡(luò)，能夠提供高達(dá) 400 Gbps 的傳輸速率和微秒級(jí)別的延遲，遠(yuǎn)高于以太網(wǎng)的性能。這使得IB網(wǎng)絡(luò)成為大型模型訓(xùn)練的首選網(wǎng)絡(luò)技術(shù)。

Infiniband網(wǎng)絡(luò)（IB網(wǎng)絡(luò)）：是指通過(guò)一套中心 Infiniband 交換機(jī)在存儲(chǔ)、網(wǎng)絡(luò)以及服務(wù)器等設(shè)備之間建立一個(gè)單一的連接鏈路，通過(guò)中心 Infiniband 交換機(jī)來(lái)控制流量，能夠降低硬件設(shè)備間數(shù)據(jù)流量擁塞，有效解決傳統(tǒng) I/O結(jié)構(gòu)的通信傳輸瓶頸，還能與遠(yuǎn)程存儲(chǔ)設(shè)備和網(wǎng)絡(luò)設(shè)備相連接。

端到端IB網(wǎng)絡(luò)還支持?jǐn)?shù)據(jù)冗余和糾錯(cuò)機(jī)制，能夠保證數(shù)據(jù)傳輸?shù)目煽啃?。在處理大模型中較多的數(shù)據(jù)時(shí)，數(shù)據(jù)傳輸錯(cuò)誤或數(shù)據(jù)丟失可能會(huì)導(dǎo)致訓(xùn)練過(guò)程中斷甚至失敗，因此保證傳輸?shù)目煽啃杂葹橹匾鳬B網(wǎng)路有效實(shí)現(xiàn)了保證。

審核編輯：黃飛

?