聊聊交換機(jī)和AI有什么關(guān)系？

網(wǎng)絡(luò)協(xié)議為計(jì)算機(jī)網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)交換而建立的規(guī)則、標(biāo)準(zhǔn)或約定的集合。法律層面上，OSI 七層協(xié)議為國(guó)際協(xié)議。

由于HPC/AI對(duì)于網(wǎng)絡(luò)高吞吐、低時(shí)延的要求，在數(shù)據(jù)中心中 TCP/IP 逐步過(guò)渡到RDMA。RDMA中 包 含 不同 的 分 支 ， 其中，Infiniband 專為 RDMA 設(shè)計(jì)，從硬件級(jí)別保證可靠傳輸 ，技術(shù)先進(jìn)，但是成本高昂。而 RoCE 和 iWARP 都是基于以太網(wǎng)的 RDMA技術(shù)。

Q：什么是協(xié)議？

網(wǎng)絡(luò)協(xié)議為計(jì)算機(jī)網(wǎng)絡(luò)中進(jìn)行數(shù)據(jù)交換而建立的規(guī)則、標(biāo)準(zhǔn)或約定的集合。法律層面上，OSI七層協(xié)議為國(guó)際協(xié)議。20世紀(jì)80年代，為了規(guī)范化計(jì)算機(jī)之間的通信方式，從而滿足開(kāi)放式網(wǎng)絡(luò)的需求，OSI（Open System Interconnection）協(xié)議被提出，其采用了一種七層網(wǎng)絡(luò)。

物理層：解決了硬件之間如何通信，主要功能為定義物理設(shè)備標(biāo)準(zhǔn)（如接口類型、傳輸速率等），從而實(shí)現(xiàn)比特流（一種以 0、1 表示的數(shù)據(jù)流）的傳輸。

數(shù)據(jù)鏈路層：主要功能為幀編碼和誤差糾正控制。具體工作為接受來(lái)自物理層的數(shù)據(jù)，并封裝為幀，然后傳輸?shù)缴弦粚?。同樣也可以將?lái)自網(wǎng)絡(luò)層的數(shù)據(jù)拆為比特流傳輸給物理層。之所以能實(shí)現(xiàn)糾錯(cuò)的功能，是因?yàn)槊繋艘獋鬏數(shù)臄?shù)據(jù)外，還包括校驗(yàn)信息。

網(wǎng)絡(luò)層：在節(jié)點(diǎn)之間創(chuàng)建邏輯電路，通過(guò) IP 尋找地址（在網(wǎng)絡(luò)中每個(gè)節(jié)點(diǎn)都有一個(gè)IP）。這一層傳輸?shù)臄?shù)據(jù)以包為單位。

傳輸層：負(fù)責(zé)監(jiān)督數(shù)據(jù)傳輸?shù)馁|(zhì)量，若發(fā)生丟包，則應(yīng)該重新發(fā)送。

會(huì)話層：主要功能為管理網(wǎng)絡(luò)設(shè)備的會(huì)話連接。

表示層：主要負(fù)責(zé)數(shù)據(jù)格式轉(zhuǎn)換、加密等。

應(yīng)用層：提供應(yīng)用接口，可以為用戶直接提供各種網(wǎng)絡(luò)服務(wù)，完成各種網(wǎng)絡(luò)工作。

TCP/IP 是包含各種協(xié)議的協(xié)議簇，這些協(xié)議可以大致分為四層，即應(yīng)用層、傳輸層、網(wǎng)絡(luò)層、數(shù)據(jù)鏈路層，實(shí)際上，TCP/IP協(xié)議可以理解做 OSI 七層協(xié)議的優(yōu)化版。

由于 HPC 對(duì)于網(wǎng)絡(luò)高吞吐、低時(shí)延的要求，TCP/IP 逐步過(guò)渡到 RDMA。TCP/IP 有幾個(gè)主要的缺點(diǎn)：

其一，存在數(shù)十微秒的時(shí)延。由于 TCP/IP 協(xié)議棧在傳輸時(shí)，需要多次上下文切換，并依賴 CPU 進(jìn)行封裝，因此時(shí)延較長(zhǎng)。

其二，CPU 負(fù)載嚴(yán)重。TCP/IP 網(wǎng)絡(luò)需要主機(jī) CPU 多次參與協(xié)議棧內(nèi)存拷貝，CPU負(fù)載與網(wǎng)絡(luò)帶寬相關(guān)系數(shù)過(guò)大。

RDMA(遠(yuǎn)程內(nèi)存直接訪問(wèn)技術(shù)，RemoteDirect Memory Access)：能直接通過(guò)網(wǎng)絡(luò)接口訪問(wèn)內(nèi)存數(shù)據(jù)，無(wú)需操作系統(tǒng)內(nèi)核的介入。這允許高吞吐、低延遲的網(wǎng)絡(luò)通信，尤其適合在大規(guī)模并行計(jì)算機(jī)集群中使用。

RDMA 未規(guī)定全部協(xié)議棧，但是對(duì)具體的傳輸提出了較高的要求：例如不輕易丟、吞吐量大、延時(shí)低等等。RDMA 中包含不同的分支，其中， Infiniband 專為 RDMA 設(shè)計(jì)，從硬件級(jí)別保證可靠傳輸 ，技術(shù)先進(jìn)，但是成本高昂。而 RoCE 和 iWARP 都是基于以太網(wǎng)的RDMA 技術(shù)。

Q：數(shù)據(jù)中心架構(gòu)中，交換機(jī)有什么用？

交換機(jī)和路由器工作的層次不同。交換機(jī)（Switch）工作在數(shù)據(jù)鏈路層，基于 MAC（網(wǎng)卡的硬件地址）識(shí)別，能完成封裝轉(zhuǎn)發(fā)數(shù)據(jù)包功能，允許不同的設(shè)備間相互通信。路由器(Router)亦稱選徑器，工作在網(wǎng)絡(luò)層，實(shí)現(xiàn)相互連接，基于 IP 實(shí)現(xiàn)尋址，將不同的子網(wǎng)絡(luò)相連接。

傳統(tǒng)的數(shù)據(jù)中心往往使用三層架構(gòu)，即接入層、匯聚層、核心層，而在小型的數(shù)據(jù)中心中，可以忽略匯聚層的存在。其中，接入層通常直接與服務(wù)器相連，常用的接入交換機(jī)常為TOR（Top of Rack）交換機(jī)。匯聚層是網(wǎng)絡(luò)接入層和核心層的 “中介（中間層）”。核心交換機(jī)為進(jìn)出數(shù)據(jù)中心的包提供轉(zhuǎn)發(fā)，并為匯聚層提供連接性。

傳統(tǒng)的三層網(wǎng)絡(luò)有較為顯著的缺點(diǎn)，并且隨著云計(jì)算的發(fā)展，這些缺點(diǎn)愈發(fā)突出：

帶寬浪費(fèi)：每組匯聚交換機(jī)管理一個(gè) POD（Point Of Delivery），每個(gè) POD 內(nèi)都是獨(dú)立的 VLAN 網(wǎng)絡(luò)。匯聚交換機(jī)和接入交換機(jī)之間通常使用 STP（Spanning Tree Protocol，生成樹協(xié)議）。STP 使得對(duì)于一個(gè) VLAN 網(wǎng)絡(luò)只有一個(gè)匯聚層交換機(jī)可用，其他的匯聚層是被阻塞的，同時(shí)這也導(dǎo)致匯聚層無(wú)法水平拓展。

故障域大：由于 STP 的算法，網(wǎng)絡(luò)拓?fù)渥兏鼤r(shí)需要重新收斂，容易發(fā)生故障。

時(shí)延較長(zhǎng)：隨著數(shù)據(jù)中心的發(fā)展，東西向流量大幅增加，而三層架構(gòu)間服務(wù)器之間的通信需要層層經(jīng)過(guò)交換機(jī)，造成了較大的時(shí)延，且核心交換機(jī)和匯聚交換機(jī)的工作壓力不斷擴(kuò)大，性能升級(jí)也造成成本的上浮。

葉脊架構(gòu)優(yōu)勢(shì)明顯，具有扁平化設(shè)計(jì)、低延遲、具有帶寬高等特點(diǎn)。葉脊網(wǎng)絡(luò)（leaf-spine）使得網(wǎng)絡(luò)扁平化，其中葉交換機(jī)相當(dāng)于傳統(tǒng)的接入層交換機(jī)，脊交換機(jī)類似核心交換機(jī)。

葉和脊交換機(jī)之間通過(guò) ECMP（Equal Cost Multi Path）動(dòng)態(tài)選擇多條路徑。當(dāng) Leaf 層的接入端口和上行鏈路都沒(méi)有瓶頸時(shí)，這個(gè)架構(gòu)就實(shí)現(xiàn)了無(wú)阻塞（Non blocking）。因?yàn)镕abric 中的每個(gè) Leaf 都會(huì)連接到每個(gè) Spine，所以，如果一個(gè) Spine 出現(xiàn)問(wèn)題，數(shù)據(jù)中心的吞吐性能只會(huì)有輕微的下降（SlightlyDegrade）。

Q：英偉達(dá)交換機(jī)=IB 交換機(jī)？

不是。英偉達(dá) Spectrum 和 Quantum 平臺(tái)，同時(shí)布局了以太網(wǎng)和 IB 交換機(jī)。

英偉達(dá) Spectrum 和 Quantum 平臺(tái)，同時(shí)布局了以太網(wǎng)和 IB 交換機(jī)。IB 交換機(jī)主要由廠商 mellanox 運(yùn)營(yíng)，英偉達(dá)于 2020 年成功將其收購(gòu)。此外，英偉達(dá) Spectrum 平臺(tái)的交換機(jī)主要基于以太網(wǎng)，旗下產(chǎn)品不斷迭代，2022 年發(fā)布的 Spectrum-4 是 400G 交換機(jī)產(chǎn)品。

Spectrum-X 針對(duì)生成式 AI 所設(shè)計(jì)，優(yōu)化了傳統(tǒng)以太網(wǎng)交換機(jī)的限制。NVIDIA Spectrum X 平臺(tái)的兩個(gè)關(guān)鍵元素是 NVIDIA Spectrum-4 以太網(wǎng)交換機(jī)和 NVIDIA BlueField-3 DPU。

Spectrum-X 的主要優(yōu)勢(shì)包括： 將 RoCE 擴(kuò)展用于 AI 和自適應(yīng)路由（AR），以實(shí)現(xiàn) NVIDIA 集合通信庫(kù)（NCCL）的最大性能。NVIDIA Spectrum-X 能夠在超大規(guī)模系統(tǒng)的負(fù)載和規(guī)模下實(shí)現(xiàn)高達(dá) 95% 的有效帶寬。

利用性能隔離來(lái)確保在多租戶和多作業(yè)環(huán)境中，一個(gè)作業(yè)不會(huì)影響另一個(gè)作業(yè)。

確保在出現(xiàn)網(wǎng)絡(luò)組件故障時(shí)，網(wǎng)絡(luò)架構(gòu)能夠繼續(xù)提供最高性能。

與 BlueField-3 DPU 同步，實(shí)現(xiàn)最佳 NCCL 和 AI 性能。

在各種人工智能工作負(fù)載下保持一致和穩(wěn)定的性能，這對(duì)實(shí)現(xiàn) SLA 至關(guān)重要。

在組網(wǎng)方式中，IB 還是以太網(wǎng)是個(gè)重要的問(wèn)題。目前的市場(chǎng)中，以太網(wǎng)占據(jù)了絕大部分的市場(chǎng)份額，但是在一些大規(guī)模的運(yùn)算場(chǎng)景中，IB 又一枝獨(dú)秀。ISC 2021 超級(jí)計(jì)算大會(huì)上，在 TOP10 的系統(tǒng)中 IB 占據(jù)了 70%的份額，在 TOP100 中 IB 占據(jù) 65%的份額。隨著考慮范圍越來(lái)越大，IB 的市場(chǎng)份額越來(lái)越低。

Spectrum 和 Quantum 平臺(tái)針對(duì)不同的應(yīng)用場(chǎng)景。在英偉達(dá)的設(shè)想中，AI 應(yīng)用場(chǎng)景可大致分為 AI 云和 AI 工廠，在 AI 云中可以使用傳統(tǒng)以太網(wǎng)交換機(jī)和 Spectrum-X 以太網(wǎng)，而在 AI 工廠中則需要使用 NVLink+InfiniBand 的方案。

Q：英偉達(dá) SuperPOD 如何理解？

SuperPOD 是服務(wù)器集群，通過(guò)將多個(gè)計(jì)算節(jié)點(diǎn)相連，以提供較大的吞吐性能。

以英偉達(dá) DGX A100 SuperPOD 為例，英偉達(dá)官方推薦的配置中使用的交換機(jī)為 QM9700，能提供 40 個(gè) 200G 端口。由于其采用的架構(gòu)為胖樹（不收斂）架構(gòu)。在第一層中， DGX A100 服務(wù)器共有 8 個(gè)接口，分別接入 8 個(gè)葉交換機(jī)，20 臺(tái)服務(wù)器組成一個(gè) SU，因此共需8*SU 臺(tái)服務(wù)器，第二層架構(gòu)中，由于網(wǎng)絡(luò)不收斂，且端口速率一致，因此脊交換機(jī)提供的上行端口要大于等于葉交換機(jī)的下行端口。因此，1 個(gè) SU 對(duì)應(yīng) 8 臺(tái)葉交換機(jī)和 5 臺(tái)脊交換機(jī)，2 個(gè) SU 對(duì)應(yīng) 16 臺(tái)葉交換機(jī)和 10 臺(tái)脊交換機(jī)，依此類推。此外，當(dāng) SU 數(shù)量增至 6 個(gè)以上時(shí)，官方推薦加入一層核心層交換機(jī)。

在 DGX A100 SuperPOD 中，計(jì)算網(wǎng)絡(luò)的連接中服務(wù)器：交換機(jī)~1：1.17（以 7 個(gè) SU 為例）；但是在 DGX A100 SuperPOD 中，這一比例為 1：0.38。若考慮到存儲(chǔ)器及網(wǎng)絡(luò)管理的需求，則 DGX A100 SuperPOD 和 DGX H100 SuperPOD 中服務(wù)器：交換機(jī)分別為 1：1.34 和 1：0.50。

從端口方面看，在 DGX H100 的推薦配置中，每個(gè) SU 由 31 臺(tái)服務(wù)器組成。一方面，DGX H100 只有 4 個(gè)用于計(jì)算的接口，另一方面，在 DGX H100 SuperPOD 中交換機(jī)為 QM9700，提供 64 個(gè) 400G 端口。

從交換機(jī)性能看，DGX H100 SuperPOD 推薦配置中的 QM9700 性能大幅提升。Infiniband 交換機(jī)引入了 Sharp 技術(shù)。通過(guò)聚合管理器在物理拓?fù)渲袠?gòu)造流聚合樹（SAT，Streaming Aggregation Trees），然后由樹中的多臺(tái)交換機(jī)執(zhí)行并行運(yùn)算，可以大幅降低延遲，提高網(wǎng)絡(luò)性能。QM8700/8790+CX6 僅最多支持 2 個(gè) SAT，但QM9700/9790+CX7 最多支持 64 個(gè)。疊加端口數(shù)量增多，因此交換機(jī)用量下降。

從交換機(jī)價(jià)格看，QM9700 價(jià)格約為 QM8700/8790 的兩倍。據(jù) SHI 官網(wǎng)數(shù)據(jù),Quantum-2 QM9700 單價(jià) 3.8 萬(wàn)美金，Quantum QM8700/8790 分別為 2.3 萬(wàn)/1.7 萬(wàn)美金。

交換機(jī)市場(chǎng)現(xiàn)狀？

交換機(jī)市場(chǎng)短期景氣較好，隨著 AI 發(fā)展，市場(chǎng)需求有望進(jìn)一步擴(kuò)大，且呈現(xiàn)向高端迭代趨勢(shì)。

從格局上看，交換機(jī)市場(chǎng)尚為藍(lán)海，思科份額較大，Arista 成長(zhǎng)迅速。

市場(chǎng)規(guī)模方面：2023Q1 全球以太網(wǎng)交換機(jī)收入 100.21 億美元，同比+31.5%。其中，200G/400G 交換機(jī)收入同比增加 41.3%，100G 交換機(jī)收入同比+18.0%。

端口出貨數(shù)量方面：2023Q1 出貨 2.29 億個(gè)同比+14.8%。其中，200G/400G、100G 端口分別增加 224.2%、17.0%。

競(jìng)爭(zhēng)格局優(yōu)于服務(wù)器市場(chǎng)，思科一家獨(dú)大，Arista成長(zhǎng)迅速。

據(jù)theNextPlatform 測(cè)算，2023Q1 思科占據(jù) 46%的市場(chǎng)份額，約 46.1 億美元，同比+33.7%。Arista 憑借在數(shù)據(jù)中心的出色表現(xiàn)，2023Q1 收入11.5 億美元，同比+61.6%。

盈利能力方面，思科和 Arista 毛利率均接近 60%。較優(yōu)的格局鑄就了產(chǎn)業(yè)鏈廠商良好的盈利能力，思科和Arista 的毛利率雖然由略微下降的趨勢(shì)，但總體仍保持 60%左右的毛利率。

展望后市，我們認(rèn)為隨著 AI 發(fā)展，交換機(jī)市場(chǎng)有望持續(xù)受益。



審核編輯：劉清