RDMA技術(shù)簡介 RDMA的控制通路和數(shù)據(jù)通路方案

作者：劉偉

擁有14年網(wǎng)絡(luò)設(shè)備開發(fā)領(lǐng)域的從業(yè)經(jīng)驗(yàn)，當(dāng)前就職于浪潮電子信息產(chǎn)業(yè)股份有限公司體系結(jié)構(gòu)研究部，負(fù)責(zé)高性能網(wǎng)卡的架構(gòu)設(shè)計(jì)和驅(qū)動(dòng)程序開發(fā)工作。

RDMA 技術(shù)基于傳統(tǒng)以太網(wǎng)的網(wǎng)絡(luò)概念，但與以太網(wǎng)網(wǎng)絡(luò)中的同類技術(shù)存在差異。關(guān)鍵區(qū) 別在于，RDMA 提供了一種消息服務(wù)，應(yīng)用程序可以使用該服務(wù)直接訪問遠(yuǎn)程計(jì)算機(jī)上的虛擬內(nèi)存。消息服務(wù)可用于進(jìn)程間通信（IPC）、與遠(yuǎn)程服務(wù)器的通信以及使用上層協(xié)議與存儲(chǔ)設(shè)備進(jìn)行通信，這些上層協(xié)議包括對 RDMA 的 iSCSI 擴(kuò)展（ISER）、SMB、Samba、Lustre、ZFS 等。RDMA 通過繞過軟件協(xié)議棧和避免不必要的數(shù)據(jù)復(fù)制來實(shí)現(xiàn)低時(shí)延、降低 CPU 占用率、減少內(nèi)存帶寬瓶頸和提供高帶寬。RDMA 提供的好處主要來自 RDMA 消息服務(wù)呈現(xiàn)給應(yīng)用程序的方式，以及用于傳輸和傳遞這些消息的底層技術(shù)。RDMA 提供基于通道的 I/O，該通道使得應(yīng)用程序可以使用 RDMA 設(shè)備直接讀取和寫入遠(yuǎn)程虛擬內(nèi)存。

在傳統(tǒng)的以太網(wǎng)應(yīng)用場景中，運(yùn)行在用戶態(tài)的應(yīng)用程序通過調(diào)用套接字（socket）API 從操作系統(tǒng)請求網(wǎng)絡(luò)資源，然后使用這些 API 執(zhí)行數(shù)據(jù)收發(fā)。RDMA 應(yīng)用也依賴操作系統(tǒng)，但只是使用操作系統(tǒng)建立通道，而后允許用戶態(tài)的程序直接操作硬件交互信息，無須內(nèi)核態(tài)程序的進(jìn)一步協(xié)助。這些信息交互方式可以是 RDMA Read、RDMA Write、Send 和 Receive。

另外，RDMA 協(xié)議 InfiniBand 和 RoCE 還支持多播傳輸。目前 RDMA 已經(jīng)是一個(gè)比較成熟的架構(gòu)，主要應(yīng)用在高性能計(jì)算（HPC）領(lǐng)域和大型數(shù)據(jù)中心中，典型的應(yīng)用場景包括分布式神經(jīng)網(wǎng)絡(luò)計(jì)算（比如 TensorFlow+MPI+RDMA）和大數(shù)據(jù)存儲(chǔ)（比如 HDFS+RDMA+NVMe）等。

RDMA 的控制通路和數(shù)據(jù)通路

第 5 章在介紹內(nèi)核協(xié)議棧方案時(shí)，使用圖 5-1 展示了 Linux 內(nèi)核協(xié)議棧方案涉及的主要軟件和硬件模塊以及它們之間的關(guān)系；圖 5-2 描述了此方案的數(shù)據(jù)流；最后通過分析，給出了此方案的幾個(gè)缺點(diǎn)，比如不必要的數(shù)據(jù)復(fù)制、頻繁地在內(nèi)核態(tài)與用戶態(tài)之間切換等。下面介紹 RDMA 方案的控制通路和數(shù)據(jù)通路（如圖 13-1 所示）以及數(shù)據(jù)流（如圖 13-2 所示），如果和圖 5-1、圖 5-2 進(jìn)行比較，就能明顯地看出 RDMA 方案的優(yōu)點(diǎn)。

圖 13-1 中有一左一右兩臺(tái)機(jī)器，可互相發(fā)送和接收數(shù)據(jù)。圖中首先將 RDMA 整體方案橫向劃分為三層；上面兩層是軟件，根據(jù)執(zhí)行權(quán)限的不同又分為用戶態(tài)和內(nèi)核態(tài)；最下面一層是硬件。然后，圖中將 RDMA 的橫向分層模型再從豎向劃分為控制通路和數(shù)據(jù)通路?？刂仆沸?/span>要進(jìn)入內(nèi)核態(tài)準(zhǔn)備通信所需的各種資源，比如創(chuàng)建和配置后面章節(jié)會(huì)介紹的各 RDMA 基本元素（如 CQ、QP 等），主要操作由軟件完成，硬件接受配置。數(shù)據(jù)通路專門負(fù)責(zé)數(shù)據(jù)收發(fā)，由軟件和硬件合作完成 RDMA Write（寫）、RDMA Read（讀）、Send（發(fā)送）和 Receive（接收）等操作。

至于把控制通路和數(shù)據(jù)通路分開的原因，可以這樣理解：一般和控制有關(guān)的操作所需的權(quán)限較高，所以需要進(jìn)入內(nèi)核態(tài)處理，導(dǎo)致消耗的時(shí)間較長，不過實(shí)際進(jìn)行的操作次數(shù)有限，

RDMA 技術(shù)簡介

屬于低頻且耗時(shí)的操作類型；而數(shù)據(jù)收發(fā)相關(guān)的操作所需的權(quán)限較低，直接在用戶態(tài)處理即可，只有這樣才能起到旁路（bypass）內(nèi)核和快速收發(fā)數(shù)據(jù)的效果，并且在程序運(yùn)行的大部分時(shí)間里，執(zhí)行的都是這種高頻操作。

圖 13-1 RDMA 方案的控制通路和數(shù)據(jù)通路

Send 和 Receive 操作為例，一次 RDMA 通信的過程簡單描述如下。

（1）發(fā)送端和接收端的軟件都通過控制通路進(jìn)入內(nèi)核態(tài)，創(chuàng)建通信所需的各種資源，包 括 MR、QP、CQ 等。

（2）在數(shù)據(jù)通路上，接收端的應(yīng)用程序通知硬件準(zhǔn)備接收數(shù)據(jù)，并將存放數(shù)據(jù)的緩存地 址告知硬件。

（3）在數(shù)據(jù)通路上，發(fā)送端的應(yīng)用程序通知硬件發(fā)送數(shù)據(jù)，并將待發(fā)送數(shù)據(jù)所在的緩存 地址和數(shù)據(jù)長度告知硬件。

（4）發(fā)送端硬件使用 DMA 操作從位于主機(jī)內(nèi)存的緩存中將數(shù)據(jù)復(fù)制到自己的硬件內(nèi)部 緩存，然后按照協(xié)議封裝數(shù)據(jù)包并發(fā)送給對端。

（5）接收端硬件收到數(shù)據(jù)包，按照協(xié)議對其進(jìn)行解析，并通過 DMA 操作將有效的應(yīng)用 數(shù)據(jù)寫入主機(jī)內(nèi)存。

（6）在數(shù)據(jù)通路上，接收端的應(yīng)用程序獲知收到的數(shù)據(jù)已被放入本地緩存。

圖 13-2 展示了使用 RDMA 方案時(shí)，用戶數(shù)據(jù)在兩個(gè)運(yùn)行在不同機(jī)器上的應(yīng)用程序之間 傳遞的過程。圖中的機(jī)器 1 為發(fā)送端，機(jī)器 2 為接收端。包括在網(wǎng)線/光纖上的數(shù)據(jù)傳輸，整 個(gè)數(shù)據(jù)傳遞過程共進(jìn)行了 3 次數(shù)據(jù)復(fù)制，按照編號(hào)依次如下。

① 發(fā)送端網(wǎng)卡通過 DMA 操作，從主機(jī)內(nèi)存的用戶空間將數(shù)據(jù)復(fù)制到自己的硬件內(nèi)部緩 存中，并進(jìn)行封裝，即添加各層協(xié)議報(bào)頭和校驗(yàn)信息。

② 發(fā)送端網(wǎng)卡通過網(wǎng)線/光纖將封裝好的數(shù)據(jù)發(fā)送給接收端的網(wǎng)卡。

③ 接收端網(wǎng)卡接收到數(shù)據(jù)后，先進(jìn)行數(shù)據(jù)解析，即把各層協(xié)議報(bào)頭和校驗(yàn)信息剝離，然 后將硬件緩存中的數(shù)據(jù)通過 DMA 操作復(fù)制到主機(jī)內(nèi)存的用戶空間。

如果跟圖 5-1 和圖 5-2 做一下比較，明顯可以看出 RDMA 方案的三個(gè)優(yōu)點(diǎn)。 ? 本地內(nèi)存零復(fù)制，即省去了數(shù)據(jù)在主機(jī)內(nèi)存的用戶空間和內(nèi)核空間之間復(fù)制的步驟， 降低了整個(gè)數(shù)據(jù)收發(fā)過程的時(shí)延。 ? 內(nèi)核旁路（bypass），即數(shù)據(jù)通路繞過內(nèi)核，避免了系統(tǒng)調(diào)用和上下文切換的時(shí)間 開銷。 ? 把數(shù)據(jù)包的封裝和解析工作交由網(wǎng)卡來實(shí)現(xiàn)，降低了 CPU 負(fù)載。

編輯：黃飛

?