DPU特征結(jié)構(gòu)系列（一）DPU是以數(shù)據(jù)為中心IO密集的專用處理器

從應用特征來看，可以把應用分為“IO密集型”和“計算密集型”兩類，如下圖所示。IO密集型應用，通常體現(xiàn)為較高的輸入和輸出帶寬，數(shù)據(jù)直接來自于IO，數(shù)據(jù)通常具備流式特征，數(shù)據(jù)局部性不顯著，如果處理性能與帶寬匹配，片上緩存的作用就可以弱化。例如處理路由轉(zhuǎn)發(fā)、數(shù)據(jù)加密、壓縮等。計算密集型應用，體現(xiàn)為較高的計算密度，通常浮點性能突出，數(shù)據(jù)來自主存，數(shù)據(jù)局部性顯著，復用性高，主存的大小對于問題求解的性能有直接影響。例如求解線性代數(shù)方程組，大規(guī)模神經(jīng)網(wǎng)絡訓練、推理等。

圖不同類型的處理器的特征結(jié)構(gòu)

一個處理器芯片是“IO密集”還是“計算密集”只部分決定了芯片的結(jié)構(gòu)特征，并不能完全定義芯片的主體架構(gòu)。無論是IO密集，還是計算密集，即可以以通用CPU為核心構(gòu)造主體計算架構(gòu)，也可以以專用加速器為核心構(gòu)造主體計算架構(gòu)。前者可稱之為以控制為中心（control-centric）的模式，后者稱之為以數(shù)據(jù)為中心（data-centric）的模式?？刂茷橹行牡暮诵氖菍崿F(xiàn)“通用”，數(shù)據(jù)為中心的核心是通過定制化實現(xiàn)“高性能”。以應用特征和架構(gòu)特征這兩個維度粗略劃分處理器芯片類型分布，如圖2-1所示。

通用CPU是偏向于控制為中心結(jié)構(gòu)，理論上看就是要“圖靈完備”，要支持完備的指令集，通過編程指令序列來定義計算任務，通過執(zhí)行指令序列來完成計算任務，因此具備極其靈活的編程支持，可以任意定義計算的邏輯實現(xiàn)“通用”——這也是CPU最大的優(yōu)勢。同時，為了提高編程的開發(fā)效率，降低編譯器復雜度，緩存管理和細粒度并行度的開發(fā)通常都是由硬件來完成。類似的，還有大量的用于各種嵌入式、移動設(shè)備的微控制器MCU，并不強調(diào)高帶寬，也是以控制為中心的結(jié)構(gòu)。NP，DSP也是便向于基于通用處理器來做專用化擴展，但是非常注重高通量的性能屬性。例如，NP要支持數(shù)Tbps的轉(zhuǎn)發(fā)帶寬，所以大體可以視為控制為中心、但是IO密集的處理器類型。

GPU是以數(shù)據(jù)為中心的結(jié)構(gòu)，形式上更傾向于專用加速器。GPU的結(jié)構(gòu)稱之為數(shù)據(jù)并行（data-parallel）結(jié)構(gòu)，優(yōu)化指令并行度并不是提升性能的重點，通過大規(guī)模同構(gòu)核進行細粒度并行來消化大的數(shù)據(jù)帶寬才是重點。例如，最新的NVIDIA TITAN RTX GPU有4608個CUDA核、576個Tensor核，而且單片GPU通常配置數(shù)十GB的超大顯存。同時緩存管理多采用軟件顯示管理，降低硬件復雜度。這類超眾核結(jié)構(gòu)是以數(shù)據(jù)為中心、執(zhí)行計算密集型任務的代表性架構(gòu)。

DPU也偏向于數(shù)據(jù)為中心的結(jié)構(gòu)，形式上集成了更多類別的專用加速器，犧牲一定的指令靈活性以獲得更極致的性能。但是與GPU不同，DPU要應對更多的網(wǎng)絡IO，既包括外部以太網(wǎng)，也包括內(nèi)部虛擬IO，所以DPU所面臨的數(shù)據(jù)并行更多可能是數(shù)據(jù)包并行，而不是圖像中的像素、像塊級并行。而且DPU也會配置少數(shù)通用核（如ARM，MIPS）來處理一定的控制面的任務，運行輕量級操作系統(tǒng)來管理DPU上的眾多的異構(gòu)核資源，所以體現(xiàn)了一定“通用”性，但性能優(yōu)勢主要不源于這些通用核，而是大量專用計算核。早期的一些網(wǎng)絡處理器采用過類似Tile64的通用眾核結(jié)構(gòu)，以增加核的數(shù)量來應對多路處理的數(shù)據(jù)，實現(xiàn)并發(fā)處理，但單路延遲性能通常都比較差。因此，DPU更偏向于以數(shù)據(jù)為中心，執(zhí)行IO密集任務。

DPU是軟件定義的技術(shù)路線下的重要產(chǎn)物。在軟件定義網(wǎng)絡中，將數(shù)據(jù)面與控制面分離是最核心的思想。DPU被定義為強化了數(shù)據(jù)面性能的專用處理器，配合控制面的CPU，可以實現(xiàn)性能與通用性的更佳的平衡。

來源：專用數(shù)據(jù)處理器（DPU）技術(shù)白皮書，中國科學院計算技術(shù)研究所，鄢貴海等