算力時(shí)代DPU讓不可能成為可能

最近一段時(shí)間，DPU成為越來(lái)越熱的一個(gè)話題。芯啟源智能網(wǎng)卡是目前國(guó)內(nèi)唯一的基于SoC架構(gòu)的成熟DPU（Data Processing Unit，數(shù)據(jù)處理單元）完整解決方案，并擁有自主知識(shí)產(chǎn)權(quán)，已成熟量產(chǎn)，可提供從芯片、板卡、驅(qū)動(dòng)軟件和全套云網(wǎng)解決方案產(chǎn)品，已獲得了中國(guó)移動(dòng)蘇研院的首批智能網(wǎng)卡訂單。

最近英特爾發(fā)布了一款I(lǐng)PU，這可以說(shuō)是對(duì)英偉達(dá)DPU的一個(gè)回應(yīng)。因?yàn)閺挠⑻貭枌?duì)IPU介紹的字面意思來(lái)看，“釋放CPU開(kāi)銷”、“可編程”、“智能網(wǎng)卡”這幾個(gè)特性與當(dāng)下火熱的DPU的作用如出一轍。

在Nvidia以及Marvell、Broadcom和 VMware等其他制造商中，智能網(wǎng)卡被稱為數(shù)據(jù)處理單元 （DPU），并且已經(jīng)出現(xiàn)了好幾代，如 Nvidia的BlueField。其實(shí)不止國(guó)外，國(guó)內(nèi)DPU的創(chuàng)新市場(chǎng)也不斷有玩家涌現(xiàn)，諸如芯啟源、中科馭數(shù)、星云智聯(lián)等本土DPU企業(yè)也正在排兵布陣。不過(guò)隨著英特爾的加入，這個(gè)新戰(zhàn)場(chǎng)將更加熱鬧無(wú)比。

DPU走上歷史舞臺(tái)

去年10月，由于Nvidia 將基于Mellanox的SmartNIC卡命名為“DPU”，DPU這一概念一炮而紅。其實(shí)DPU這個(gè)概念是Fungible最先提的，然后被NVIDIA發(fā)揚(yáng)光大。不到一年時(shí)間，DPU成為業(yè)界追逐的話題、資本界青睞的細(xì)分賽道、廠商們競(jìng)相研發(fā)的技術(shù)。

為何DPU這么受追捧，或者說(shuō)我們?yōu)槭裁葱枰狣PU呢？

現(xiàn)在除了主內(nèi)存和輔助內(nèi)存之外的所有計(jì)算都是在CPU上完成的，面對(duì)超大規(guī)模數(shù)據(jù)處理的需求，CPU的算力已經(jīng)達(dá)到瓶頸，所以就需要硬件加速。但數(shù)據(jù)中心服務(wù)器上運(yùn)行有這么多性能的敏感任務(wù)，又不可能為每一個(gè)任務(wù)分配一張加速卡。所以就需要一個(gè)通用的加速平臺(tái)來(lái)整合這些加速任務(wù)。

DPU正是這樣一個(gè)存在，它被定位為完成性能敏感的并且通用的工作任務(wù)加速處理。由DPU完成基礎(chǔ)的工作任務(wù)，構(gòu)建強(qiáng)大的基礎(chǔ)設(shè)施層，上層的CPU和GPU來(lái)完成其他更有價(jià)值的工作。

那么，究竟什么是DPU？相比CPU和GPU，DPU究竟為何與眾不同？

DPU 是一種新型的可編程處理器，DPU 是一種片上系統(tǒng)或 SoC，它結(jié)合了3個(gè)關(guān)鍵因素：

（1）行業(yè)標(biāo)準(zhǔn)、高性能、軟件可編程的多核 CPU，通?；趶V泛使用的 Arm 架構(gòu)，與其他SoC組件緊密耦合。

（2）一種高性能網(wǎng)絡(luò)接口，能夠以線速或網(wǎng)絡(luò)其余部分的速度解析、處理和有效地將數(shù)據(jù)傳輸?shù)?GPU 和 CPU。

（3）一組豐富的靈活可編程加速引擎，可為 AI 和機(jī)器學(xué)習(xí)、安全、電信和存儲(chǔ)等卸載并提高應(yīng)用程序性能。

DPU最核心的任務(wù)是IO數(shù)據(jù)的預(yù)處理和后處理，如網(wǎng)絡(luò)類任務(wù)（虛擬網(wǎng)絡(luò)、IPSec等）、存儲(chǔ)類任務(wù)（分布式存儲(chǔ)、數(shù)據(jù)加解密、數(shù)據(jù)壓縮、數(shù)據(jù)冗余算法等）、虛擬化加速（虛擬化整體Offload，業(yè)務(wù)管理分離）、安全和認(rèn)證類的任務(wù)（Root of Trust 等）。

或者，從云計(jì)算業(yè)務(wù)的角度看，我們可以看做是，DPU是把整個(gè)IaaS的服務(wù)完整的Offload到硬件來(lái)做加速。

如此看來(lái)，關(guān)于DPU的應(yīng)用上，一線的云運(yùn)營(yíng)商對(duì)DPU的需求會(huì)更強(qiáng)烈。因?yàn)?，?shù)據(jù)中心規(guī)模足夠大的緣故，任何一個(gè)任務(wù)的Offload到硬件都意味著非常顯著的成本降低，這些都是最直接的利潤(rùn)。隨著整個(gè)軟硬件技術(shù)棧的演進(jìn)，DPU的采用會(huì)逐步擴(kuò)展到所有的云運(yùn)營(yíng)商，以及其他各類數(shù)據(jù)中心。

看到了DPU如此重要且具有意義的作用，目前在國(guó)際上參與DPU研發(fā)設(shè)計(jì)的廠商既有Intel、Broadcom、Marvall、Nvidia等巨頭，也有Fungible、Pensando等初創(chuàng)公司。

各家的打法也不太相同，不過(guò)兩個(gè)在數(shù)據(jù)中心領(lǐng)域一直虎狼之斗的兩大巨頭英特爾和英偉達(dá)，還是很有看點(diǎn)的，他們是如何應(yīng)對(duì)當(dāng)下以及未來(lái)復(fù)雜數(shù)據(jù)處理問(wèn)題的？

英偉達(dá)的DPU產(chǎn)品先行

英特爾的IPU理念超前

如今，數(shù)據(jù)中心已經(jīng)成為英特爾、英偉達(dá)、AMD這些老牌芯片巨頭未來(lái)爭(zhēng)奪的主戰(zhàn)場(chǎng)，而且英偉達(dá)收購(gòu)Arm的意圖，也是想能進(jìn)一步占據(jù)數(shù)據(jù)中心服務(wù)器市場(chǎng)，其DPU就是集成了Arm的核，這可以說(shuō)是取代英特爾的X86 CPU的一個(gè)切入點(diǎn)。

在DPU領(lǐng)域，英偉達(dá)可以說(shuō)是先行者，且這幾年其BlueField系列產(chǎn)品迭代速率也很快。英偉達(dá)在DPU上的技術(shù)突破，來(lái)自于收購(gòu)以色列芯片制造公司Mellanox之后，英偉達(dá)在這家公司的硬件基礎(chǔ)上開(kāi)發(fā)出BlueField系列的兩款DPU——英偉達(dá)BlueField-2 DPU與BlueField-2X DPU。

Nvidia于今年春季發(fā)布的BlueField-3 DPU承諾可卸載多達(dá) 300 個(gè) CPU 內(nèi)核的 I/O 任務(wù)。目前其技術(shù)路線圖已經(jīng)到了BlueField-4。

此外，英偉達(dá)還推出了DOCA的軟件開(kāi)發(fā)套件，這是一種集數(shù)據(jù)中心功能于芯片的架構(gòu)，可助力開(kāi)發(fā)者輕松地對(duì) BlueField DPU 進(jìn)行編程。DOCA是為DPU量身定做的軟件框架，目的在于支持廣大開(kāi)發(fā)者在 BlueField DPU上進(jìn)行軟件開(kāi)發(fā)。

DOCA與DPU之間就如 CUDA與GPU的關(guān)系。向上，DOCA 可以給程序員提供簡(jiǎn)單的開(kāi)發(fā)接口，同時(shí)向下平滑兼容與支持每一代 BlueField DPU 的產(chǎn)品。據(jù)英偉達(dá)稱，DOCA能實(shí)現(xiàn)從單芯片級(jí)數(shù)據(jù)中心到3U（CPU、GPU、DPU）一體超大規(guī)模數(shù)據(jù)中心統(tǒng)一架構(gòu)。

而就在6月15日的Six Five峰會(huì)上，英特爾推出了全新的基礎(chǔ)設(shè)施處理器（IPU）。首先要明確的是，英特爾的IPU不應(yīng)與英特爾自己的成像處理單元 （IPU） 或英特爾平臺(tái)更新 （IPU） ，還有來(lái)自Mellanox（現(xiàn)在是NVIDIA）的IPU和Graphcore IPU所混淆，他們所定義的IPU意思都不一樣。

其實(shí)細(xì)細(xì)看來(lái)，英特爾的IPU不是什么新鮮事物，跟當(dāng)下主流的DPU作用類似。據(jù)英特爾官方的說(shuō)法，IPU是一種可編程網(wǎng)絡(luò)設(shè)備，旨在使云和通信服務(wù)提供商減少在中央處理器（CPU）方面的開(kāi)銷，并充分釋放性能價(jià)值。

利用IPU，客戶能夠部署安全穩(wěn)定且可編程的解決方案，從而更好地利用資源，平衡數(shù)據(jù)處理與存儲(chǔ)的工作負(fù)載。它擴(kuò)展了英特爾的智能網(wǎng)卡功能，旨在應(yīng)對(duì)當(dāng)下復(fù)雜的數(shù)據(jù)中心，并提升效率。

英特爾的IPU能干啥呢？其IPU可以通過(guò)專用協(xié)議加速器來(lái)加速基礎(chǔ)設(shè)施功能，包括存儲(chǔ)虛擬化、網(wǎng)絡(luò)虛擬化和安全；通過(guò)把軟件中的存儲(chǔ)和網(wǎng)絡(luò)虛擬化功能從CPU轉(zhuǎn)移到IPU，從而釋放CPU核心。還能允許靈活的工作負(fù)載分配，提高數(shù)據(jù)中心利用率。

據(jù)英特爾稱，目前英特爾已經(jīng)使用 FPGA 部署了 IPU，微軟、百度、京東云和 VMWare是買家。通過(guò)特定功能，IPU可對(duì)數(shù)據(jù)中心中基于微服務(wù)架構(gòu)的現(xiàn)代應(yīng)用程序進(jìn)行加速。谷歌和Facebook的研究表明，微服務(wù)通信開(kāi)銷可消耗22%到80%的CPU性能。

據(jù)了解，英特爾將推出更多基于FPGA的IPU平臺(tái)和專用 ASIC，不過(guò)這些最終會(huì)是什么樣子以及它們將實(shí)現(xiàn)什么都尚未說(shuō)明。無(wú)論 IPU 最終變成什么樣，這都是朝著分解邁出的明確一步，也是未來(lái)形成組件化“至強(qiáng)平臺(tái)”的巨大飛躍。

那么如何看待兩家的發(fā)展的思路呢？關(guān)于這點(diǎn)，筆者有幸采訪到了軟硬件融合技術(shù)理念倡導(dǎo)者、（前）Ucloud芯片及硬件研發(fā)負(fù)責(zé)人黃朝波，對(duì)于英特爾此次推出的IPU，黃朝波認(rèn)為其理念超前，但實(shí)際的產(chǎn)品，現(xiàn)在還是FPGA，要看后面芯片的版本會(huì)怎么樣。

而在其《軟硬件融合》一書中對(duì)于超大規(guī)模云計(jì)算架構(gòu)的創(chuàng)新上已有很深的見(jiàn)解，在他看來(lái)，在數(shù)據(jù)中心軟硬件結(jié)合的發(fā)展全貌是：

第一階段：智能網(wǎng)卡（SmartNIC）。管理側(cè)網(wǎng)絡(luò)后臺(tái)任務(wù)是最先遇到資源消耗挑戰(zhàn)問(wèn)題的，典型的如Os，在25bit/s下占用的CPU資源已經(jīng)非常顯著。智能網(wǎng)卡就是為卸載網(wǎng)絡(luò)相關(guān)工作任務(wù)而設(shè)計(jì)的。

第二階段：數(shù)據(jù)處理器（DPU）。從本質(zhì)上來(lái)說(shuō)，在智能網(wǎng)卡的基礎(chǔ)上行，不僅僅是網(wǎng)絡(luò)，而是整個(gè)I/O相關(guān)的工作任務(wù)處理都會(huì)面臨資源消耗的挑戰(zhàn)問(wèn)題，因此DPU在網(wǎng)絡(luò)卸載的基礎(chǔ)上，加入了存儲(chǔ)卸載及虛擬化卸載的解決方案。

更進(jìn)一步的：基礎(chǔ)設(shè)施處理器（Infrastructure Process Unit，IPU）。從云計(jì)算公司的角度來(lái)看，基礎(chǔ)設(shè)施處理器平臺(tái)不僅承載網(wǎng)絡(luò)、存儲(chǔ)及虛擬化的卸載，還需要承擔(dān)安全、管理、監(jiān)控等各種管理面的功能，更為關(guān)鍵的是物理隔離業(yè)務(wù)和管理：業(yè)務(wù)在CPU和GPU，管理在DPU（或者更準(zhǔn)確地稱為IPU）。

更貼合用戶需求的：彈性的基礎(chǔ)設(shè)施處理器（elastic IPU，eIPU）。隨著業(yè)務(wù)規(guī)模的進(jìn)一步擴(kuò)大，云計(jì)算公司對(duì)底層芯片提出了新的需求。

在傳統(tǒng)芯片需求的基礎(chǔ)上，新的需求體現(xiàn)在：差異化的產(chǎn)品開(kāi)發(fā)、高效的業(yè)務(wù)卸載及快速迭代。對(duì)功能擴(kuò)展而言，傳統(tǒng)的解決方案都是基于集成或獨(dú)立CPU實(shí)現(xiàn)的軟件功能擴(kuò)展。

在云計(jì)算場(chǎng)景中，需要更加極致的性能，基于CPU的軟件方案已經(jīng)無(wú)法滿足要求，這就需要通過(guò)硬件方式（eIPU方案）來(lái)實(shí)現(xiàn)高性能的功能擴(kuò)展，提供性能強(qiáng)大、開(kāi)發(fā)低門檻的硬件功能彈性。

國(guó)內(nèi)DPU玩家入局

在DPU這個(gè)創(chuàng)新的市場(chǎng)上，國(guó)內(nèi)這幾年不乏有玩家提早布局，而且現(xiàn)在資本市場(chǎng)也非常青睞DPU這個(gè)細(xì)分賽道，據(jù)投中網(wǎng)的報(bào)道，現(xiàn)在頭部的DPU項(xiàng)目已經(jīng)呈現(xiàn)出了熱火烹油的機(jī)構(gòu)爭(zhēng)搶態(tài)勢(shì)。國(guó)內(nèi)的DPU初創(chuàng)企業(yè)正迎來(lái)發(fā)展的大好時(shí)機(jī)。

中科馭數(shù)算是國(guó)內(nèi)布局較早的一家DPU企業(yè)，其創(chuàng)始團(tuán)隊(duì)來(lái)自于中科院計(jì)算所體系結(jié)構(gòu)國(guó)家重點(diǎn)實(shí)驗(yàn)室。而且其DPU基于自主研發(fā)的KPU架構(gòu)，KPU（Kernel Processing Unit）架構(gòu)是中科馭數(shù)基于軟件定義加速器技術(shù)路線自主研發(fā)的芯片架構(gòu)。以KPU架構(gòu)為核心，2019年其設(shè)計(jì)了業(yè)界首顆數(shù)據(jù)庫(kù)與時(shí)序數(shù)據(jù)處理融合加速芯片，已經(jīng)成功流片。

今年初，中科馭數(shù)宣布了其下一顆DPU芯片研發(fā)計(jì)劃，功能層面包括完善的L2/ L3/L4層的網(wǎng)絡(luò)協(xié)議處理，可處理高達(dá)200G網(wǎng)絡(luò)帶寬數(shù)據(jù)。該顆芯片預(yù)計(jì)將于2021年底流片。

截至目前，中科馭數(shù)已經(jīng)布局126項(xiàng)發(fā)明專利，其中47項(xiàng)已獲得授權(quán)，馭數(shù)圍繞KPU（Kernel Processing Unit）芯片架構(gòu)、基礎(chǔ)軟件和計(jì)算系統(tǒng)，建立了較完善的知識(shí)產(chǎn)權(quán)體系。

在應(yīng)用領(lǐng)域方面，中科馭數(shù)從金融行業(yè)入手，除了深耕金融領(lǐng)域，2021年中科馭數(shù)產(chǎn)品的商業(yè)應(yīng)用還將逐步拓展到混合云、數(shù)據(jù)中心、電信通信等領(lǐng)域。前段時(shí)間剛與中移物聯(lián)網(wǎng)達(dá)成戰(zhàn)略合作，雙方將在邊緣端網(wǎng)絡(luò)處理、異構(gòu)算力基礎(chǔ)設(shè)施領(lǐng)域建立合作。

6月11日消息，DPU芯片企業(yè)“芯啟源”宣布完成數(shù)億元Pre-A3輪融資，本輪融資由SIG海納亞洲、浦東科創(chuàng)、晶晨半導(dǎo)體、熠美投資（市北高新大數(shù)據(jù)基金）等聯(lián)合投資，既有股東軟銀中國(guó)在本輪繼續(xù)追加投資。本輪融資將用于吸引研發(fā)人才與管理人才加入團(tuán)隊(duì)，并啟動(dòng)DPU芯片下一階段技術(shù)研發(fā)和市場(chǎng)拓展。

芯啟源成立于2015年，芯啟源是一家針對(duì)超大規(guī)模電信和企業(yè)級(jí)的智能網(wǎng)絡(luò)提供核心芯片和系統(tǒng)的高科技公司，擁有兩大板塊核心產(chǎn)品。

據(jù)其官微介紹，芯啟源智能網(wǎng)卡是目前國(guó)內(nèi)唯一的基于SoC架構(gòu)的成熟DPU（Data Processing Unit，數(shù)據(jù)處理單元）完整解決方案，并擁有自主知識(shí)產(chǎn)權(quán)，已成熟量產(chǎn)，可提供從芯片、板卡、驅(qū)動(dòng)軟件和全套云網(wǎng)解決方案產(chǎn)品，已獲得了中國(guó)移動(dòng)蘇研院的首批智能網(wǎng)卡訂單。

據(jù)企查查顯示，另外一家DPU芯片企業(yè)星云智聯(lián)成立于2021年3月22日，該公司專注于數(shù)據(jù)中心基礎(chǔ)互聯(lián)通信架構(gòu)和DPU芯片研發(fā)。今年4月份，珠海星云智聯(lián)宣布完成數(shù)億元天使輪融資，由高瓴創(chuàng)投（GL Ventures）領(lǐng)投，鼎暉VGC（鼎暉創(chuàng)新與成長(zhǎng)基金）、華登國(guó)際中國(guó)基金參與跟投。

據(jù)介紹，其正在研發(fā)的DPU將在 IAAS和PAAS之間形成獨(dú)立的CAAS（通信服務(wù)層），實(shí)現(xiàn)物理資源的“多虛一”和近乎裸金屬性能的“一虛多”，簡(jiǎn)化IAAS，提升資源利用率；

卸載PAAS中與通信數(shù)據(jù)流相關(guān)的處理，提升應(yīng)用的通信效率和性能。從而實(shí)現(xiàn)數(shù)據(jù)中心架構(gòu)的跨越式發(fā)展，有力支撐云計(jì)算、HPC、AI等業(yè)務(wù)的指數(shù)級(jí)增長(zhǎng)，形成一個(gè)超300億美元的新市場(chǎng)。

就目前形勢(shì)來(lái)看，不論各家公司如何發(fā)揮各自專長(zhǎng)去設(shè)計(jì)DPU芯片，都將推動(dòng)整體行業(yè)的向前發(fā)展。

結(jié)語(yǔ)

據(jù)IDC統(tǒng)計(jì)，近10年來(lái)全球算力增長(zhǎng)明顯滯后于數(shù)據(jù)增長(zhǎng)。全球算力的需求每3.5個(gè)月就會(huì)翻一倍，遠(yuǎn)遠(yuǎn)超過(guò)了當(dāng)前算力的增長(zhǎng)速度。而算力源于芯片，業(yè)內(nèi)人士預(yù)測(cè)，DPU將成為繼CPU和GPU之后重要的算力芯片。

以數(shù)據(jù)為中心的計(jì)算架構(gòu)成為了趨勢(shì)，網(wǎng)絡(luò)計(jì)算和DPU成為以數(shù)據(jù)為中心計(jì)算架構(gòu)的核心。黃朝波認(rèn)為：“未來(lái)所有的服務(wù)器都會(huì)配備1-2塊DPU/IPU卡”。DPU作為算力新型基礎(chǔ)設(shè)施中的新物種，將在數(shù)據(jù)傳輸、存儲(chǔ)、運(yùn)算等方面扮演越來(lái)越重要的角色，算力時(shí)代DPU可以讓不可能成為可能。

編輯：jq