DPU發(fā)展面臨的困境和機遇

編者按

有一些投資人認為，DPU賽道比較雞肋：CPU/GPU同量級的高投入，但市場規(guī)模卻不大。并且因為DPU跟用戶的業(yè)務休戚相關，很多用戶傾向自研，這進一步導致公開市場規(guī)模更加有限。

即使強如NVIDIA，其DPU已經發(fā)布兩年左右，目前仍沒有用戶真正大規(guī)模采用。這里面存在的問題到底是什么？有沒有破解之道？

這篇文章會對DPU發(fā)展過程中存在的問題進行細致分析，拋磚引玉，期待更優(yōu)的、可大范圍落地的創(chuàng)新型產品出現。

更本質的，DPU是在目前算力困境的大背景下產生的，預示著一個新的算力時代的到來。行業(yè)需要更多的技術創(chuàng)新，更好的服務 “東數西算”國家大戰(zhàn)略和數字經濟發(fā)展。

1 DPU發(fā)展面臨的困境

1.1 芯片研發(fā)成本高昂

摩爾定律預示了：芯片工藝的發(fā)展，會使得晶體管數量大約每兩年提升一倍。雖然工藝的進步逐步進入瓶頸，但Chiplet越來越成為行業(yè)發(fā)展的重點，這使得芯片的晶體管數量可以再一次數量級的提升。

在先進工藝的設計成本方面，知名半導體研究機構Semiengingeering統(tǒng)計了不同工藝下芯片所需費用（費用包括了）：

28nm節(jié)點開發(fā)芯片只需要5130萬美元；

16nm節(jié)點則需要1億美元；

7nm節(jié)點需要2.97億美元；

到了5nm節(jié)點，費用高達5.42億美元；

3nm節(jié)點的研發(fā)費用，預計將接近10億美元。

就意味著，大芯片需要足夠通用，足夠大范圍落地，才能在商業(yè)邏輯上成立。做一個基本的估算：

終端場景，（大）芯片的銷售量至少需要達到數千萬級才能有效攤薄一次性的研發(fā)成本；

在數據中心場景，則需要50萬甚至100萬以上的銷售量，才能有效攤薄研發(fā)成本。

并且，在研發(fā)方面的投入，DPU相比CPU、GPU還要更高：

開發(fā)DPU芯片，不但需要高性能CPU IP、高性能總線IP，還包括高速PCIe、Ethernet以及DDR/HBM等；

還需要開發(fā)非常多的、并且開發(fā)難度也非常高的各類加速引擎，如網絡協(xié)議處理加速引擎、高性能網絡加速引擎、存儲加速引擎、各類安全加速引擎等；

還需要把IaaS等很多上層的軟件服務融入到芯片的軟硬件方案中，并且需要跟不同用戶的不同場景進行對接。

1.2 多領域場景需求

CPU性能瓶頸之后，傳統(tǒng)在CPU側軟件運行的工作任務，很多會沉淀到硬件去加速。這樣，就需要有一個平臺來承載這些加速，而DPU就是這個承載各類加速的芯片平臺。

CPU通過標準ISA實現軟硬件解耦，CPU引擎也就只有一類，CPU設計工程師可以不用太過關心具體的需求，而只需要關注具體的CPU設計即可。

GPU也通過CUDA以及GPGPU架構實現了軟硬件解耦，GPU引擎也只有一類，并且 GPU的設計工程師也是只需要把重心放在GPU的具體設計中。

跟CPU和GPU的設計相比，DPU有如下兩個難點：

多場景，挑戰(zhàn)更大。相比CPU和GPU的單個引擎類型，DPU的處理引擎（或者說涉及的領域/場景）會有很多，如基礎設施層的虛擬化、網絡、存儲、安全等的處理引擎，以及各類開發(fā)庫、文件系統(tǒng)、數據庫、網絡訪問等的處理引擎。

場景的軟硬件解耦難度大。CPU和GPU實現了軟硬件解耦，軟件開發(fā)者和芯片開發(fā)者可以并行不悖，各自相對獨立的完成工作。而到了DPU的領域加速，要想實現軟硬件解耦非常困難；如果硬是要要采用ASIC的完全定制硬件加速，則是場景和硬件完全緊耦合，開發(fā)難度更大，靈活性更低，風險更高。

當然，這里有個矛盾：承載更多領域和場景的功能，可以提升DPU價值；但承載這么多的功能，開發(fā)難度卻又非常大。那么，均衡點在哪里？有沒有既可以卸載更多領域和場景的功能，又不提升開發(fā)難度的辦法？

1.3 宏觀視角看需求：場景的橫向和縱向差異性

軟件的迭代很快，大概3-6個月；而芯片的迭代很慢，開發(fā)周期2年，生命周期5年，合計七年的時間，很難支撐軟件的這么頻繁而長期的迭代。

差異性主要體現在兩方面：

業(yè)務場景的橫向差異性，指的是即使在同一領域，不同用戶的業(yè)務邏輯仍有差異，甚至同一企業(yè)（用戶），其內部也會有很多不同的團隊，在同一領域的業(yè)務邏輯也存在差異。

業(yè)務場景的縱向差異性，指的是同一用戶/同一團隊業(yè)務邏輯的長期快速迭代。

針對業(yè)務場景的縱向和橫向的差異，主要有三類做法：

芯片廠家，根據自身對場景的理解，給出的自認為最優(yōu)化的方案（場景定制方案）。這樣，其實有點越庖代俎，消除了不同用戶業(yè)務場景的差異性，也限制了用戶的業(yè)務創(chuàng)新。用戶會對芯片廠家形成強依賴關系，這是用戶不愿意看到的。

一些大用戶，自身具備芯片研發(fā)實力，根據自身業(yè)務需求，定制芯片。但大用戶內部也是由許多不同的小團隊組成，不同團隊業(yè)務場景仍然存在差異性，定制芯片也存在技術的、商業(yè)邏輯的方方面面的挑戰(zhàn)。

前兩類都是定制的解決方案，這里則是通用的解決方案?！笆谌艘贼~，不如授人以漁”，通過通用的設計，確保在每個領域，都能夠實現一定程度上的軟硬件解耦。芯片公司提供“通用”的硬件平臺，讓用戶通過編程的方式實現業(yè)務差異化，“讓用戶掌控一切”。挑戰(zhàn)則在于，存在通用的解決方案嗎？通用解決方案的軟硬件如何解耦？

1.4 針對場景定制設計是一件高難度的事情

復雜的系統(tǒng)，軟硬件設計需要解耦。只有通過解耦，才能解放彼此，各自努力又相互協(xié)同，最終實現功能強大、性能強勁的系統(tǒng)。

通常，大家都以為，定制設計是性能和效率最優(yōu)的。但實際上，卻不是這樣：

定制設計，沒有冗余，理論上是最極致的性能。但因為定制設計是場景跟硬件設計完全耦合，硬件開發(fā)的難度很高，難以實現超大規(guī)模的定制設計。

理論上來說定制設計的資源效率是最高的，但由于定制設計必然覆蓋的場景較小，芯片設計為了覆蓋盡可能多的場景，不得不實現功能超集。實際的功能利用率和資源效率反而不是最高。

定制設計功能完全確定，難以覆蓋復雜計算場景的差異化要求。差異化包含兩個方面：橫向的不同用戶的差異化需求，縱向的單個用戶的長期快速迭代。

即使同一場景，不同芯片廠家的定制設計引擎架構依然五花八門，毫無生態(tài)可言。

因此，可以認為，定制設計是一項非常高難度，并且“吃力不討好”的事情。特別是在云和邊緣計算等，對靈活可編程能力有著極高的要求的，復雜場景，定制設計更是難有用武之地。

1.5 價值和定位不高

目前，對于DPU的定義，行業(yè)還存在一些爭議，大家對DPU的功能定義依然沒有定論。那么DPU的市場規(guī)模到底有多少？我們以中國市場為例：

如果認為DPU就是加速卡：那么則是完全碎片化的市場，每個領域的加速市場規(guī)模大概在5億RMB左右。因為碎片化，隨著其他整合方案越來越流行之后，加速卡未來的市場則有可能會快速萎縮。

如果定位SmartNIC：智能網卡只在一些純網絡加速的場景有用，市場規(guī)模大概50億RMB左右。而計算類的則是相對綜合的場景，不但需要網絡，還需要存儲、虛擬化、安全等場景加速。

如果定位基礎設施處理器IPU（基本等同于DPU，不同的命名方式）：市場規(guī)模在500億左右，這就比較符合市場規(guī)模預期。但即便如此，IPU的價值定位仍然要比CPU和GPU低，而研發(fā)資源投入和風險卻又比CPU和GPU高。這一里一外的差距，即是DPU發(fā)展最大的挑戰(zhàn)。

針對DPU的功能定位，目前形成共識的說法是：DPU作為CPU和GPU的輔助，負責一些數據類處理的加速。這樣的定位，則成了DPU發(fā)展的天花板和魔咒。

1.6 用戶的訴求：支撐自身的業(yè)務創(chuàng)新

互聯(lián)網行業(yè)，目前有很多客戶開始自研芯片，這是一個重要的趨勢：

很多人認為，互聯(lián)網公司為了構建自己的護城河，開始構建一套“封閉”體系。

我更多的是認為：隨著互聯(lián)網云和邊緣計算的發(fā)展，上層的軟件業(yè)務對底層硬件要求越來越高。而傳統(tǒng)的芯片公司，雖然有一些先進的技術，但局限于閉門造車，這些技術并沒有為客戶帶來新的更大的價值，反而在一些方面，約束了客戶的價值發(fā)揮。

這些矛盾，逼迫著一些有實例自研的用戶，不得不“自己動手，豐衣足食”，開始了自研之路。

那么，“想喝牛奶，真的要自己養(yǎng)牛嗎？”用戶的訴求到底是什么？這里我們深入分析一下：

更高性能/成本比。性價比是永恒的話題，都希望最低廉的成本下提供最高的性能價值。

差異化。toB市場，互聯(lián)網云計算公司需要有足夠理想的硬件平臺，能夠支撐自身業(yè)務的差異化，也能夠支撐云計算提供差異化的價值給到云的用戶（也即用戶的用戶）。

可迭代。軟件的迭代很快，而為了延遲設備的生命周期（也是一種降成本的手段），則需要硬件能夠盡可能支持軟件服務的更長期迭代。

快速業(yè)務創(chuàng)新。用戶的業(yè)務是核心競爭力，而研發(fā)芯片不是。用戶需要的是能夠自己掌控一切的開發(fā)平臺，來實現業(yè)務創(chuàng)新，來增強自身的核心競爭力。

如果存在通用的芯片方案，能夠滿足上述這些需求，用戶不會產生平臺依賴，不對用戶自身業(yè)務的核心競爭力構成威脅，并且功能更加強大，性能更加強勁，價格更具有顯著優(yōu)勢，客戶還需要自研嗎？

人類發(fā)展的過程，就是從“男耕女織”到“手工作坊”，再到流水線的“工業(yè)化大生產”，再到現在的“全球化大分工”。從更宏大更長期的視角看，隨著時間推移，很多技術會沉淀，云計算這樣的互聯(lián)網底層技術也不例外?；ヂ?lián)網整個技術體系會繼續(xù)枝繁葉茂，并且會持續(xù)的、更精細化的分工。而底層的芯片，唯有創(chuàng)新，才能真正幫助客戶，成就客戶。

2 跳脫束縛，尋找更大的機遇

2.1 通過增強功能來覆蓋更多場景

我們站在CPU工作任務卸載到硬件加速的視角來看：

階段0：CPU性能足夠，由于其靈活可編程能力很好，是數據中心處理器當仁不讓的第一選擇。

隨著CPU性能提升緩慢，有一些性能敏感的任務需要加速。于是有了各類加速器（卡）,這個時候都局限于某一個特定任務的加速，各個加速方案是完全獨立的孤島。網絡加速是比較特殊的一個，因為其剛好處在整個服務器的I/O路徑上，價值更大，應用領域也更多。

更進一步的，虛擬化的底層基礎設施，如虛擬化管理、網絡（包括設備虛擬化和網絡服務）、存儲（包括設備虛擬化和存儲服務）、安全等，都可以從CPU側卸載到硬件加速。

更進一步的，全棧卸載。只有整個系統(tǒng)堆棧中的任務足夠性能敏感（占用非常多的CPU資源），并且大范圍的被部署，則此任務就適合被卸載到硬件加速。其性能/成本比的優(yōu)化效果也更加立竿見影。

但即便如此，這個承載了各類加速的平臺，即DPU，其功能和價值還依然不夠。它，需要跳脫束縛，自成一體。

CPU、GPU和DPU，既相互協(xié)作，又相互競爭。“得入口者得天下”：

傳統(tǒng)觀點認為，DPU是CPU/GPU的任務卸載加速。

按照軟硬件融合演進的觀點：DPU/IPU則是數據中心算力和服務的核心，而獨立CPU/GPU則是DPU的擴展。

我們詳細講解一下：

小系統(tǒng)。DPU自身是包含CPU、GPU、FPGA、DSA、ASIC等各種處理引擎的一個超大的SOC。本身就能處理所有的任務。在一些業(yè)務應用層算力要求不高的情況下，最小計算系統(tǒng)的獨立的DPU就能滿足計算的要求。

中系統(tǒng)。DPU+CPU。在一些場景，業(yè)務應用層有更高的算力要求，或者必須業(yè)務和基礎設施分離。這樣，DPU+CPU的中等計算系統(tǒng)能夠滿足此類場景需求。

大系統(tǒng)。DPU+CPU+GPU。例如AI訓練類的場景，例如一些應用需要加速的場景，并且需要業(yè)務和基礎設施分離。這樣的時候，DPU+CPU+DPU的最大就成為必須的選擇。

最后，上圖是Intel認為的數據中心未來架構圖，在這張圖中，IPU成為數據中心中最關鍵的處理器：

后臺的存儲服務器和加速器池化服務器采用的是DPU小系統(tǒng)；

通用計算服務器采用的是DPU+CPU的中系統(tǒng)；

AI服務器采用的是DPU+CPU+GPU的大系統(tǒng)。

2.2 通過通用可編程能力來提升功能覆蓋

我們以網絡交換芯片為例。網絡交換芯片通常是一個緊耦合的ASIC芯片設計，隨著需要支持的網絡協(xié)議和功能越來越多，ASIC芯片并不都能一一滿足用戶需求。

有很多用戶（特別是巨頭用戶），都有非常多的創(chuàng)新的和自定義的協(xié)議及功能需求。如果把需求反饋給芯片廠家（如博通、思科等），它們再在新一代的芯片研發(fā)中心去支持（并且，是否支持新的協(xié)議或功能還需要內部決策，有可能一些認為不太重要的協(xié)議或功能就無法得到支持），然后等到用戶更新到自己的軟件服務中去，至少需要2年時間。

Intel收購的Barefoot提供了可編程交換機，在沒有軟件編程的情況下，交換機是沒有具體功能的。通過編程，用戶可以實現自己想要的任何網絡協(xié)議和功能的支持，甚至實現一些用戶自定義協(xié)議。并且，這種可編程能力是在ASIC級別的處理引擎上實現，也即能達到ASIC級別的性能。大家把這種網絡可編程的ASIC稱之為網絡DSA。

同樣的，其他各種領域和場景都可以采用類似的設計，來實現一定程度的功能可編程，來提升硬件所能覆蓋的功能范圍。

2.3 超異構計算，更充分的利用更加龐大的晶體管資源

芯片工藝帶來的資源規(guī)模越來越大，所能支撐的設計規(guī)模也越來越大，這給架構創(chuàng)新提供了非常堅實的基礎。我們可以采用多種處理引擎共存，“專業(yè)的人做專業(yè)的事情”，來共同協(xié)作的完成復雜系統(tǒng)的計算任務。并且，CPU、GPU、FPGA、一些特定的算法引擎，都可以作為IP，被集成到更大的系統(tǒng)中。這樣，構建一個更大規(guī)模的芯片設計成為了可能。這里，我們稱之為“超異構計算”。如上圖所示，超異構指的是由CPU、GPU、FPGA、DSA、ASIC以及其他各種形態(tài)的處理器引擎共同組成的超大規(guī)模的復雜芯片系統(tǒng)。

超異構計算本質上是系統(tǒng)芯片SOC（System on Chip），但準確的定義應該是宏系統(tǒng)芯片MSOC（Macro-System on Chip）。如果不能認識到超異構和傳統(tǒng)SOC的區(qū)別，那么則無法把握問題本質。

站在系統(tǒng)的角度，傳統(tǒng)SOC是單系統(tǒng)，而超異構宏系統(tǒng)，即多個系統(tǒng)整合到一起的大系統(tǒng)。傳統(tǒng)SOC和超異構系統(tǒng)芯片的主要區(qū)別和聯(lián)系如下表所示。

從DPU持續(xù)擴展，成就廣義的DPU：

DPU成為一個靈活的SOC，既可以作為CPU/GPU的助手，也可以獨立工作。就像2.1節(jié)提到的DPU小系統(tǒng)，但這個SOC系統(tǒng)規(guī)模較小，價值仍有待提高。

通過超異構，進一步提升DPU的系統(tǒng)規(guī)模，讓DPU能夠覆蓋更多復雜計算場景。

自成一體，成就更大的價值。

當然，這個時候，DPU的定義已經無法覆蓋這個功能強大的處理器了，稱之為超異構處理器HPU更合適一些。

2.4 多領域多場景的挑戰(zhàn)，唯有開源開放

可支持的領域和場景包括：

網絡領域，包括VPC、EIP、LB、網關等場景；

存儲領域，包括本地存儲、分布式塊存儲、對象存儲、冷存儲等場景；

安全領域，包括網絡安全、數據加密、零信任、可信計算等場景；

虛擬化領域，包括計算機虛擬化管理、容器虛擬化管理、監(jiān)控、設備模擬、運行時和熱遷移等具體場景；

甚至，可以包括應用層的各類加速領域和場景。

這些領域和場景，每一個都涉及到非常強大的既有生態(tài)，已經有若干得到行業(yè)大范圍使用各類開源（或閉源）軟件。沒有任何一家芯片功能能夠“獨占”這些生態(tài)，能做的，只有去擁抱既有生態(tài)。對芯片公司來說，要做的是：把傳統(tǒng)硬件定義軟件的模式，徹底的變成軟件定義硬件的模式。

另一方面，也需要軟件架構和開放模式的改變，軟件需要原生支持硬件加速。在軟件設計的時候，控制平面和計算平面分離，可以支持計算平面既可以在軟件運行，也可以下沉到硬件運行。真正實現“軟件定義一切，硬件加速一切”。

講完了單個領域和場景的視角，我們再回到整體系統(tǒng)的視角。

通常，我們是通過一些虛擬抽象層把硬件平臺的不一致性“烙平”，也即把差異化的硬件屏蔽，提供給上層軟件一致性的訪問接口。隨著性能需求的進一步提升，虛擬化都完全沉淀到硬件加速。硬件平臺的接口則直接暴露給上層的VM和容器。軟件運行平臺需要高可用，需要硬件支持軟件在不同平臺遷移，這樣就需要完全一致的硬件平臺。

這樣就會形成一對新的矛盾：

站在芯片廠家的視角，期望的是，一顆芯片，能夠被眾多廠家采用。也即是自己的硬件平臺，很多用戶都采用。甚至，私心一點，希望用戶捆綁到自己私有的架構平臺上，讓用戶形成依賴。

站在用戶的視角，一方面是商業(yè)方面（不形成特定廠家依賴）的考慮，一方面是技術方面（即上面提到的跨硬件平臺遷移，需要硬件一致性）的考慮。用戶需要的是一致性的硬件平臺。即所有芯片供應商提供給自己的是一個一致性的平臺。甚至可能的話，是自己軟件定義的硬件平臺。

因此，最終的結果，是芯片廠家和一些主流的客戶一起，形成行業(yè)共識，即形成一個開源開放的行業(yè)生態(tài)。

基礎設施程序員開發(fā)套件 (IPDK) 是Intel發(fā)起的一個開源的、供應商無關的驅動程序和 API 框架，用于在 CPU、IPU、DPU 或交換機上運行的基礎設施卸載和管理。IPDK在Linux中運行，并使用一套完善的工具（如 SPDK、DPDK 和 P4）來啟用平臺中的網絡虛擬化、存儲虛擬化、工作負載供應、信任根和卸載功能。2022年3月15日，由Intel、Redhat和F5等發(fā)起Open Programmable Infrastructure Event，邀請了產業(yè)界的相關公司共同探討IPU/DPU軟件生態(tài)建設。這些事件，可以認為是行業(yè)巨頭在力推開源開放的整體生態(tài)，并試圖在其中占據主導作用。

更長遠的看，開源開放的生態(tài)是行業(yè)發(fā)展的大事情。在可預見的未來，這件事情會徹底改變IT行業(yè)的生態(tài)邏輯。國內的廠商，不管是做DPU的，還是做CPU、GPU以及做AI芯片的，大家都應快速跟進、積極參與甚至引領這個開放可編程平臺和生態(tài)。雖然目前還只聚焦在DPU領域。

3 一些結論

DPU的未來發(fā)展如何？基于軟硬件融合理念，這里給出幾個關于未來五年行業(yè)發(fā)展的推斷，與大家探討：

DPU是超異構計算時代來臨的一個起始；

未來所有（大）芯片都會是超異構芯片；

超異構和SOC是兩個完全不同的概念；

超異構大芯片需要足夠通用，而不是專用；

超異構需要開源開放的生態(tài)；

要想駕馭超異構的超大系統(tǒng)規(guī)模，就需要軟硬件融合。

審核編輯：湯梓紅