0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

從SmartNIC走向DPU,專用加速器的崛起

E4Life ? 來源:電子發(fā)燒友網(wǎng) ? 作者:周凱揚 ? 2022-06-25 01:17 ? 次閱讀
在計算架構和負載變得愈發(fā)復雜和多樣的情況下,處理器廠商紛紛開始了自己的造詞之路。要想體現(xiàn)產(chǎn)品定位,又要讓大家對其縮寫印象深刻,所以PU成了最常見的后綴?,F(xiàn)在的處理器家族中已經(jīng)有了不少成員,除了常見的CPU、GPU、APU之外,按照處理對象的不同,在人工智能深度學習的崛起下,NPU和TPU也紛紛出現(xiàn)。
DPU模糊的定義
不過這些已經(jīng)定義明確的處理單元并不是我們今天的主角,而是找到了全新定義的xPU。什么是xPU,其實很難定義,這其中有DPU(數(shù)據(jù)處理單元)、IPU(基礎設施處理單元)和FAC(功能加速卡),這些剛冒頭的產(chǎn)品就是xPU,它們代表了從SmartNIC演化過來并超越其定位的新時代加速器硬件。除了SmartNIC以外,這些xPU雖然命名不同,但其實很多時候,它們是完全重合的,現(xiàn)在為了方便,很多時候也以DPU統(tǒng)稱。
BlueField-3 DPU / 英偉達
這樣說DPU的定義還是很模糊,我們就從其特點來看。SmartNIC往往需要主CPU來完成管理工作,DPU雖然往往也屬于一個主系統(tǒng)中的部件,但卻可以做到完全獨立,可以部署到邊緣、JBOF存儲和網(wǎng)關上,并為它們提供網(wǎng)絡接口和虛擬功能。它的另一項職責就是幫CPU減輕負擔,節(jié)省服務器上有限的處理器核心。
因此,盡管DPU看起來和一些PCIe智能網(wǎng)卡或GPU差不多,但它本質(zhì)上就是一個為數(shù)據(jù)流和數(shù)據(jù)包處理提供加速、卸載和本地服務的微型服務器,在服務器中提供一個獨立單元的同時,又不乏協(xié)助其他單元的處理能力。
什么樣的任務需要DPU?
至于為什么要用到DPU,這就不得不談到日益增加的數(shù)據(jù)密集型任務了,短視頻、實時金融交易的興起,高帶寬的數(shù)據(jù)流要求數(shù)據(jù)中心網(wǎng)絡、存儲、安全和AI/ML進行高效的處理。比如谷歌在數(shù)年前就提到,在他們的數(shù)據(jù)中心里,有三分之一的任務都是數(shù)據(jù)密集型的,這些都是交由底層基礎設施完成的,而且這類任務的占比是在逐步增加的。因為CPU和GPU這樣的通用計算單元并不擅長,所以專門針對這類任務優(yōu)化的DPU就得出來擔此大任了。其次就是企業(yè)數(shù)據(jù)中心和公共數(shù)據(jù)中心也想獲得超大規(guī)模巨頭廠商那樣的效率,做到這一點就必須解聚那些昂貴的硬件資源,比如SSD、GPU等,DPU為數(shù)據(jù)中心的解聚提供了極高的效率,優(yōu)化了擁有成本、占用面積和安全性。
DPU可以完成各個方面的卸載與加速,尤其是在網(wǎng)絡、安全和存儲這三大塊。在網(wǎng)絡端,DPU可以有效實現(xiàn)虛擬路由器,輔助數(shù)據(jù)包交換、定義交換規(guī)則等工作,減少延遲的同時還能夠提高吞吐量;在安全上,DPU可以用于下一代防火墻(NGFW)的加速,完成數(shù)據(jù)包過濾、內(nèi)容檢測和報頭檢測與重寫,將性能提高數(shù)倍以上;在存儲上,DPU可以卸載高速NVMe/TCP,進一步提升存儲性能。最關鍵的是,這三者都能有效地接管CPU控制面的負載,節(jié)省CPU本身的計算核心。

基于DPU的服務器存儲方案 / Fungible
以上是DPU為服務器提供的加強,主要以PCIe加速卡的形式來提供,此外,還有單獨的DPU存儲產(chǎn)品。傳統(tǒng)的CPU存儲方案中,整個系統(tǒng)由DRAM、x86 CPU、SmartNIC、加速器和PCIe接口組成,而在未來的存儲方案,比如高性能存儲、計算型存儲和軟件定義網(wǎng)絡應用的存儲中,單片集成的方案更能滿足要求,這就是與DRAM結合的DPU存儲產(chǎn)品。這種方案不僅可以提升IOPS,也能進一步降低能耗。
正因如此,數(shù)據(jù)中心會用DPU來完成數(shù)據(jù)密集型任務,從而減少功耗、擁有成本和占用空間。此外,他們也會用到基于DPU的存儲、GPU/TPU資源池和主機卡,來高效地完成高成本硬件資源的解聚。
DPU市場混戰(zhàn)
在不少廠商對DPU的宣傳中,往往都會提到這將是除了CPU和GPU之外的第三大硬件。大家可能覺得類似的承諾,好像一些AI處理器也有提到,但市面上還是GPU占據(jù)主導地位,DPU又會有何不同呢?事實證明,市場對DPU的信心很足,這我們從入局DPU的廠商就能看出。
云霄DPU / 云豹智能
如今制造DPU的企業(yè)分為三種,一是初創(chuàng)公司,比如:云豹智能、星云智聯(lián)、中科馭數(shù)、云脈芯聯(lián)、芯啟源、大禹智芯、Fungible等;二是市面上一些已有的服務器巨頭,比如AMD/Xilinx、英特爾、Marvel、英偉達;三是CSP(云服務供應商)廠商,比如亞馬遜AWS、微軟Azure、阿里云等等。后者更多是負責設計或者聯(lián)合設計這些xPU,好專用于自己的云服務器。最終售賣這些DPU的除了DPU廠商外,還有基礎設施的OEM和ODM,增值分銷商和集成方案廠商,CSP廠商在售賣服務器的時候,自然也會以間接的方式來體現(xiàn)DPU的價值。
隨著Mellanox被英偉達收購,Pensando被AMD收購,而Fungible的DPU主要針對存儲加速和卸載,雖然沒有被收購,但也收獲了軟銀的主導的融資。國內(nèi)的DPU廠商同樣備受青睞,比如騰訊屢次投資的云豹智能,字節(jié)跳動投資的云脈芯聯(lián),美團和百度投資的星云智聯(lián)等,這些投資方要么是CSP,要么擁有超大規(guī)模的數(shù)據(jù)中心,他們不像其他CSP大廠,硬件設計能力缺乏或有限,卻也看到了DPU的前景。
DPU并不完美
即便大廠看好,但從現(xiàn)狀來看,部署DPU對某些中小企業(yè)來說依然是雙刃劍。固然,DPU可以卸載基礎設施的任務,減輕其負擔,讓服務器的CPU空出來專注在應用本身,更高的效率、更低的擁有成本和更高的安全性也都隨之而來,這些優(yōu)點是幾乎每個服務器都能享受到的。
但在部分服務器中,引入DPU不免增加了服務器的資本投入,而且相較于CPU、GPU這類硬件來說,它只能卸載和加速特定的負載,并不是一個通用加速單元。此外,部分服務器在增加DPU的情況下還是會導致功耗提升,在服務器、數(shù)據(jù)中心紛紛開始節(jié)能減排的當下,如何權衡各個組件的功耗無疑會是一個大問題。還有就是相關的開發(fā),DPU的靈活性體現(xiàn)在可編程上,但這需要進行一定的編程能力,加上目前每家廠商都在單干,也沒有一個標準的接口,所以在適配上絕對不輕松,這也是不少DPU選擇Arm作為核心架構的原因,就是為了減少其編程的難度。
也正是因為以上這些理由,從市場滲透率上來看,DPU主要是還是大規(guī)模的CSP廠商用的更多一點,加上托管應用的增加,這一塊未來也會驅(qū)動DPU產(chǎn)品的銷售。對于自研DPU的CSP來說,他們肯定會繼續(xù)加大這方面的投入,進一步降低成本,而對于第三方廠商來說,英偉達、AMD和英特爾這些服務器CPU、GPU廠商無疑會更有優(yōu)勢,因為他們提供競爭力更強的集成方案。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 服務器
    +關注

    關注

    12

    文章

    8874

    瀏覽量

    84983
  • DPU
    DPU
    +關注

    關注

    0

    文章

    353

    瀏覽量

    24080
  • 英偉達
    +關注

    關注

    22

    文章

    3689

    瀏覽量

    90536
收藏 人收藏

    評論

    相關推薦

    “白地板”方案,智算中心加速器

    明德源能白地板方案,智算中心加速器
    的頭像 發(fā)表于 06-21 11:54 ?687次閱讀

    回旋加速器原理 回旋加速器的影響因素

    回旋加速器(Cyclotron)是一種用于加速帶電粒子的可再生粒子加速器。它的工作原理基于帶電粒子在恒定強磁場中的運動。本文將詳細介紹回旋加速器的原理以及影響因素。 一、回旋
    的頭像 發(fā)表于 01-30 10:02 ?3318次閱讀

    回旋加速器中粒子的最大動能與什么有關

    回旋加速器是一種用于加速粒子的裝置,通過不斷變化的磁場和電場來不斷加速粒子,使其達到極高的速度和能量。粒子的最大動能取決于幾個關鍵因素。 首先,回旋加速器的設計和性能對粒子的最大動能有
    的頭像 發(fā)表于 01-18 10:42 ?2842次閱讀

    Wakefield激光加速器 - 能量里程碑

    由The University of Texas at Austin物理學副教授比約恩·“曼努埃爾”·赫格利希(Bjorn “Manuel” Hegelich)領導的國際研究小組最近展示了一種長度不到20米的小型粒子加速器,該加速器產(chǎn)生的電子束能量為100億電子伏特(10
    的頭像 發(fā)表于 01-14 09:38 ?949次閱讀
    Wakefield激光<b class='flag-5'>加速器</b> - 能量里程碑

    《數(shù)據(jù)處理DPU編程入門》DPU計算入門書籍測評

    ,國內(nèi)國外兩股部隊都在朝著超大規(guī)模計算部署。而專用處理器在大規(guī)模處理上帶來的經(jīng)濟和效率優(yōu)勢是通用計算不可比擬的。DPU在云計算中高性能,高功耗的特點將會完美符合機房設備的特征。也稱為需求的核心。作為未來算力基座的一份子,勢必成為高端工程師的必備技能。
    發(fā)表于 12-24 10:54

    《數(shù)據(jù)處理DPU編程入門》讀書筆記

    首先感謝電子發(fā)燒友論壇提供的試讀機會。 第一周先閱讀了DPU的技術發(fā)展背景,了解到DPU是結合了高性能及軟件可編程的多核CPU、高性能網(wǎng)絡接口,以及各種靈活和可編程的加速引擎。DPU
    發(fā)表于 12-21 10:47

    粒子加速器加速原理是啥呢?

    粒子加速器加速原理是啥呢? 粒子加速器是一種重要的實驗設備,用于研究粒子物理學、核物理學等領域。其主要原理是通過電場和磁場的作用,對帶電粒子進行加速,在高速運動過程中使其獲得較大的動
    的頭像 發(fā)表于 12-18 13:52 ?1871次閱讀

    《數(shù)據(jù)處理DPU編程入門》+初步熟悉這本書的結構和主要內(nèi)容

    之一。隨著人們對云計算和大數(shù)據(jù)處理需求的增加,數(shù)據(jù)中心的計算負載也不斷增加。傳統(tǒng)的中央處理(CPU)在處理這些工作負載時可能會遇到瓶頸,難以提供足夠的性能和效率。DPU通過提供專門的硬件加速,可以
    發(fā)表于 12-08 18:03

    在CCES環(huán)境下如何使用21489的IIR加速器?

    在VDSP++的環(huán)境下程序已經(jīng)實現(xiàn),但是到了CCES下,把中斷初始化函數(shù)修改了,還是無法正確配置中斷,直接返回IIR的中斷初始化失敗,請問CCES下怎么使用IIR加速器?
    發(fā)表于 11-30 08:20

    21489的IIR加速器濾波參數(shù)設置如何對應加速器的濾波參數(shù)?

    目前在用21489內(nèi)部的IIR加速器去做一個低通濾波,在例程的基礎上修改參數(shù)。通過平板的fda 工具工具去設計參數(shù),但是設計出來的參數(shù)不知道如何對應加速器的濾波參數(shù),手冊里也看得不是很明白。 設計的參數(shù)如下: 請問
    發(fā)表于 11-30 08:11

    使用ADSP-21489的fir加速器時,存在很大的噪音如何解決?

    您好!當我使用ADSP-21489的fir加速器時,存在很大的噪音,未知如何解決,希望這里有高人幫我解決。 附件上有工程,該工程參考iir加速器使用例子編寫。
    發(fā)表于 11-30 07:49

    PCIe在AI加速器中的作用

    線上購物時的“猜你喜歡”、到高等級自動駕駛汽車上的實時交通信息接收,再到在線視頻游戲,所有的這些都離不開人工智能(AI)加速器。AI加速器是一種高性能的并行計算設備,旨在高效處理神經(jīng)網(wǎng)絡等AI工作負載并提供近乎實時的處理方案,
    的頭像 發(fā)表于 11-18 10:36 ?1930次閱讀
    PCIe在AI<b class='flag-5'>加速器</b>中的作用

    什么是DPU?

    DPU則進行數(shù)據(jù)處理。” 什么是DPU? 數(shù)據(jù)處理 基于行業(yè)標準,高性能及軟件可編程的多核CPU 高性能網(wǎng)絡接口 靈活、可編程的加速引擎 DPU
    發(fā)表于 11-03 10:55

    芯片大小的電子加速器或?qū)⒖紤]到皮膚癌癥治療應用

    粒子加速器的大小不一,有的可以裝在實驗室里,有的則需要占據(jù)幾公里甚至幾十公里的空間。然而,一項新的研究發(fā)現(xiàn),現(xiàn)在科學家們正在更仔細地研究芯片大小的電子加速器。該技術的近期潛在應用包括用于精準治療
    的頭像 發(fā)表于 10-31 09:44 ?542次閱讀

    一個微型的粒子加速器

    粒子加速器是一種利用電場和磁場來加速帶電粒子,如電子、質(zhì)子或離子,使其達到非常高的能量的裝置。它們在科學、醫(yī)學和工業(yè)等領域有許多應用,如研究物質(zhì)的結構、制造醫(yī)用同位素或產(chǎn)生X射線。然而,大多數(shù)粒子加速器都非常龐大和昂貴,需要數(shù)公
    的頭像 發(fā)表于 10-31 09:31 ?718次閱讀