0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

FPGA與GPU計(jì)算存儲加速對比

劉杰 ? 來源:zrl12123456 ? 作者:zrl12123456 ? 2022-08-02 08:03 ? 次閱讀

硬件制造商正在將加速方法應(yīng)用于計(jì)算存儲,這是專門設(shè)計(jì)用于包含內(nèi)嵌計(jì)算元素的存儲。這種方法已經(jīng)被證明可以為分析和 AI 應(yīng)用提供優(yōu)異的性能。使用或者不使用機(jī)器學(xué)習(xí)輔助的分析以及驗(yàn)證,都可以借助計(jì)算存儲器件進(jìn)行加速。這些器件提供了一個關(guān)鍵的優(yōu)勢,使得成本高昂的計(jì)算被卸載到存儲器件上,而不必在服務(wù)器 CPU 上完成。與標(biāo)準(zhǔn)的存儲/CPU 方法相比,通過計(jì)算存儲獲得的優(yōu)勢包括:

1. 借助應(yīng)用專用編程定制可編程硬件,獲得更高性能

2. 將計(jì)算任務(wù)從服務(wù)器卸載到存儲器件,釋放 CPU 資源

3. 數(shù)據(jù)與計(jì)算共址,降低數(shù)據(jù)傳輸需求

這種新穎的方法前景光明。不過,您應(yīng)根據(jù)具體用例評估這種方法,考量性能、成本、功耗和易用性。性價比和單位功耗性能在選擇加速硬件評估時,占據(jù)主要比率。在本文中,我們將研討單位功耗性能。

計(jì)算存儲功耗比較

在這個場景中,我們將比較以 CSV 數(shù)據(jù)讀取用例為主的三種工具:英偉達(dá) GPUDirect 存儲 和RAPIDS存儲,以及基于賽靈思技術(shù)的三星 SmartSSD 存儲。CSV 讀取在計(jì)算密集型流水線中起著重要的作用(參見圖 1)。

在下文中,我們將性能定義成 CSV 的處理速率,或處理“帶寬”。我們先快速回顧一下三種系統(tǒng)的運(yùn)行方式。

英偉達(dá) GPUDirect 存儲

端到端滿足分析和 AI 需求

將 GPU 用作計(jì)算單元,緊貼基于 NVMe 的存儲器件布局 (GPUDirect)

使用 CUDA 進(jìn)行編程 (RAPIDS)

英偉達(dá)用其 CSV 數(shù)據(jù)讀取技術(shù)衡量相對于標(biāo)準(zhǔn) SSD 的性能提升。結(jié)果如圖 1 所示。使用 1 到 8 個加速器時,對應(yīng)的吞吐量是 4 到 23GB/s。

三星 SmartSSD 驅(qū)動器

將賽靈思 FPGA 用作計(jì)算單元

與存儲邏輯內(nèi)嵌駐留在同一個內(nèi)部 PCIe 互聯(lián)上

通過編程在存儲平臺上開展運(yùn)算

賽靈思數(shù)據(jù)分析解決方案合作伙伴 Bigstream 與三星合作,為 Apache Spark 設(shè)計(jì)加速器,包括用于 CSV 和 Parquet 處理的 IP。SmartSSD 的測試使用單機(jī)模式的 CSV 解析引擎,以便開展比較。結(jié)果如圖 2 所示,使用 1 到 12 個加速器時,對應(yīng)的吞吐量是 4 到 23GB/s,同時也給出英偉達(dá)的結(jié)果(使用 1 到 8 個加速器)。請注意,本討論中的所有結(jié)果都按 x 軸上的加速器數(shù)量進(jìn)行參數(shù)化。

這些結(jié)果令人振奮,但在選擇您的解決方案時,請務(wù)必將功耗情況納入考慮。

圖 2:SmartSSD 驅(qū)動器的 CSV 解析性能結(jié)果

單位功耗性能比較

圖 3 顯示了將功耗考慮在內(nèi)后的分析結(jié)果。它們代表單位功耗達(dá)到的性能水平,根據(jù)上述討論中引用的相關(guān)材料,給出了以下假設(shè):

Tesla V100 GPU:最大功耗 200 瓦

SmartSSD 驅(qū)動器 FPGA:最大功耗 30 瓦

圖 3:CSV 解析的每瓦功耗帶寬比較

在這個場景下,計(jì)算表明,在全部使用 8 個加速器的情況下,SmartSSD 的單位功耗性能比 GPUDirect Storage 高 25 倍。

最終思考

計(jì)算存儲的優(yōu)勢在于能增強(qiáng)數(shù)據(jù)分析和 AI 應(yīng)用的性能。然而,要讓這種方法具備可實(shí)際部署的能力和實(shí)用性,就必須在評估時將功耗納入考慮。

針對用于 CSV 數(shù)據(jù)解析的兩種不同的計(jì)算存儲方法,我們已經(jīng)提出按功耗參數(shù)化的吞吐量性能曲線。結(jié)果顯示,在使用相似數(shù)量的加速器進(jìn)行比較時,SmartSSD 驅(qū)動器的單位功耗性能優(yōu)于 GPUDirect存儲方法。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • FPGA
    +關(guān)注

    關(guān)注

    1624

    文章

    21539

    瀏覽量

    600518
  • 驅(qū)動器
    +關(guān)注

    關(guān)注

    52

    文章

    8057

    瀏覽量

    145629
  • gpu
    gpu
    +關(guān)注

    關(guān)注

    27

    文章

    4632

    瀏覽量

    128446
收藏 人收藏

    評論

    相關(guān)推薦

    深度學(xué)習(xí)GPU加速效果如何

    圖形處理器(GPU)憑借其強(qiáng)大的并行計(jì)算能力,成為加速深度學(xué)習(xí)任務(wù)的理想選擇。
    的頭像 發(fā)表于 10-17 10:07 ?76次閱讀

    Achronix Speedster7t FPGAGPU解決方案的比較

    這篇針對大模型推理跟GPU對比分析,雖然以Llama2為例,也適用于最新的Llama3,模型的日新月易也更進(jìn)一步說明硬件平臺的可編程可擴(kuò)展的重要性,FPGA是其中一個不錯的選擇。
    的頭像 發(fā)表于 09-18 16:19 ?194次閱讀
    Achronix Speedster7t <b class='flag-5'>FPGA</b>與<b class='flag-5'>GPU</b>解決方案的比較

    FPGA與MCU的應(yīng)用場景

    大量計(jì)算任務(wù),這在實(shí)時處理等應(yīng)用中尤為重要。 高性能計(jì)算 FPGA在處理復(fù)雜算法和大規(guī)模數(shù)據(jù)時表現(xiàn)出色,特別是在人工智能(AI)和機(jī)器學(xué)習(xí)(ML)領(lǐng)域。它們可以加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和推理
    發(fā)表于 07-29 15:45

    信號計(jì)算主板設(shè)計(jì)方案:735-基于3U VPX的AGX Xavier GPU計(jì)算主板

    3U VPX導(dǎo)冷結(jié)構(gòu) , FPGA信號預(yù)處理 , GPU顯卡 , PCIE視頻處理 , GPU計(jì)算主板
    的頭像 發(fā)表于 07-18 11:31 ?398次閱讀
    信號<b class='flag-5'>計(jì)算</b>主板設(shè)計(jì)方案:735-基于3U VPX的AGX Xavier <b class='flag-5'>GPU</b><b class='flag-5'>計(jì)算</b>主板

    科普:GPUFPGA,有何異同

    來源:內(nèi)容由半導(dǎo)體行業(yè)觀察(ID:icbank)編譯自techspot,謝謝。圖形處理單元(GPU)和現(xiàn)場可編程門陣列(FPGA)是用于成像和其他繁重計(jì)算的三種主要處理器類型中的兩種。中央處理器
    的頭像 發(fā)表于 06-15 08:27 ?573次閱讀
    科普:<b class='flag-5'>GPU</b>和<b class='flag-5'>FPGA</b>,有何異同

    借助全新 AMD Alveo? V80 計(jì)算加速卡釋放計(jì)算能力

    對于大規(guī)模數(shù)據(jù)處理,最佳性能不僅取決于原始計(jì)算能力,還取決于高存儲器帶寬。 因此,全新 AMD Alveo? V80 計(jì)算加速卡專為具有大型數(shù)據(jù)集的內(nèi)存受限型應(yīng)用而設(shè)計(jì),這些應(yīng)用需要
    發(fā)表于 05-16 14:09 ?178次閱讀
    借助全新 AMD Alveo? V80 <b class='flag-5'>計(jì)算</b><b class='flag-5'>加速</b>卡釋放<b class='flag-5'>計(jì)算</b>能力

    FPGA異構(gòu)計(jì)算架構(gòu)的深度對比研究

    FPGA本質(zhì)是一種可編程的芯片??梢园延布O(shè)計(jì)重復(fù)燒寫在它的可編程存儲器里,從而使FPGA芯片可以執(zhí)行不同的硬件設(shè)計(jì)和功能。
    發(fā)表于 04-01 14:53 ?575次閱讀
    <b class='flag-5'>FPGA</b>異構(gòu)<b class='flag-5'>計(jì)算</b>架構(gòu)的深度<b class='flag-5'>對比</b>研究

    fpgagpu的區(qū)別

    FPGA(現(xiàn)場可編程門陣列)和GPU(圖形處理器)在多個方面存在顯著的區(qū)別。
    的頭像 發(fā)表于 03-27 14:23 ?1047次閱讀

    FPGA在深度學(xué)習(xí)應(yīng)用中或?qū)⑷〈?b class='flag-5'>GPU

    現(xiàn)場可編程門陣列 (FPGA) 解決了 GPU 在運(yùn)行深度學(xué)習(xí)模型時面臨的許多問題 在過去的十年里,人工智能的再一次興起使顯卡行業(yè)受益匪淺。英偉達(dá) (Nvidia) 和 AMD 等公司的股價也大幅
    發(fā)表于 03-21 15:19

    FPGAGPU在神經(jīng)網(wǎng)絡(luò)構(gòu)建中的對比研究

    嵌入式工程師常見的情況是在硬件加速器(如FPGA)和主機(jī)CPU之間建立通信。這項(xiàng)工作因其繁瑣和容易出錯而臭名昭著。
    發(fā)表于 02-22 16:30 ?686次閱讀
    <b class='flag-5'>FPGA</b>與<b class='flag-5'>GPU</b>在神經(jīng)網(wǎng)絡(luò)構(gòu)建中的<b class='flag-5'>對比</b>研究

    FPGA、ASIC、GPU誰是最合適的AI芯片?

    CPU、GPU遵循的是馮·諾依曼體系結(jié)構(gòu),指令要經(jīng)過存儲、譯碼、執(zhí)行等步驟,共享內(nèi)存在使用時,要經(jīng)歷仲裁和緩存。 而FPGA和ASIC并不是馮·諾依曼架構(gòu)(是哈佛架構(gòu))。以FPGA
    發(fā)表于 01-06 11:20 ?1238次閱讀
    <b class='flag-5'>FPGA</b>、ASIC、<b class='flag-5'>GPU</b>誰是最合適的AI芯片?

    如何能夠?qū)崿F(xiàn)通用FPGA問題?

    FPGA 是一種偽通用計(jì)算加速器,與 GPGPU(通用 GPU)類似,FPGA 可以很好地卸載特定類型的
    發(fā)表于 12-29 10:29 ?388次閱讀

    FPGAGPU的區(qū)別

    FPGA(現(xiàn)場可編程門陣列)和GPU(圖形處理器)是兩種常見的硬件加速器,用于提高計(jì)算和處理速度。盡管它們在很多方面都有重疊,但在架構(gòu)、設(shè)計(jì)和應(yīng)用上存在許多區(qū)別。在本文中,我們將詳細(xì)探
    的頭像 發(fā)表于 12-25 15:28 ?1554次閱讀

    177倍加速!NVIDIA最新開源 | GPU加速各種SDF建圖!

    但最近,NVIDIA和ETHZ就聯(lián)合提出了nvblox,是一個使用GPU加速SDF建圖的庫。計(jì)算速度非???,相較CPU計(jì)算TSDF甚至快了177倍。更重要的是,因?yàn)樗袛?shù)據(jù)都已經(jīng)
    的頭像 發(fā)表于 11-09 16:46 ?1026次閱讀
    177倍<b class='flag-5'>加速</b>!NVIDIA最新開源 | <b class='flag-5'>GPU</b><b class='flag-5'>加速</b>各種SDF建圖!

    FPGA和CPU、GPU有什么區(qū)別?為什么越來越重要?

    ,在數(shù)據(jù)中心高性能計(jì)算及 AI 訓(xùn)練中,CPU 這一“主角”的重要性下降,而以往的“配角們”,即 GPU、FPGA、TPU、DPU 等的加速器的重要性在上升。 圖3:MLP網(wǎng)絡(luò)本質(zhì)
    發(fā)表于 11-09 14:09