利用設(shè)計(jì)網(wǎng)關(guān)的 IP 內(nèi)核在 Xilinx VCK190 評(píng)估套件上加速人工智能應(yīng)用

Xilinx 的 Versal AI Core 系列器件旨在解決獨(dú)特且最困難的 AI 推理問(wèn)題，方法是使用高計(jì)算效率 ASIC 級(jí) AI 計(jì)算引擎和靈活的可編程結(jié)構(gòu)來(lái)構(gòu)建具有加速器的 AI 應(yīng)用，從而最大限度地提高任何給定工作負(fù)載的效率，同時(shí)提供低功耗和低延遲。

Versal AI Core 系列VCK190 評(píng)估套件采用VC1902器件，該器件在產(chǎn)品組合中具有最佳的 AI 性能。該套件專(zhuān)為需要高吞吐量 AI 推理和信號(hào)處理計(jì)算性能的設(shè)計(jì)而設(shè)計(jì)。VCK190 套件的計(jì)算能力是當(dāng)前服務(wù)器級(jí) CPU 的 100 倍，并具有多種連接選項(xiàng)，是從云到邊緣的各種應(yīng)用的理想評(píng)估和原型設(shè)計(jì)平臺(tái)。

圖 1：賽靈思 Versal AI 內(nèi)核系列 VCK190 評(píng)估套件。（圖片來(lái)源：AMD， Inc）

VCK190 評(píng)估套件的主要特性

• 板載 Versal AI 核心系列設(shè)備
  • 配備 Versal ACAP XCVC1902 量產(chǎn)芯片
  • AI 和 DSP 引擎的計(jì)算性能比當(dāng)今的服務(wù)器級(jí) CPU 高 100 倍
  • 用于快速原型設(shè)計(jì)的預(yù)構(gòu)建合作伙伴參考設(shè)計(jì)
• 用于前沿應(yīng)用開(kāi)發(fā)的最新連接技術(shù)
  • 內(nèi)置 PCIe 第 4 代硬 IP，用于高性能設(shè)備接口，如 NVMe? 固態(tài)盤(pán)和主機(jī)處理器
  • 內(nèi)置 100G EMAC 硬 IP，用于高速 100G 網(wǎng)絡(luò)接口
  • DDR4 和 LPDDR4 內(nèi)存接口
• 協(xié)同優(yōu)化工具和調(diào)試方法
  • Vivado? ML， Vitis 統(tǒng)一軟件平臺(tái)， Vitis? AI， 用于 AI 推理應(yīng)用開(kāi)發(fā)的 AI 引擎工具

利用賽靈思 Versal AI 內(nèi)核系列器件實(shí)現(xiàn) AI 接口加速

圖 2：賽靈思 Versal AI 內(nèi)核 VC1902 ACAP 器件框圖。（圖片來(lái)源：AMD， Inc）

Versal? AI Core 自適應(yīng)計(jì)算加速平臺(tái) （ACAP） 是一款高度集成的多核異構(gòu)設(shè)備，可在硬件和軟件級(jí)別動(dòng)態(tài)適應(yīng)各種 AI 工作負(fù)載，使其成為 AI 邊緣計(jì)算應(yīng)用或云加速器卡的理想選擇。該平臺(tái)集成了用于嵌入式計(jì)算的下一代標(biāo)量引擎、用于硬件靈活性的自適應(yīng)引擎，以及由 DSP 引擎和用于推理和信號(hào)處理的革命性 AI 引擎組成的智能引擎。其結(jié)果是一個(gè)適應(yīng)性強(qiáng)的加速器，其性能、延遲和能效超過(guò)了傳統(tǒng) FPGA 和 GPU 的性能、延遲和能效，適用于 AI/ML 工作負(fù)載。

Versal ACAP 平臺(tái)亮點(diǎn)

• 適應(yīng)性強(qiáng)的引擎：
  • 自定義內(nèi)存層次結(jié)構(gòu)優(yōu)化了加速器內(nèi)核的數(shù)據(jù)移動(dòng)和管理
  • 預(yù)處理和后處理功能，包括神經(jīng)網(wǎng)絡(luò) RT 壓縮和圖像縮放
• 人工智能引擎 （DPU）
  • 矢量處理器的平鋪陣列，使用 XCVC1902 設(shè)備（稱(chēng)為深度學(xué)習(xí)處理單元或 DPU）時(shí)，性能高達(dá) 133 INT8 TOPS
  • 非常適合神經(jīng)網(wǎng)絡(luò)，包括CNN，RNN和MLP;硬件可適應(yīng)不斷演變的算法進(jìn)行優(yōu)化
• 標(biāo)量引擎
  • 四核ARM處理子系統(tǒng)，用于安全、電源和比特流管理的平臺(tái)管理控制器

VCK190 人工智能推理性能

與當(dāng)前服務(wù)器級(jí) CPU 相比，VCK190 能夠提供超過(guò) 100 倍的計(jì)算性能。下面是基于 C32B6 DPU 內(nèi)核的 AI 引擎實(shí)現(xiàn)的性能示例，批處理 = 6。有關(guān) VCK190 上各種神經(jīng)網(wǎng)絡(luò)樣本的吞吐量性能（以幀/秒或 fps 為單位），DPU 以 1250 MHz 運(yùn)行，請(qǐng)參閱下表。

表 1：VCK190 AI 推理性能示例。

有關(guān) VCK190 AI 性能的更多詳細(xì)信息，請(qǐng)參閱 Vitis AI 庫(kù)用戶(hù)指南 （UG1354）， r2.5.0 athttps://docs.xilinx.com/r/en-US/ug1354-xilinx-ai-sdk/VCK190-Evaluation-Board

設(shè)計(jì)網(wǎng)關(guān)的 IP 核如何提高 AI 應(yīng)用程序性能？

設(shè)計(jì)網(wǎng)關(guān)的IP 核設(shè)計(jì)用于處理網(wǎng)絡(luò)和數(shù)據(jù)存儲(chǔ)協(xié)議，無(wú)需 CPU 干預(yù)。這使得將CPU系統(tǒng)從復(fù)雜的協(xié)議處理中完全卸載成為理想的選擇，并使它們能夠?qū)⒋蟛糠钟?jì)算能力用于AI應(yīng)用程序，包括AI推理，前后數(shù)據(jù)處理，用戶(hù)界面，網(wǎng)絡(luò)通信和數(shù)據(jù)存儲(chǔ)訪(fǎng)問(wèn)，以獲得最佳性能。

圖 3：具有設(shè)計(jì)網(wǎng)關(guān) IP 核的示例 AI 應(yīng)用程序的框圖。（圖片來(lái)源：設(shè)計(jì)網(wǎng)關(guān)）

設(shè)計(jì)網(wǎng)關(guān)的 TCP 卸載引擎 IP （TOExxG-IP） 性能

傳統(tǒng) CPU 系統(tǒng)處理超過(guò) 10GbE 或 25GbE 的高速、高吞吐量 TCP 數(shù)據(jù)流需要超過(guò) 50% 的 CPU 時(shí)間，這會(huì)降低 AI 應(yīng)用程序的整體性能。根據(jù)賽靈思MPSoC Linux系統(tǒng)上的10G TCP性能測(cè)試，10GbE TCP傳輸過(guò)程中的CPU使用率超過(guò)50%，TCP發(fā)送和接收數(shù)據(jù)傳輸速度可以達(dá)到10GbE速度的40%至60%左右或400 MB / s至600 MB / s。

通過(guò)實(shí)施設(shè)計(jì)網(wǎng)關(guān)的TOExxG-IP 內(nèi)核，通過(guò) 10GbE 和 25GbE 傳輸?shù)?CPU 使用率可以降低到幾乎 0%，同時(shí)以太網(wǎng)帶寬利用率可以達(dá)到接近 100%。這允許通過(guò)純硬件邏輯直接通過(guò) TCP 網(wǎng)絡(luò)發(fā)送和接收數(shù)據(jù)，并以最小的 CPU 使用率和盡可能低的延遲饋送到 Versal AI 引擎。下面的圖 4 顯示了 TOExxG-IP 和 MPSoC Linux 系統(tǒng)之間的 CPU 使用率和 TCP 傳輸速度比較。

圖 4：MPSoC Linux 系統(tǒng)和 Design Gateway 的 TOExxG-IP 內(nèi)核對(duì) 10G/25G TCP 傳輸?shù)男阅鼙容^。（圖片來(lái)源：設(shè)計(jì)網(wǎng)關(guān)）

設(shè)計(jì)網(wǎng)關(guān)的 TOExxG-IP for Versal 設(shè)備

圖 5：TOExxG-IP 系統(tǒng)概述。（圖片來(lái)源：設(shè)計(jì)網(wǎng)關(guān)）

TOExxG-IP 內(nèi)核實(shí)現(xiàn)了 TCP/IP 堆棧（硬線(xiàn)邏輯），并與賽靈思的 EMAC 硬 IP 和以太網(wǎng)子系統(tǒng)模塊連接，以實(shí)現(xiàn) 10G/25G/100G 以太網(wǎng)速度的下層硬件接口。TOExxG-IP 的用戶(hù)界面由用于控制信號(hào)的寄存器接口和用于數(shù)據(jù)信號(hào)的 FIFO 接口組成。TOExxG-IP 設(shè)計(jì)用于通過(guò) AXI4-ST 接口與賽靈思以太網(wǎng)子系統(tǒng)連接。用戶(hù)界面的時(shí)鐘頻率取決于以太網(wǎng)接口速度（例如，156.625 MHz 或 322.266 MHz）。

TOExxG-IP的特點(diǎn)

• 完整的 TCP/IP 堆棧實(shí)現(xiàn)，無(wú)需 CPU
• 支持一個(gè)會(huì)話(huà)與一個(gè) TOExxG-IP
• 可以使用多個(gè) TOExxG-IP 實(shí)例實(shí)現(xiàn)多會(huì)話(huà)
• 支持服務(wù)器和客戶(hù)端模式（被動(dòng)/主動(dòng)打開(kāi)和關(guān)閉）
• 支持巨型幀
• 通過(guò)標(biāo)準(zhǔn)先進(jìn)先出接口實(shí)現(xiàn)簡(jiǎn)單的數(shù)據(jù)接口
• 通過(guò)單端口 RAM 接口實(shí)現(xiàn)簡(jiǎn)單的控制接口

XCVC1902-VSVA2197-2MP-ES FPGA 器件上的 FPGA 資源使用情況如下表 2 所示。

表 2：Versal 設(shè)備的實(shí)現(xiàn)統(tǒng)計(jì)信息示例。

TOExxG-IP 的更多詳細(xì)信息在其數(shù)據(jù)表中進(jìn)行了描述，可通過(guò)以下鏈接從設(shè)計(jì)網(wǎng)關(guān)的網(wǎng)站下載：

• TOE10G-IP Core Xilinx Datasheet
• TOE25G-IP Core Xilinx Datasheet
• TOE100G-IP Core Xilinx Datasheet

Design Gateway's NVMe Host Controller IP performance

NVMe Storage interface speed with PCIe Gen3 x4 or PCIe Gen4 x4 has data rates up to 32 Gbps and 64 Gbps. This is three to six times higher than 10GbE Ethernet speed. Processing complicated NVMe storage protocol by the CPU to achieve the highest possible disk access speed requires more CPU time than TCP protocol over 10GbE.

Design Gateway solved this problem by developing the NVMe IP core that is able to run as a standalone NVMe host controller, able to communicate with an NVMe SSD directly without the CPU. This enables a high efficiency and performance of the NVMe PCIe Gen3 and Gen4 SSD access, which simplifies the user interface and standard features for ease of usage without needing knowledge of the NVMe protocol. NVMe PCIe Gen4 SSD performance can achieve up to a 6 GB/s transfer speed with NVMe IP as shown in Figure 6.

Figure 6: Performance comparison of NVMe PCIe Gen3 and Gen4 SSD with Design Gateway's NVMe-IP Core. (Image source: Design Gateway)

Design Gateway's NVMe-IP’s for Versal devices

Figure 7: NVMe-IP systems overview. (Image source: Design Gateway)

NVMe-IP’s features

• Able to implement application layer, transaction layer, data link layer, and some parts of the physical layer to access the NVMe SSD without a CPU or external DDR memory
• Operates with Xilinx PCIe Gen3 and Gen4 Hard IP
• 能夠利用BRAM和URAM作為數(shù)據(jù)緩沖區(qū)，而無(wú)需外部存儲(chǔ)器接口
• 支持六個(gè)命令：識(shí)別、關(guān)機(jī)、寫(xiě)入、讀取、SMART 和刷新（提供可選的附加命令支持）

XCVC1902-VSVA2197-2MP-E-S FPGA 器件上的 FPGA 資源使用情況如表 2 所示。

表 3：Versal 設(shè)備的實(shí)現(xiàn)統(tǒng)計(jì)信息示例。

有關(guān) Versal 器件的 NVMe-IP 的更多詳細(xì)信息，請(qǐng)參見(jiàn)其數(shù)據(jù)表，可通過(guò)以下鏈接從 Design Gateway 的網(wǎng)站下載：

面向第四代賽靈思的 NVMe IP 核數(shù)據(jù)表

結(jié)論

TOExxG-IP 和 NVMe-IP 內(nèi)核都可以通過(guò)將 CPU 系統(tǒng)從計(jì)算和內(nèi)存密集型協(xié)議（如 TCP 和 NVMe 存儲(chǔ)協(xié)議）中完全卸載來(lái)幫助加速 AI 應(yīng)用程序性能，這對(duì)于實(shí)時(shí) AI 應(yīng)用程序至關(guān)重要。這使得賽靈思的 Versal AI Core 系列器件能夠執(zhí)行 AI 推理和高性能計(jì)算應(yīng)用，而不會(huì)出現(xiàn)網(wǎng)絡(luò)和數(shù)據(jù)存儲(chǔ)協(xié)議處理的瓶頸或延遲。

VCK190 評(píng)估套件和 Design Gateway 的網(wǎng)絡(luò)和存儲(chǔ) IP 解決方案可在 Xilinx 的 Versal AI Core 器件上以盡可能低的 FPGA 資源使用量和極高的能效在 AI 應(yīng)用中實(shí)現(xiàn)最佳性能。