AI引擎架構(gòu)和陣列編程要求

Versal AI Core 系列可借助 AI 引擎提供突破性的 AI 推斷加速。此系列應(yīng)用范圍廣泛，包括用于云端動(dòng)態(tài)工作負(fù)載以及超高帶寬網(wǎng)絡(luò)，同時(shí)還可提供高級(jí)安全性功能。AI 和數(shù)據(jù)科學(xué) 家以及軟硬件開發(fā)者均可充分利用高計(jì)算密度的優(yōu)勢(shì)來(lái)加速提升任何應(yīng)用的性能。

AI 引擎是超長(zhǎng)指令字 (VLIW) 處理器陣列，具有高度優(yōu)化的單指令流多數(shù)據(jù)流 (SIMD) 矢量單元，專用于各種計(jì)算密集 型應(yīng)用，尤其是數(shù)字信號(hào)處理 (DSP)、5G 無(wú)線應(yīng)用和人工智能 (AI) 技術(shù)（如機(jī)器學(xué)習(xí) (ML)）等。同時(shí)，AI 引擎還是硬化的塊，可提供多級(jí)并行處理能力，包括指令級(jí)并行處理和數(shù)據(jù)級(jí)并行處理。

本指南闡述了對(duì) AI 引擎 graph 應(yīng)用進(jìn)行編譯與仿真、使用 Vitis 工具流程來(lái)集成應(yīng)用、使用 Vitis IDE、調(diào)試 AI 引擎應(yīng)用、映射器/布線器方法論、AI 引擎硬件剖析和調(diào)試方法論等內(nèi)容。

本文選取 AI 引擎架構(gòu)概述部分。

AI 引擎陣列編程要求充分理解要實(shí)現(xiàn)的算法、AI 引擎的功能以及各功能單元之間的整體數(shù)據(jù)流。AI 引擎陣列支持三種 級(jí)別的并行度：

SIMD：通過(guò)矢量寄存器，允許并行計(jì)算多個(gè)元素。

指令級(jí)別：通過(guò) VLIW 架構(gòu)，允許在單個(gè)時(shí)鐘周期內(nèi)執(zhí)行多項(xiàng)指令。

多核：通過(guò) AI 引擎陣列，即可在其中并行執(zhí)行數(shù)百個(gè) AI 引擎。

雖然對(duì)于 AI 引擎而言，大部分標(biāo)準(zhǔn) C 語(yǔ)言代碼均可編譯，但代碼可能需要大幅重構(gòu)才能在 AI 引擎陣列上實(shí)現(xiàn)最優(yōu)性能。AI 引擎的優(yōu)勢(shì)在于，它能夠在每個(gè)時(shí)鐘周期內(nèi)執(zhí)行矢量 MAC 運(yùn)算、為下一項(xiàng)運(yùn)算加載 2 個(gè) 256 位矢量、存儲(chǔ)來(lái)自上一項(xiàng)運(yùn)算的單個(gè) 256 位矢量并遞增一個(gè)指針或執(zhí)行另一次標(biāo)量運(yùn)算。AI 引擎編譯器不會(huì)執(zhí)行任何自動(dòng)矢量化或基于編譯指示的矢量化。代碼必須重寫后才能使用 SIMD 內(nèi)部數(shù)據(jù)類型（例如，v8int32）和矢量?jī)?nèi)部函數(shù)（例如， mac(…)），而這些都必須在單個(gè)流水打拍循環(huán)內(nèi)執(zhí)行，才能達(dá)成最優(yōu)性能。32 位標(biāo)量 RISC 處理器具有一個(gè) ALU、 部分非線性函數(shù)和數(shù)據(jù)類型轉(zhuǎn)換。每個(gè) AI 引擎所能訪問(wèn)的存儲(chǔ)器量是有限的，這表示大型數(shù)據(jù)集需要分區(qū)。

AI 引擎內(nèi)核即 AI 引擎上運(yùn)行的函數(shù)，這些函數(shù)構(gòu)成數(shù)據(jù)流 graph 規(guī)范的基本構(gòu)建塊。數(shù)據(jù)流 graph 是 Kahn 進(jìn)程網(wǎng)絡(luò)，具有確定性行為，不依賴于各種計(jì)算延遲或通信延遲。AI 引擎內(nèi)核聲明為空的 C/C++ 函數(shù)，通過(guò)提取窗口實(shí)參或串流實(shí)參來(lái)建立 graph 連接。內(nèi)核還可包含靜態(tài)數(shù)據(jù)和運(yùn)行時(shí)參數(shù)實(shí)參，包括異步實(shí)參或觸發(fā)實(shí)參。每個(gè)內(nèi)核都應(yīng)在其自己的源文件內(nèi)定義。

為了達(dá)成總體系統(tǒng)性能，必須廣泛閱讀了解有關(guān)架構(gòu)、分區(qū)、AI 引擎數(shù)據(jù)流 graph 生成和數(shù)據(jù)流連接最優(yōu)化等方面的 知識(shí)，積累相關(guān)經(jīng)驗(yàn)。

AMD 賽靈思提供了 DSP 和通信庫(kù)，其中包含經(jīng)最優(yōu)化的代碼，可用于 AI 引擎，應(yīng)盡可能多加利用。其中提供的源代碼也提供了強(qiáng)大的資源，供用戶學(xué)習(xí)有關(guān) AI 引擎內(nèi)核編碼的信息。

AI 引擎組件

AI 引擎陣列由二維 AI 引擎拼塊 (tile) 陣列構(gòu)成，其中每個(gè) AI 引擎拼塊均包含一個(gè) AI 引擎、存儲(chǔ)器模塊和拼塊互連模 塊。

AI 引擎：每個(gè) AI 引擎都是一個(gè)超長(zhǎng)指令字 (VLIW) 處理器，其中包含一個(gè)標(biāo)量單元、一個(gè)矢量單元、兩個(gè)加載單元和一個(gè)存儲(chǔ)單元。

AI 引擎拼塊：每個(gè) AI 引擎拼塊都包含一個(gè) AI 引擎、一個(gè)本地存儲(chǔ)器模塊，搭配多條通信路徑以促進(jìn)拼塊間的數(shù)據(jù)交換。

AI 引擎陣列：AI 引擎陣列是指 AI 引擎拼塊的完整二維陣列。

AI 引擎程序：AI 引擎程序包含以 C/C++ 編寫的數(shù)據(jù)流 graph 規(guī)范。該程序是使用 AI 引擎工具鏈來(lái)編譯并執(zhí)行的。

AI 引擎內(nèi)核：內(nèi)核是使用 AI 引擎矢量數(shù)據(jù)類型和內(nèi)部函數(shù)以 C/C++ 編寫的。這些函數(shù)均為 AI 引擎上運(yùn)行的計(jì)算函數(shù)。內(nèi)核構(gòu)成數(shù)據(jù)流 graph 規(guī)范的基本構(gòu)建塊。

ADF graph：ADF graph 是具有單個(gè) AI 引擎內(nèi)核或多個(gè) AI 引擎內(nèi)核（以數(shù)據(jù)串流連接）的網(wǎng)絡(luò)。它憑借如下特定構(gòu)造來(lái)與可編程邏輯、全局存儲(chǔ)器和處理器系統(tǒng)進(jìn)行交互，此類構(gòu)造有：PLIO（graph 編程中的端口屬性，用于建立往來(lái)可編程邏輯的串流連接）、GMIO（graph 編程中的端口屬性，用于建立往來(lái)全局存儲(chǔ)器的外部存儲(chǔ)器映射連接）和 RTP。

工具

Vitis 集成設(shè)計(jì)環(huán)境

Vitis 集成設(shè)計(jì)環(huán)境 (IDE) 可用于為賽靈思器件執(zhí)行系統(tǒng)編程，包括含多個(gè) AI 引擎內(nèi)核的 Versal 器件。在此工具中，有下列功能特性可用。

最優(yōu)化 C/C++ 編譯器，用于編譯內(nèi)核與 graph 代碼，執(zhí)行所有必要的連接、布局和檢查以確保器件上的各項(xiàng)功能正常工作。

周期近似的仿真器、加速的功能仿真器和剖析工具。

調(diào)試環(huán)境，可在仿真環(huán)境和硬件環(huán)境下使用。

Vitis 命令行工具

命令行工具可用于構(gòu)建、仿真以及生成輸出文件和報(bào)告。捕獲由 IDE 生成的命令行輸出后，有助于后續(xù)集成到客戶構(gòu)建環(huán)境內(nèi)。Vitis 分析器 IDE 可用于查看報(bào)告并分析由命令行工具生成的輸出文件和報(bào)告。

Vitis Model Composer

Vitis Model Composer 可提供基于 MATLAB 和 Simulink 的高層次圖形輸入環(huán)境，用于包含 AI 引擎、HLS 和 RTL 組件的設(shè)計(jì)仿真與代碼生成。

將 AI 引擎內(nèi)核、graph、HLS 內(nèi)核與基于 RTL 的塊導(dǎo)入同一個(gè) Simulink 設(shè)計(jì)，用于快速協(xié)同仿真。

從 Simulink 庫(kù)瀏覽器中，將經(jīng)過(guò)最優(yōu)化的 AI 引擎函數(shù)（例如，有限脈沖響應(yīng) (FIR) 和 FFT 濾波器）拖放到設(shè)計(jì)中。

使用 MATLAB 或 Simulink 中生成的激勵(lì)來(lái)驗(yàn)證設(shè)計(jì)、直觀顯示結(jié)果并將結(jié)果與黃金參考結(jié)果進(jìn)行比較。生成 graph 代碼并測(cè)試矢量。

匯編導(dǎo)入的代碼和塊庫(kù)代碼以供饋送到下游工具中。

審核編輯：郭婷