簡單三步在Windows上調(diào)用低功耗NPU部署AI模型

相信很多小伙伴都已經(jīng)知道，在最新一代的英特爾 酷睿 Ultra 移動端處理中已經(jīng)集成了被稱為 NPU 的神經(jīng)網(wǎng)絡加速處理器，以提供低功耗的 AI 算力，特別適合于 PC 端需要長時間穩(wěn)定運行的 AI 輔助功能，例如會議聊天軟件中的自動摳像，或是畫面超分辨率等應用。而 OpenVINO 工具套件也在第一時間對 NPU 進行了適配，接下來就讓我們一起看一下如何在英特爾 酷睿 Ultra 處理器上搭建基礎環(huán)境，并調(diào)用 NPU 進行模型推理任務。

NPU 驅(qū)動安裝

首先我們需要確保是否安裝了最新版的 NPU 驅(qū)動，可以通過 Windows 任務管理調(diào)出當前 NPU 驅(qū)動版本信息。

圖：NPU 在 Windows 任務管理器中顯示驅(qū)動版本

查詢當前最新的 NPU 驅(qū)動版本：

https://www.intel.com/content/www/us/en/download/794734/intel-npu-driver-windows.html

圖：NPU 驅(qū)動下載頁面

如果想更新或是重裝 NPU 驅(qū)動，可以參考以下指引下載并安裝驅(qū)動：

https://docs.openvino.ai/2023.3/openvino_docs_install_guides_configurations_for_intel_npu.html

OpenVINO 的下載和安裝

由于目前 NPU Plugin 還沒有被集成在 OpenVINO 的 PyPI 安裝包中，因此我們需要通過下載 OpenVINO runtime 壓縮包的方式進行安裝。

圖：OpenVINO 下載頁面

整個安裝過程非常簡單，只需將壓縮包解壓到在本地路徑下即可。具體方法可以參考上圖標紅處的安裝說明。

圖：將壓縮包解壓至本地路徑

Python 環(huán)境配置

通過執(zhí)行壓縮包中的 setupvars.bat 環(huán)境配置腳本，我們便可以直接在 Python 環(huán)境下加載 OpenVINO runtime 和 NPU Plugin 環(huán)境。同時利用 OpenVINO 的 Python API 指令，我們可以快速驗證 NPU 是否可以被正常調(diào)用。

圖：Python 環(huán)境中驗證 NPU 調(diào)用

C++ 環(huán)境配置

不同于 Python，Windows 上的 C++ 應用需要依賴于 CMake 或者是 Visual Studio 的環(huán)境下調(diào)試，因此這里我們需要簡單配置下 OpenVINO 庫的路徑。下面以 Visual Studio 中新建項目的屬性配置頁面為例。

圖：配置 OpenVINO runtime 頭文件路徑

圖：配置 OpenVINO runtime 動態(tài)庫路徑

圖：配置 OpenVINO runtime 及 frontednd 靜態(tài)庫路徑

圖：在 Windows 本地添加 OpenVINO 環(huán)境變量路徑

當完成 Visual Studio 項目屬性配置后，我們可以通過調(diào)試以下示例代碼，測試 NPU 是否可以被檢測及調(diào)用。

#include 
#include 


int main(int argc, char* argv[]) {


  // -------- Get OpenVINO runtime version --------
  std::cout << ov::get_openvino_version() << std::endl;


 ? ?// -------- Step 1. Initialize OpenVINO Runtime Core --------
 ? ?ov::Core core;


 ? ?// -------- Step 2. Get list of available devices --------
 ? ?std::vector availableDevices = core.get_available_devices();


  // -------- Step 3. Query and print supported metrics and config keys --------
  std::cout << "available devices: " << std::endl;
 ? ?for (auto&& device : availableDevices) {
 ? ? ? ?std::cout << device << std::endl;
 ? ?}
}

圖：VS 環(huán)境中驗證 NPU 調(diào)用

測試效果

當完成 NPU 安裝后，我們可以通過 OpenVINO notebooks 中提供的示例，簡單測試下 NPU 的性能。這個示例會通過以下 Python 代碼來將模型部署在 NPU 上。

compiled_model = core.compile_model("model.xml", "NPU")

圖：實時人體關鍵點演示效果

可以看到 NPU 在運行實時人體關鍵點檢測模型時的效果和速度還是非常不錯的，達到了 90FPS 的吞吐量，同時推理任務幾乎也沒有占用 CPU 額外的資源，真正做到了在提供高算力的同時，減輕 CPU 和 GPU 的任務負載。

審核編輯：劉清