用于深度學(xué)習(xí)推理的高性能工具包

近年來(lái)，深度神經(jīng)網(wǎng)絡(luò)在將計(jì)算機(jī)視覺(jué)算法的準(zhǔn)確性提升到一個(gè)新的水平方面取得了重大進(jìn)展。OpenVINO 工具包就是這樣一個(gè)示例，它可以在提供高性能的同時(shí)優(yōu)化 DNN 模型。

英特爾其 OpenVINO 工具套件的最新版本 （2022.1），可為任何地方的開(kāi)發(fā)人員提供更簡(jiǎn)單的部署。OpenVINO 是“Open Visual Inference and Neural Network Optimization”的縮寫(xiě)，是一個(gè)跨平臺(tái)的深度學(xué)習(xí)工具包，可提供額外的深度學(xué)習(xí)模型、設(shè)備可移植性和更高的推理性能，代碼更改更少。它專(zhuān)注于通過(guò)一次寫(xiě)入、隨處部署的方法來(lái)增強(qiáng)深度神經(jīng)網(wǎng)絡(luò)推理，從而優(yōu)化應(yīng)用程序的開(kāi)發(fā)生命周期。

該工具包有兩個(gè)版本，一個(gè)開(kāi)源 OpenVINO 工具包和一個(gè)英特爾 Distribution of OpenVINO 工具包。OpenVINO 工具包主要用于開(kāi)發(fā)各種問(wèn)題的快速解決方案，如模擬人類(lèi)視覺(jué)、語(yǔ)音識(shí)別、自然語(yǔ)言處理、推薦系統(tǒng)等。它為開(kāi)發(fā)人員在其 AI 界面上工作以及采用和維護(hù)提供了一種更簡(jiǎn)單的替代方案他們的代碼。OpenVINO 建立在最新一代人工神經(jīng)網(wǎng)絡(luò) （ANN） 的基礎(chǔ)上，例如卷積神經(jīng)網(wǎng)絡(luò) （CNN） 以及循環(huán)和基于注意力的網(wǎng)絡(luò)。

在英特爾硬件中，OpenVINO 包含計(jì)算機(jī)視覺(jué)和非計(jì)算機(jī)視覺(jué)工作負(fù)載。通過(guò)其眾多功能，它確保了最大的性能并加快了應(yīng)用程序的開(kāi)發(fā)。它提供了來(lái)自自己的 Open Model Zoo 的預(yù)訓(xùn)練模型，這些模型提供了優(yōu)化的模型。OpenVINO 提供了模型優(yōu)化器 API，可以轉(zhuǎn)換您提供的模型并為推理做好準(zhǔn)備。推理引擎允許用戶(hù)通過(guò)編譯優(yōu)化的網(wǎng)絡(luò)和管理特定設(shè)備上的推理操作來(lái)調(diào)整性能。而且由于該工具包與大多數(shù)框架兼容，因此干擾最小，性能最高。

英特爾的 OpenVINO 工具套件分發(fā)版旨在促進(jìn)和簡(jiǎn)化高性能計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)推理應(yīng)用程序在廣泛使用的英特爾平臺(tái)上的開(kāi)發(fā)、創(chuàng)建和部署。OpenVINO 的應(yīng)用范圍從自動(dòng)化和安全到農(nóng)業(yè)、醫(yī)療保健等等。

版本 2022.1 的功能

此版本為之前的 2021.3 版本提供了錯(cuò)誤修復(fù)和功能更改。

更新，更清潔的 API

這個(gè)新版本使維護(hù)開(kāi)發(fā)人員的代碼變得更加容易。它可以與最小化轉(zhuǎn)換的 TensorFlow 約定集成。此版本減少了模型優(yōu)化器中的 API 參數(shù)，以最大限度地降低復(fù)雜性。另一方面，在開(kāi)放式神經(jīng)網(wǎng)絡(luò)交換 （ONNX*） 模型上的模型轉(zhuǎn)換性能得到了顯著提升。

更廣泛的模型支持

用戶(hù)可以在包括自然語(yǔ)言處理 （NLP）、雙精度和計(jì)算機(jī)視覺(jué)在內(nèi)的各種深度學(xué)習(xí)模型中輕松部署應(yīng)用程序。以 NLP 為重點(diǎn)，以及額外類(lèi)別的異常檢測(cè)，預(yù)訓(xùn)練模型可用于工業(yè)檢查、降噪、問(wèn)答、翻譯和文本到語(yǔ)音。

便攜性和性能

此版本承諾通過(guò)跨 CPU、GPU 等的自動(dòng)設(shè)備發(fā)現(xiàn)、負(fù)載平衡和動(dòng)態(tài)推理并行性來(lái)提升性能。

OpenVINO 工具包附加組件

計(jì)算機(jī)視覺(jué)注釋工具

數(shù)據(jù)集管理框架

深度學(xué)習(xí)流媒體

神經(jīng)網(wǎng)絡(luò)壓縮框架

OpenVINO 模型服務(wù)器

OpenVINO 安全插件

培訓(xùn)擴(kuò)展

OpenVINO 的工作原理

圖片來(lái)源：Viso.ai

OpenVINO 工具包由各種開(kāi)發(fā)和部署工具組成，其中包括一套完全配置的預(yù)訓(xùn)練模型和用于評(píng)估的硬件。以下步驟描述了 OpenVINO 的工作原理：

先決條件：設(shè)置 OpenVINO

在開(kāi)始實(shí)際工作流程之前，請(qǐng)確保您選擇了主機(jī)、目標(biāo)平臺(tái)和模型。該工具支持 Linux、Windows、macOS 和 Raspbian 等操作系統(tǒng)。至于深度學(xué)習(xí)模型訓(xùn)練框架，它支持TensorFlow、Caffe、MXNet、Kaldi，以及開(kāi)放神經(jīng)網(wǎng)絡(luò)交換（ONNX）模型格式。

第 1 步：訓(xùn)練模型

第一步是準(zhǔn)備和訓(xùn)練深度學(xué)習(xí)模型。您可以從 Open Model Zoo 中找到預(yù)訓(xùn)練的模型，也可以構(gòu)建自己的模型。OpenVINO 為公共模型提供經(jīng)過(guò)驗(yàn)證的支持，并在存儲(chǔ)庫(kù)中提供一系列代碼示例和演示。您可以使用腳本為用于訓(xùn)練模型的框架配置模型優(yōu)化器。

第 2 步：轉(zhuǎn)換和優(yōu)化模型

配置模型后，您可以運(yùn)行模型優(yōu)化器將模型轉(zhuǎn)換為中間表示 （IR），該中間表示 （IR） 以一對(duì)文件（.xml 和 .bin）的形式表示。除了這對(duì)文件（.xml 和 .bin）之外，模型優(yōu)化器還通過(guò)輸出診斷消息來(lái)幫助進(jìn)一步調(diào)整。

第 3 步：調(diào)整性能

在這一步中，推理引擎用于編譯優(yōu)化模型。推理引擎是一種高級(jí)（C、C++ 或 Python*）推理 API，它作為每種硬件類(lèi)型的動(dòng)態(tài)加載插件實(shí)現(xiàn)。它為每個(gè)硬件提供最佳性能，無(wú)需維護(hù)多個(gè)代碼路徑。

第 4 步：部署應(yīng)用程序

推理引擎用于部署應(yīng)用程序。使用部署管理器，您可以通過(guò)將模型、IR 文件、應(yīng)用程序和相關(guān)依賴(lài)項(xiàng)組裝到目標(biāo)設(shè)備的運(yùn)行時(shí)包中來(lái)創(chuàng)建開(kāi)發(fā)包。

綜上所述，這個(gè)新版本的 OpenVINO 工具包提供了許多好處，不僅優(yōu)化了用戶(hù)部署應(yīng)用程序的體驗(yàn)，還增強(qiáng)了性能參數(shù)。它使用戶(hù)能夠開(kāi)發(fā)具有易于部署、更多深度學(xué)習(xí)模型、更多設(shè)備可移植性和更高推理性能且代碼更改更少的應(yīng)用程序。

審核編輯：郭婷