為嵌入式應(yīng)用程序優(yōu)化 AI

在我之前的博客中，我談到了對基于 AI 的界面的需求如何變得幾乎不可避免——并且添加一個基于 AI 的界面（如 face-id）來授權(quán)對機器的訪問，乍一看似乎是一個巨大的飛躍，但實際上并非如此有你想象的那么困難。有大量可用的 AI 平臺、大量培訓選項甚至開源應(yīng)用程序，例如face-id 示例。您可以使用可以在 PC 上運行的原型快速啟動和測試。

約束

將訓練有素的網(wǎng)絡(luò)遷移到您的嵌入式應(yīng)用程序似乎是另一個巨大的障礙。PC 或云訓練的網(wǎng)絡(luò)并沒有針對內(nèi)存使用或功耗進行太多優(yōu)化。他們可能會使用浮點數(shù)或雙字進行網(wǎng)絡(luò)計算，并且在處理圖像上的滑動窗口時會嚴重依賴片外內(nèi)存訪問。對于在插入墻上電源的高性能 PC 上運行的原型來說，這不是問題，但您需要在最終應(yīng)用程序中更加節(jié)儉，同時不影響性能。

優(yōu)化的要點

優(yōu)化的一個關(guān)鍵步驟稱為量化。將權(quán)重從浮點切換到定點并減小定點大小，例如從 32 位浮點到 8 位整數(shù)，不僅會影響權(quán)重的大小，還會影響中間計算值。僅此一項就可以顯著減少內(nèi)存占用，在大多數(shù)情況下對識別質(zhì)量幾乎沒有明顯影響。

第二個操作是利用權(quán)重的稀疏性，對準確性的影響最小。這種做法將利用接近零的權(quán)重，并將它們四舍五入為零，同時密切跟蹤準確性影響。權(quán)重用于乘以部分和，當其中一個因素為零時，這是沒有意義的練習，因此無需執(zhí)行操作。

在實際實現(xiàn)中，圖像是增量處理的，因此當計算窗口在圖像上移動時必須更新權(quán)重。這可以帶來很多更新和大量流量。通過強制大部分權(quán)重為零，可以壓縮權(quán)重數(shù)組，從而可以將所有或大部分數(shù)組存儲在片上 SRAM 中，以便按需解壓縮。這反過來又最大限度地減少了訪問主存儲器的需要，從而提高了性能并降低了功耗。它還偶然減少了加載重量時的片上流量。更少的流量爭用意味著更高的吞吐量。

還應(yīng)考慮一個因素。像大多數(shù)復雜的應(yīng)用程序一樣，神經(jīng)網(wǎng)絡(luò)依賴于復雜的庫。您需要使用專為在微控制器環(huán)境中使用而設(shè)計的庫，并將編譯器用于您選擇的平臺。一個好的起點可能是開源庫，例如TensorFlow Lite，但要充分利用微控制器，就需要專門定制的解決方案。

當然，知道你必須做什么并不容易。您現(xiàn)在需要找到一個能夠簡化這些操作并提供硬件優(yōu)化庫的平臺。

我如何使它成為一個易于使用的流程？

您想要的是一個流程，您可以在其中使用您在特定平臺（例如 TensorFlow）上訓練的網(wǎng)絡(luò)，并將其直接編譯到您的嵌入式解決方案中——除了撥打一些基本要求外，無需干預。當然，您還希望該選項能夠進一步手動優(yōu)化，可能在不同的平面上設(shè)置不同的量化級別。也許可以嘗試權(quán)重閾值與片上內(nèi)存大小。您需要針對硬件優(yōu)化的庫和針對庫優(yōu)化的硬件。

CEVA 的CDNN等經(jīng)過驗證的 AI 平臺旨在提供這種類型的流程。CDNN 為量化和運行時任務(wù)生成提供離線處理器工具集，以及為 CEVA DSP 和客戶用戶硬件加速器定制的運行時庫。CEVA 的解決方案支持所有流行的 AI 模型格式，包括 TensorFlow Lite、ONNX、Caffe 等。

審核編輯 黃昊宇