如何使用適用于微控制器的TensorFlow Lite

CEVA 是無線連接和智能傳感技術(shù)的領(lǐng)先授權(quán)商。我們的產(chǎn)品可幫助原始設(shè)備制造商 (OEM) 為移動設(shè)備、消費者、汽車、機器人、工業(yè)和物聯(lián)網(wǎng)等多種終端市場，設(shè)計節(jié)能、智能和聯(lián)網(wǎng)的設(shè)備。

CEVA
https://www.ceva-dsp.com/

在本文中，我們將說明如何使用適用于微控制器的 TensorFlow Lite (TensorFlow Lite for Microcontrollers, TFLM)，在基于 CEVA-BX DSP 內(nèi)核的裸機開發(fā)板上部署名為 WhisPro 的語音識別引擎及前端。WhisPro 可在設(shè)備端有效識別隨時出現(xiàn)的喚醒詞和語音命令。

適用于微控制器的 TensorFlow Lite
https://tensorflow.google.cn/lite/microcontrollers

圖 1 CEVA 多麥克風(fēng) DSP 開發(fā)板

WhisPro 簡介

WhisPro 是語音識別引擎及前端，主要在低功耗、資源受限的邊緣設(shè)備上運行，包含負責(zé)音頻樣本處理到檢測的整個數(shù)據(jù)流。

WhisPro 支持兩種邊緣設(shè)備用例：

始終開啟的喚醒詞檢測引擎。在此用例中，WhisPro 用于在檢測到預(yù)定義的短語時喚醒處于睡眠模式下的設(shè)備。

語音指令。在此用例中，WhisPro 用于啟用基于語音的接口。用戶可以使用自己的聲音來控制設(shè)備。常用指令有：調(diào)高音量、調(diào)低音量、播放、停止等。

WhisPro 可在集成了 CEVA BX DSP 內(nèi)核的任何 SoC 上啟用語音接口，從而為希望參與語音接口變革的 OEM 和原始設(shè)計制造商 (ODM) 降低了準(zhǔn)入門檻。

我們的動機

最初，WhisPro 是使用名為 CEVA NN Lib 的內(nèi)部神經(jīng)網(wǎng)絡(luò)庫實現(xiàn)的。盡管該實現(xiàn)具有出色的性能，但是開發(fā)過程相當(dāng)復(fù)雜。我們意識到，我們可以通過移植 TFLM 運行庫，并針對目標(biāo)硬件對其進行優(yōu)化的方式，讓整個模型移植過程將變得透明且更加可靠（大幅減少需要編寫、修改和維護的代碼量）。

為 CEVA-BX DSP 系列構(gòu)建 TFLM

首先，我們需要弄清楚如何將 TFLM 移植到我們的平臺上。我們發(fā)現(xiàn)，遵循《指南：移植到新平臺》會非常有用。

指南：移植到新平臺
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/micro/docs/new_platform_support.md

在指南的指導(dǎo)下，我們執(zhí)行了以下操作：

驗證我們的平臺支持 DebugLog() 實現(xiàn)。

在 CEVA 基于 Eclipse 的 IDE 中創(chuàng)建 TFLM 運行庫項目：

在 CEVA 的 IDE 中創(chuàng)建新的 CEVA-BX 項目

將所有必需的源文件添加到項目中

為 CEVA-BX 內(nèi)核構(gòu)建 TFLM 運行庫。
這需要對路徑（并非所有必需文件都在“micro”目錄下）、鏈接器腳本文件等編譯器標(biāo)記進行常規(guī)的調(diào)整。

DebugLog()
https://github.com/tensorflow/tensorflow/blob/master/tensorflow/lite/micro/debug_log.cc

模型移植過程

我們將從模型中的 Keras 實現(xiàn)開始演示。以下是我們在裸機目標(biāo)硬件上部署模型所采取的步驟：

使用 TF 內(nèi)置轉(zhuǎn)換器將 TensorFlow 模型轉(zhuǎn)換為 TensorFlow Lite 模型：

$ python3 -m tensorflow_docs.tools.nbfmt [options] notebook.ipynbconverter = tf.lite.TFLiteConverter.from_keras_model(keras_model) converter.experimental_new_converter = True tflite_model = converter.convert() open("converted_to_tflite_model.tflite", "wb").write(tflite_model)

執(zhí)行量化操作：

$ python3 -m tensorflow_docs.tools.nbfmt [options] notebook.ipynbconverter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE] converter.target_spec.supported_ops = [tf.lite.OpsSet.TFLITE_BUILTINS_INT8] converter.representative_dataset = representative_data_gen

使用 xxd 將 TensorFlow Lite 模型轉(zhuǎn)換為 TFLM 模型：

$ python3 -m tensorflow_docs.tools.nbfmt [options] notebook.ipynb$> xxd –I model.tflite > model.cc

TF 內(nèi)置轉(zhuǎn)換器
https://tensorflow.google.cn/lite/convert

量化
https://tensorflow.google.cn/lite/performance/model_optimization#quantization

xxd
https://linux.die.net/man/1/xxd

這里，我們發(fā)現(xiàn)TFLM（在當(dāng)時）未能很好地支持模型的某些層（如GRU）。我們期待，隨著 TFLM 的繼續(xù)完善，以及 Google 和 TFLM 社區(qū)的持續(xù)投入，類似問題將大幅減少。

在我們的案例中，我們選擇了相對容易的方式：在完全連接層方面重新實現(xiàn)GRU層。

集成

接下來是將 TFLM 運行庫和轉(zhuǎn)換后的模型集成到我們現(xiàn)有的嵌入式 C 前端。該前端將處理音頻預(yù)處理和特征提取操作。

即使我們的前端在編寫時并未考慮 TFLM，但因其有較高的模塊化程度，可通過實現(xiàn)單個簡單的封裝容器函數(shù)來輕松完成集成，具體步驟如下：

將 TFLM 運行庫鏈接到我們的嵌入式 C 應(yīng)用（WhisPro 前端）

實現(xiàn) wrapper-over-setup 函數(shù)，用于將模型映射到可用的數(shù)據(jù)結(jié)構(gòu)中，以分配解釋器和張量

實現(xiàn) wrapper-over-execute 函數(shù)，用于將 WhisPro 前端傳遞的數(shù)據(jù)映射到實際執(zhí)行函數(shù)使用的 tflite 張量

將對原始模型執(zhí)行函數(shù)的調(diào)用替換為對 TFLM 實現(xiàn)的調(diào)用

過程可視化

模型的移植過程將由以下兩者執(zhí)行：

微控制器供應(yīng)商（在本例中為 CEVA），負責(zé)為自身硬件架構(gòu)優(yōu)化 TFLM。

微控制器用戶（在本例中為 CEVA WhisPro 開發(fā)者），負責(zé)使用優(yōu)化的 TFLM 運行庫在目標(biāo)微控制器上部署基于神經(jīng)網(wǎng)絡(luò)的模型。

未來計劃

此項研究已證實 TFLM 平臺對我們非常重要。此外，通過支持 TFLM，我們可以在邊緣設(shè)備上輕松部署神經(jīng)網(wǎng)絡(luò)模型，從而為我們的客戶和合作伙伴帶來更多的價值。我們致力于通過以下方式在 CEVA-BX DSP 系列上深化對 TFLM 的支持：

積極開發(fā) TFLM 項目，以便提高層覆蓋率和平臺總體的成熟度。

對于在 CEVA-BX 內(nèi)核上執(zhí)行的 TFLM 運算符，加大對其的優(yōu)化力度，以實現(xiàn)完整覆蓋。

最終想法

盡管移植過程中遇到了一些困難，但我們最終還是取得了巨大的成功，整個項目耗時約 4 至 5 天。除此之外，從頭開始用 C 語言實現(xiàn)模型，以及手動編寫從 Python 到 C 的模型轉(zhuǎn)換腳本還需要耗費 2 至 3 周的時間，并進行大量的調(diào)試工作。

責(zé)任編輯：lq