i.MX RT1060交叉MCU同樣適用于經(jīng)濟(jì)高效的工業(yè)應(yīng)用以及需要顯示功能的高性能和數(shù)據(jù)密集型消費(fèi)類產(chǎn)品。本文通過(guò)解釋如何實(shí)現(xiàn)一種嵌入式機(jī)器學(xué)習(xí)應(yīng)用程序來(lái)演示該基于Arm?Cortex?-M7的MCU的功能,該應(yīng)用程序可以檢測(cè)和分類用戶的手寫(xiě)輸入。
為此,本文重點(diǎn)介紹流行的MNIST eIQ示例,該示例由幾個(gè)部分組成-數(shù)字識(shí)別由TensorFlow Lite模型執(zhí)行,并且GUI用于提高i.MX RT1060設(shè)備的可用性。
看一下MNIST數(shù)據(jù)集和模型
本文使用的數(shù)據(jù)集包括60,000個(gè)訓(xùn)練和10,000個(gè)手寫(xiě)數(shù)字居中灰度圖像測(cè)試示例。每個(gè)樣本的分辨率為28x28像素:
圖1.MNIST數(shù)據(jù)集示例
樣本是從美國(guó)的高中生和人口普查局員工那里收集的。因此,數(shù)據(jù)集主要包含在北美書(shū)寫(xiě)的數(shù)字示例。例如,對(duì)于歐洲風(fēng)格的數(shù)字,必須使用其他數(shù)據(jù)集。與該數(shù)據(jù)集一起使用時(shí),卷積神經(jīng)網(wǎng)絡(luò)通常會(huì)提供最佳結(jié)果,甚至簡(jiǎn)單的網(wǎng)絡(luò)也可以實(shí)現(xiàn)高精度。因此,TensorFlow Lite是適合此任務(wù)的選項(xiàng)。
本文選擇的MNIST模型實(shí)現(xiàn)可在GitHub上作為正式的TensorFlow模型之一獲得,并且使用Python編寫(xiě)。該腳本使用Keras庫(kù)以及tf.data,tf.estimator.Estimator和tf.layers API,并構(gòu)建了一個(gè)卷積神經(jīng)網(wǎng)絡(luò),可以在測(cè)試樣本上實(shí)現(xiàn)高精度:
圖2.所用模型的可視化。
相應(yīng)的模型定義如下圖3所示。
圖3.與模型可視化相對(duì)應(yīng)的模型定義。
什么是TensorFlow Lite?在本示例中如何使用?
TensorFlow是一個(gè)著名的深度學(xué)習(xí)框架,已被大型公司廣泛用于生產(chǎn)中。這是由Google開(kāi)發(fā)和維護(hù)的開(kāi)源,跨平臺(tái)深度學(xué)習(xí)庫(kù)。提供了一個(gè)低級(jí)Python API,它對(duì)經(jīng)驗(yàn)豐富的開(kāi)發(fā)人員非常有用,并且提供了高級(jí)庫(kù)(例如本例中使用的庫(kù))。此外,TensorFlow得到了廣大社區(qū)的支持,并獲得了Google的出色在線文檔,學(xué)習(xí)資源,指南和示例。
為了使受計(jì)算限制的機(jī)器(例如移動(dòng)設(shè)備和嵌入式解決方案)能夠運(yùn)行TensorFlow應(yīng)用程序,Google開(kāi)發(fā)了TensorFlow Lite框架,該框架不支持TensorFlow框架的全部操作。它允許此類設(shè)備在已轉(zhuǎn)換為TensorFlow Lite的預(yù)訓(xùn)練TensorFlow模型上進(jìn)行推理。作為回報(bào),這些經(jīng)過(guò)轉(zhuǎn)換的模型無(wú)法進(jìn)行進(jìn)一步的訓(xùn)練,但可以通過(guò)量化和修剪等技術(shù)進(jìn)行優(yōu)化。
將模型轉(zhuǎn)換為TensorFlow Lite
上面討論的經(jīng)過(guò)訓(xùn)練的TensorFlow模型必須先轉(zhuǎn)換為TensorFlow Lite,然后才能在i.MX RT1060 MCU上使用。為此,使用tflite_convert對(duì)其進(jìn)行了轉(zhuǎn)換,并且出于兼容性原因,使用TensorFlow的1.13.2版來(lái)訓(xùn)練和轉(zhuǎn)換模型:
tflite_convert --saved_model_dir= --output_file=converted_model.tflite --input_shape=1,28,28 --input_array=Placeholder --output_array=Softmax --inference_type=FLOAT --input_data_type=FLOAT --post_training_quantize --target_opsTFLITE_BUILTINS
最后,使用xdd實(shí)用程序?qū)ensorFlow Lite模型轉(zhuǎn)換為二進(jìn)制數(shù)組,以供應(yīng)用程序加載:
xxd-iconverted_model.tflite>converted_model.h
xdd是一個(gè)十六進(jìn)制轉(zhuǎn)儲(chǔ)實(shí)用程序,可用于將文件的二進(jìn)制形式轉(zhuǎn)換為相應(yīng)的十六進(jìn)制轉(zhuǎn)儲(chǔ)表示形式,反之亦然。在這種情況下,TensorFlow Lite二進(jìn)制文件將轉(zhuǎn)換為可添加到eIQ項(xiàng)目的C / C ++頭文件。轉(zhuǎn)換過(guò)程和tflite_convert實(shí)用程序在eIQ用戶指南中進(jìn)行了詳細(xì)說(shuō)明。該實(shí)用程序也在Google的官方文檔中進(jìn)行了描述。
嵌入式Wizard Studio快速入門
#ifdef__cplusplus extern"C"{ #endif /*Ccode*/ #ifdef__cplusplus } #endif
為了利用MIMXRT1060-EVK的圖形功能,該項(xiàng)目中包含一個(gè)GUI。為此,使用了嵌入式向?qū)tudio,這是一個(gè)IDE,用于為將在嵌入式設(shè)備上運(yùn)行的應(yīng)用程序開(kāi)發(fā)GUI。盡管可以使用IDE的免費(fèi)評(píng)估版,但該版本限制了圖形用戶界面的最大復(fù)雜性,并且還在GUI上添加了水印。
Embedded Wizard Studio的優(yōu)點(diǎn)之一是能夠基于XNP的SDK生成MCUXpresso和IAR項(xiàng)目,這意味著在IDE中創(chuàng)建用戶界面后,開(kāi)發(fā)人員可以立即在其設(shè)備上對(duì)其進(jìn)行測(cè)試。
IDE提供了放置在畫(huà)布上的對(duì)象和工具,例如按鈕,觸敏區(qū)域,形狀等。然后將其屬性設(shè)置為適合開(kāi)發(fā)人員的需求和期望。所有這些工作都以直觀和用戶友好的方式進(jìn)行,并且大大加快了GUI開(kāi)發(fā)過(guò)程。
但是,由于生成的GUI項(xiàng)目在C中,而qIQ示例在C / C ++中,因此,幾個(gè)轉(zhuǎn)換步驟必須將GUI項(xiàng)目與現(xiàn)有的eIQ應(yīng)用程序項(xiàng)目合并。因此,某些頭文件的內(nèi)容必須包含以下內(nèi)容:
此外,大多數(shù)源文件和頭文件已移至SDK的中間件文件夾中的新文件夾,并且添加了新的包含路徑以反映這些更改。最后,比較并正確合并了一些特定于設(shè)備的配置文件。
完成的應(yīng)用程序及其功能
該應(yīng)用程序的GUI顯示在觸敏LCD上。它包含一個(gè)用于輸入數(shù)字的輸入?yún)^(qū)域和一個(gè)顯示分類結(jié)果的區(qū)域。運(yùn)行推斷按鈕執(zhí)行推斷,清除按鈕清除輸入和輸出字段。應(yīng)用程序?qū)㈩A(yù)測(cè)的結(jié)果和置信度輸出到標(biāo)準(zhǔn)輸出。
圖4.示例應(yīng)用程序的GUI包含一個(gè)輸入字段,一個(gè)輸出字段和兩個(gè)按鈕。結(jié)果和置信度也會(huì)打印到標(biāo)準(zhǔn)輸出中。
TensorFlow Lite模型精度
如上所述,該模型在對(duì)美國(guó)風(fēng)格的手寫(xiě)數(shù)字進(jìn)行分類時(shí)可以在訓(xùn)練和測(cè)試數(shù)據(jù)上實(shí)現(xiàn)高精度。但是,在本應(yīng)用程序中不是這種情況,主要是因?yàn)橛檬种冈贚CD上書(shū)寫(xiě)的數(shù)字與用筆在紙上書(shū)寫(xiě)的數(shù)字永遠(yuǎn)不會(huì)相同。這突出了在實(shí)際生產(chǎn)數(shù)據(jù)上訓(xùn)練生產(chǎn)模型的重要性。
為了獲得更好的結(jié)果,必須收集一組新的數(shù)據(jù)。此外,方法必須相同。在這種情況下,必須使用觸摸屏輸入來(lái)采集樣品以繪制數(shù)字。存在進(jìn)一步的技術(shù)來(lái)增加預(yù)測(cè)的準(zhǔn)確性。恩智浦社區(qū)網(wǎng)站包含使用遷移學(xué)習(xí)技術(shù)的演練。
實(shí)施細(xì)節(jié)
嵌入式向?qū)褂貌宀圩鳛橛|發(fā)器來(lái)對(duì)GUI交互做出反應(yīng),例如,當(dāng)用戶在輸入?yún)^(qū)域上拖動(dòng)手指時(shí)。在這種情況下,插槽會(huì)在手指下方連續(xù)繪制一個(gè)像素寬的線。該行的顏色由主顏色常數(shù)定義。
清除按鈕的插槽將兩個(gè)字段中每個(gè)像素的顏色設(shè)置為背景色,運(yùn)行推斷按鈕將保存對(duì)輸入?yún)^(qū)域,基礎(chǔ)位圖以及該區(qū)域的寬度和高度的引用,然后將其傳遞給本機(jī)處理它們的C程序。
由于來(lái)自機(jī)器學(xué)習(xí)模型的位圖只有28x28像素大,并且輸入?yún)^(qū)域被創(chuàng)建為112x112正方形,以使應(yīng)用程序使用起來(lái)更加舒適,因此在縮小圖像時(shí)需要進(jìn)行額外的預(yù)處理。否則,該過(guò)程會(huì)使圖像失真太多。
首先,創(chuàng)建一個(gè)具有輸入?yún)^(qū)域尺寸的8位整數(shù)數(shù)組,并用零填充。然后,對(duì)圖像和數(shù)組進(jìn)行迭代,并將圖像中每個(gè)繪制的像素存儲(chǔ)為數(shù)組中的0xFF。處理輸入時(shí),主要顏色的像素被認(rèn)為是白色,其他所有像素都被認(rèn)為是黑色。此外,每個(gè)像素都擴(kuò)大為3x3正方形以加粗線條,這將使圖像縮小更為安全。在將圖像縮放到所需的28x28分辨率之前,將圖形裁剪并居中以類似于MNIST圖像:
圖5.包含預(yù)處理輸入數(shù)據(jù)的數(shù)組的可視化。
當(dāng)應(yīng)用程序啟動(dòng)時(shí),將分配,加載和準(zhǔn)備機(jī)器學(xué)習(xí)模型。對(duì)于每個(gè)推理請(qǐng)求,模型的輸入張量都將帶有預(yù)處理輸入,并傳遞給模型。輸入必須逐像素復(fù)制到張量中,并且在此過(guò)程中必須將整數(shù)值轉(zhuǎn)換為浮點(diǎn)值。該NXP應(yīng)用筆記包含了代碼的詳細(xì)內(nèi)存占用。
TensorFlow Lite:可行的解決方案
使用機(jī)器學(xué)習(xí)的手寫(xiě)數(shù)字識(shí)別可能給嵌入式系統(tǒng)帶來(lái)問(wèn)題,TensorFlow Lite提供了可行的解決方案。使用此解決方案,可以實(shí)現(xiàn)更復(fù)雜的用例,例如數(shù)字鎖上的引腳輸入字段。如本文所述,在實(shí)際生產(chǎn)數(shù)據(jù)上訓(xùn)練生產(chǎn)模型至關(guān)重要。本文中使用的培訓(xùn)數(shù)據(jù)由用筆寫(xiě)在紙上的數(shù)字組成。反過(guò)來(lái),當(dāng)用于檢測(cè)觸摸屏上繪制的數(shù)字時(shí),這會(huì)降低模型的整體準(zhǔn)確性。此外,必須考慮到地區(qū)差異。
i.MX RT跨接MCU系列可以實(shí)現(xiàn)到各種嵌入式應(yīng)用程序中,例如本文提供的示例。恩智浦(NXP)擁有有關(guān)i.MX RT跨接MCU系列的大量信息,可幫助彌合性能與可用性之間的鴻溝。
-
tensorflow
+關(guān)注
關(guān)注
13文章
328瀏覽量
60452 -
TensorFlow Lite
+關(guān)注
關(guān)注
0文章
26瀏覽量
588
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論