使用Edge Impulse在pico上進(jìn)行手勢識別

描述

在 Edge Impulse 等在線平臺的幫助下，嵌入式機(jī)器學(xué)習(xí)現(xiàn)在變得很容易，并且允許創(chuàng)作者設(shè)計(jì)自己的應(yīng)用程序，而只需要一點(diǎn)機(jī)器學(xué)習(xí)知識或根本不了解機(jī)器學(xué)習(xí)。

在這個項(xiàng)目中，我使用 MPU6050 加速計(jì)傳感器和 pi pico 創(chuàng)建了一個基本的手勢識別設(shè)備。該模型經(jīng)過訓(xùn)練可以識別左右、上下和空閑運(yùn)動，并且可以通過向其添加更多手勢來進(jìn)一步增強(qiáng)。識別的手勢顯示在 128*64 SSD1306 OLED 顯示屏上，甚至來自串行監(jiān)視器（可選）。

整個應(yīng)用是在VScode上pico的C/C++ sdk和訓(xùn)練模型的edge impulse平臺上開發(fā)的。

我制作這個項(xiàng)目只是為了學(xué)習(xí)目的，以便在不久的將來實(shí)施更多與嵌入式 ML 相關(guān)的項(xiàng)目。

單擊此處查看公共邊緣脈沖項(xiàng)目。

Edge Impulse 平臺

Edge Impulse 是一個用于訓(xùn)練 ML 模型的 ML 開發(fā)平臺，還允許您將這些模型部署到幾乎所有嵌入式開發(fā)板上，例如本項(xiàng)目中使用的 Raspberry pi pico。

憑借對 ML 的最少了解，我能夠按照平臺中提到的步驟創(chuàng)建一個基本的手勢識別模型。

單擊此處了解有關(guān)邊緣脈沖的更多信息。

訓(xùn)練模型

1：配置Pi-co

使用數(shù)據(jù)轉(zhuǎn)發(fā)器，您只需使用幾個命令即可從 CMD 連接您的 pico，數(shù)據(jù)轉(zhuǎn)發(fā)器會自動計(jì)算設(shè)備的波特率和傳感器頻率，并將數(shù)據(jù)自動發(fā)送到服務(wù)。

按照此處的步驟了解數(shù)據(jù)轉(zhuǎn)發(fā)器。

在將設(shè)備連接到 Edge Impulse 服務(wù)器之前，請確保在 pico 上上傳數(shù)據(jù)轉(zhuǎn)發(fā)器代碼。

使用數(shù)據(jù)轉(zhuǎn)發(fā)器配置

2：數(shù)據(jù)采集

根據(jù)文件類型，有多種方法可以將數(shù)據(jù)發(fā)送到 Edge Impulse Service。對于此應(yīng)用程序，數(shù)據(jù)轉(zhuǎn)發(fā)器還會在 pico 連接后處理數(shù)據(jù)采集。

這是來自加速度計(jì)的原始樣本數(shù)據(jù)。

?

12628,-6600,1376
12624,-6584,1268
12684,-6620,1284
12532,-6648,1100
12636,-6752,1296
12644,-6672,1404

?

數(shù)據(jù)x-axis,y-axis,z-axis 以當(dāng)時捕獲的在線方式發(fā)送。

獲取3個標(biāo)簽的數(shù)據(jù)，即up-down，left-right和idle。為每個標(biāo)簽收集 20 個樣本進(jìn)行訓(xùn)練。

每個樣本收集 10 秒。例如，加速度計(jì)左右移動 10 秒以生成一個左右樣本。

1 / 2 ?捕捉左右運(yùn)動

總共收集了 11 分鐘的數(shù)據(jù)，分為訓(xùn)練集 8 分鐘和測試集 3 分鐘。

80% 留給訓(xùn)練集，20% 留給測試集

3：模型訓(xùn)練

我使用了默認(rèn)選項(xiàng)來訓(xùn)練模型。訓(xùn)練后的模型準(zhǔn)確率為 97.8%。但是，這僅使用驗(yàn)證集進(jìn)行評估，因此我們不能太依賴這種準(zhǔn)確性。

培訓(xùn)成果

為了確定準(zhǔn)確性，我使用實(shí)時推理來確定模型在那一刻的預(yù)測，這似乎很有希望。

4.部署

一旦經(jīng)過訓(xùn)練的模型通過實(shí)時推理提供了良好的準(zhǔn)確性，就可以在 pico 上部署它了。我已經(jīng)從部署選項(xiàng)卡下載了 C/C++ 庫（未優(yōu)化的 float32），并使用 Arduino 腳本作為參考來開發(fā)用于 pico 的 C++ 腳本。當(dāng)我使用量化的 int8 庫時，我發(fā)現(xiàn)預(yù)測很差，這就是我選擇未優(yōu)化的 float32 庫的原因。

添加 OLED 顯示屏

在 pico 上測試模型后，我使用了 SSD1306 OLED 顯示器來顯示識別手勢的圖形圖像。感謝Harbys git repo 提供 pico 的 OLED 驅(qū)動程序文件。

分別使用位圖圖像來顯示左右和上下圖像圖標(biāo)。這些圖標(biāo)取自谷歌圖像并使用image2cpp工具轉(zhuǎn)換為位圖數(shù)組。

1 / 4 ?上下圖標(biāo)

注意：當(dāng)圖像是從 Pico 的 USB 側(cè)面面向面包板查看時，左右圖像顯示為上下，反之亦然。

利用多核

整個過程由 Pico 的兩個內(nèi)核處理，其中 core-1 處理執(zhí)行數(shù)據(jù)采集和推理，core-0 負(fù)責(zé) OLED 功能。我使用了兩個內(nèi)核，因?yàn)槲蚁肓私獠⑿刑幚?，這種方法將使我能夠進(jìn)一步向它添加更多功能（例如：在一個內(nèi)核執(zhí)行推理而另一個內(nèi)核將數(shù)據(jù)發(fā)送到云服務(wù)器的應(yīng)用程序中，或者到任何其他外圍設(shè)備），我稍后可能會實(shí)施。

利用多核

最終輸出

識別的手勢顯示在 OLED 顯示屏上

參考

關(guān)于嵌入式機(jī)器學(xué)習(xí)和項(xiàng)目構(gòu)想-點(diǎn)擊此處查看coursera課程

MPU6050驅(qū)動開發(fā)-Vidura Embedded

SSD1306 OLED 驅(qū)動程序 - Harbys git repo

如何在 pico 上部署 Edge Impulse 模型 - Hardware.ai