COMP 554喚醒詞檢測(cè)

描述

隊(duì)員：鄧子輝（zd13）、黃星昊（xh28）、杜樂義（ld31）、蔣天成（tj16）

前言

雖然在這個(gè)最終項(xiàng)目中有多種選擇，但我們最終決定進(jìn)行喚醒詞檢測(cè)。由于智能設(shè)備現(xiàn)在在我們的生活中非常普遍，因此這種檢測(cè)對(duì)于在不聯(lián)系后端服務(wù)器的情況下檢測(cè)喚醒詞非常有用。我們想接觸一些日常生活中實(shí)用且常用的東西，所以就來(lái)了。

至于應(yīng)用架構(gòu)，從TinyML微稿中我們知道，對(duì)于每一個(gè)機(jī)器學(xué)習(xí)項(xiàng)目，至少要有五個(gè)步驟：

1. 獲取輸入

2. 預(yù)處理輸入以提取適合輸入模型的特征

3. 對(duì)處理后的輸入進(jìn)行推理

4. 對(duì)模型的輸出進(jìn)行后處理以理解它

5. 使用結(jié)果信息使事情發(fā)生

在這個(gè)項(xiàng)目中，我們主要遵循上述規(guī)則，但有一些變化。

首先，我們必須先處理原始音頻數(shù)據(jù)，然后再將其作為輸入送入模型。此外，我們必須修改分類模型以滿足輸出字符串（“YES”或“NO”）而不是可能值的要求。

過程

我們使用 Arduino Nano 33 BLE 訓(xùn)練了一個(gè)機(jī)器學(xué)習(xí)模型，它應(yīng)該對(duì)輸入進(jìn)行分類和識(shí)別，并將輸入分為三個(gè)不同的輸出：“是”、“否”和“未知”。我們選擇用于訓(xùn)練的數(shù)據(jù)集是語(yǔ)音命令數(shù)據(jù)集，它由 65,000 個(gè) 30 個(gè)短詞的一秒長(zhǎng)話語(yǔ)組成，在線眾包。

我們?cè)谶@里要做的是將我們的原始數(shù)據(jù)從單詞預(yù)處理為音頻類型。我們可以通過用頻譜圖表示輸入詞來(lái)做到這一點(diǎn)。

結(jié)果

實(shí)際上，我們添加了一些創(chuàng)新的技巧來(lái)訓(xùn)練模型。從下面的demo我們可以看到，當(dāng)輸入為“YES”時(shí)，黃燈會(huì)亮3秒，當(dāng)輸入為“NO”時(shí)，黃燈會(huì)熄滅3秒，當(dāng)輸入是未知的東西，光沒有任何反應(yīng)。

?

?