喚醒詞檢測開源分享

描述

團隊成員

孫國明 (gs45)

天月宇文（ty26）

歐陽劉昊(lo12)

徐瑞濤(rx9)

介紹

喚醒詞是諸如“Hi Siri”和“OK Google”之類的詞。我們用這些詞來喚醒我們的智能助手，并要求他們提供有用的信息。為了保護用戶隱私并保持較低的能耗，可以將喚醒詞檢測功能轉(zhuǎn)移到低功耗芯片上。當(dāng)它檢測到喚醒詞時，它將其余的工作留給其他部分。

在這個項目中，我們將“是”和“否”定義為喚醒功能，并嘗試使用我們的開發(fā)板 Arduino Nano 33 BLE Sense 對“是”、“否”和其他詞進行分類。我們使用其 LED 燈的顏色：紅色、綠色和藍色來代表不同的類別。我們使用 TinyML 通過板上經(jīng)過訓(xùn)練的模型實現(xiàn)了喚醒詞檢測。當(dāng)人們在 Arduino 板上說話時，它會自動檢測到他們。

過程

首先，我們需要獲取輸入。我們使用 Arduino Nano 33 BLE sense 上的內(nèi)置麥克風(fēng)獲取輸入的原始音頻，然后我們使用相關(guān)接口將其提取到我們的程序中。

我們預(yù)處理輸入以提取適合模型的特征。得到音頻訓(xùn)練示例后，我們首先需要對原始音頻進行特征提取。它使用 FFT 將原始音頻轉(zhuǎn)換為頻譜圖。然后我們從頻譜圖中提取特征。之后，我們對處理過的輸入進行推理。我們使用此輸入來訓(xùn)練我們的模型。我們的模型將輸出一組我們所說的已知單詞的概率。如果概率超過閾值，我們可以說我們說的詞就是超過概率的那個詞。

我們使用的模型經(jīng)過訓(xùn)練可以識別單詞“是”、“否”、未知單詞以及靜音或背景噪音。它每次輸入一秒鐘的數(shù)據(jù)。它輸出四個概率分數(shù)，一個對應(yīng)于這四個類中的每一個。它可以預(yù)測數(shù)據(jù)的類別。該模型不接收原始音頻樣本數(shù)據(jù)。相反，它適用于頻譜圖。

一秒鐘的數(shù)據(jù)是一個頻譜圖，表示為具有 43 列和 49 行的二維數(shù)組。對于每一行，我們通過快速傅里葉變換算法 (FFT) 運行一段 30 毫秒的音頻輸入，該算法分析并創(chuàng)建一個包含 256 個頻率桶的數(shù)組。然后我們平均分成 6 組。為了構(gòu)建整個 2D 陣列，我們將 49 個連續(xù)的 30 毫秒音頻切片的結(jié)果組合在一起，每個切片與最后一個切片重疊 10 毫秒。

音頻到頻譜圖

?

由于頻譜圖是二維數(shù)組，我們將其作為二維張量輸入到模型中。我們使用可與任何多維向量輸入一起使用的卷積網(wǎng)絡(luò)。事實證明，它們非常適合處理頻譜圖數(shù)據(jù)。

在計算機上運行程序后，我們使用 Arduino 將其部署到 Arduino Nano 33 BLE Sense 板上。并通過查看電路板上的指示燈和 Arduino 的工具串行監(jiān)視器來跟蹤結(jié)果。

結(jié)果

我們在 Arduino Nano 33 BLE Sense 板子上運行程序，它可以區(qū)分是、否和其他未知詞。

結(jié)果

?

結(jié)論

在這個項目中，我們使用 TinyML 將經(jīng)過訓(xùn)練的音頻分類模型部署到 Arduino Nano 33 BLE Sense。通過這種方式，我們成功地在低功耗芯片上實現(xiàn)了喚醒詞檢測功能，從而使隱私安全和節(jié)能的數(shù)字輔助成為可能。

?