使用觸覺(jué)反饋的聽(tīng)力替代

大一點(diǎn)的孩子可能更喜歡說(shuō)話而不是點(diǎn)擊圖標(biāo)。如何通過(guò)語(yǔ)音映射類似的動(dòng)作？

嬰兒連接

介紹“Baby Connect”，一款在平板電腦上運(yùn)行的應(yīng)用程序。應(yīng)用程序通過(guò)藍(lán)牙連接到 Neosensory Buzz ，并在點(diǎn)擊屏幕上的圖標(biāo)或按住屏幕上的錄制按鈕說(shuō)出單詞時(shí)通過(guò)振動(dòng)發(fā)送觸覺(jué)反饋。

在 iPad 上運(yùn)行的 iOS 應(yīng)用程序

?

該系統(tǒng)配有配備麥克風(fēng)和環(huán)境傳感器的設(shè)備，用于監(jiān)測(cè) IAQ（室內(nèi)空氣質(zhì)量）、溫度、濕度、環(huán)境光。麥克風(fēng)記錄周圍的聲音，并使用機(jī)器學(xué)習(xí)算法對(duì)其進(jìn)行分析，以確定嬰兒是否在哭泣。

帶麥克風(fēng)和 BME680 ENV 傳感器的設(shè)備

?

可充電的

Baby Connect 設(shè)備由 1100mAh 鋰電池供電，帶有 TP4046 充電模塊和為 Nano BLE Sense 供電的 5V 升壓器。我已經(jīng)測(cè)試了通過(guò) BLE 連接到 App 的設(shè)備，電池持續(xù)了 32 小時(shí)，這在我看來(lái)非常好。

應(yīng)用程序背后的思考

增強(qiáng)和替代交流 (AAC) 是當(dāng)孩子沒(méi)有能力使用語(yǔ)音作為主要交流方式時(shí)的一種交流方式。在研究 AAC 時(shí)，我意識(shí)到同樣的技術(shù)可以應(yīng)用于聽(tīng)力受損的父母。但后來(lái)我開(kāi)始思考如何將 AAC 動(dòng)作（圖標(biāo)或圖像）轉(zhuǎn)化為振動(dòng)。我一直在尋找一個(gè)代表不同 AAC 動(dòng)作的編碼模式。最近我在看一部電影，其中一個(gè)人被困在廢棄的地下室?guī)讉€(gè)月，試圖通過(guò)燈泡使用摩爾斯電碼進(jìn)行交流。在摩爾斯電碼中，有 DOT 和 DASH。僅使用一個(gè)具有不同模式的通道，我們就可以表示所有英語(yǔ)字母表。我決定采用類似的概念來(lái)表示 AAC 動(dòng)作。使用新感覺(jué)嗡嗡聲，將動(dòng)作映射到振動(dòng)

在結(jié)合了 AAC 和摩爾斯電碼的概念后，我將每個(gè) AAC 動(dòng)作（例如 Like、Thank You、Hungry 等）映射到帶有 DOT 和 DASH 的視覺(jué)模式。與摩爾斯電碼的一個(gè)不同之處在于，在摩爾斯電碼中，信號(hào)是順序的，例如 DOT DOT DOT (S) 或 DASH DASH DASH (O)，但在這里，由于 Buzz 有 4 個(gè)可以獨(dú)立振動(dòng)的電機(jī)，因此我們有 4 個(gè)通道。所以“LIKE”用DOT、DOT、DASH表示（電機(jī)1、2、3同時(shí)振動(dòng)）

?

DOT用低頻50表示，DASH用高頻255表示。所以上面的“LIKE”動(dòng)作用[50,50,255,0]表示，重復(fù)40次（40幀）

?

同樣，我已經(jīng)將其他幾個(gè) AAC 動(dòng)作映射到振動(dòng)，如上圖所示。

訓(xùn)練你的大腦

過(guò)去，人們認(rèn)為人的大腦在一定年齡后不會(huì)生長(zhǎng)或變化，就像靜止的器官，但最近的研究和研究證明，神經(jīng)網(wǎng)絡(luò)會(huì)隨著時(shí)間的推移而變化，產(chǎn)生新的通路并刪除舊的通路。這被稱為大腦可塑性。研究人員在倫敦市參加出租車駕駛考試前后研究了駕駛員的大腦，并觀察到考試后大腦中出現(xiàn)了新的神經(jīng)通路。

類似地，觸覺(jué)反饋可用于使用常規(guī)的視覺(jué)或聽(tīng)覺(jué)神經(jīng)通路向大腦發(fā)送一些視覺(jué)信號(hào)或音頻信號(hào)。隨著時(shí)間的推移和練習(xí)，大腦會(huì)接受觸覺(jué)反饋并處理它們，就好像它們是從視網(wǎng)膜或耳朵接收到的一樣，代替失去的感覺(jué)。

還證明可以開(kāi)發(fā)新的感官。例如，我們通常在深度睡眠時(shí)除了氣味之外什么都感覺(jué)不到，但可以訓(xùn)練我們的大腦即使在睡眠時(shí)也能對(duì)一些觸覺(jué)反饋?zhàn)龀龇磻?yīng)，從而創(chuàng)造新的感官。在培訓(xùn)頁(yè)面上，應(yīng)用程序?qū)⑾蛴脩粽故静煌目ㄆ⒄駝?dòng)嗡嗡聲。用戶必須猜出正確的卡片。如果選擇不正確，卡片將以紅色突出顯示。如果選擇正確，卡片將以綠色突出顯示，并顯示下一組卡片。隨著時(shí)間的推移，用戶將能夠使用圖標(biāo)映射振動(dòng)。

嬰兒活動(dòng)監(jiān)測(cè)

Baby Connect 設(shè)備在具有內(nèi)置麥克風(fēng)的 Arduino Nano BLE Sense 微控制器上運(yùn)行 Edge Impulse 推理。麥克風(fēng)錄制 3 秒音頻樣本并將音頻分類為 4 個(gè)標(biāo)簽 - 噪音、饑餓、煩躁和痛苦。

?

我從不同的背景噪音中收集了 5 分鐘的噪音數(shù)據(jù)，例如人們說(shuō)話、廚房水龍頭、切菜、空調(diào)、風(fēng)扇等。大約 3 分鐘的饑餓、煩躁和疼痛。

對(duì)于嬰兒哭泣數(shù)據(jù)集，我使用了https://github.com/gveres/donateacry-corpus存儲(chǔ)庫(kù)，它是活動(dòng)的一部分。我還收集了來(lái)自 youtube 的音頻。在分析不同類型的嬰兒哭聲時(shí)，我發(fā)現(xiàn)了饑餓與疼痛的模式。當(dāng)寶寶痛苦時(shí)，會(huì)不停地哭泣，只是為了呼吸而休息。但是當(dāng)他們餓的時(shí)候，你會(huì)注意到它們之間有一些空隙。但是很難區(qū)分饑餓和挑剔。目前，我的模型能夠以大約 85% 的準(zhǔn)確率對(duì)噪音和嬰兒哭聲進(jìn)行分類，但在區(qū)分饑餓、疼痛和挑剔方面并不是很好。我需要更多數(shù)據(jù)才能使這項(xiàng)工作更好。我將很快開(kāi)始一項(xiàng)“捐贈(zèng)”活動(dòng)，以收集來(lái)自世界各地的數(shù)百個(gè)數(shù)據(jù)并增強(qiáng)模型。我還將開(kāi)源 EI 項(xiàng)目，以便其他人可以做出貢獻(xiàn)。

?

?

?

?

當(dāng) BLE sense 檢測(cè)到哭聲時(shí)，它會(huì)通過(guò)藍(lán)牙將數(shù)據(jù)發(fā)送到應(yīng)用程序，應(yīng)用程序會(huì)振動(dòng) Buzz。同時(shí)，它會(huì)將所有 3 個(gè) LED 變?yōu)榧t色，以防父母錯(cuò)過(guò)振動(dòng)。LED 指示燈亮起，直到用戶按下蜂鳴器上的“+”或“-”按鈕。

嬰兒環(huán)境監(jiān)測(cè)

Nano BLE Sense 連接到 BME680 傳感器，可提供非常精確的溫度、濕度、環(huán)境光和室內(nèi)空氣質(zhì)量 (IAQ) 讀數(shù)。使用時(shí)可以按下 Buzz 上的電源鍵，通過(guò)震動(dòng)感受數(shù)據(jù)。傳感器的讀數(shù)映射到 0-255 范圍并發(fā)送到蜂鳴器。

?

對(duì)按鈕進(jìn)行編程

使用最新的 Neosensory 固件，您現(xiàn)在可以對(duì)蜂鳴器上的所有 3 個(gè)按鈕和 LED 進(jìn)行編程。高級(jí)用戶可以使用 Buzz 按鈕通過(guò)摩爾斯電碼進(jìn)行通信。查看下面的演示。

語(yǔ)音/語(yǔ)音翻譯

對(duì)于年齡較大的孩子或高級(jí)用戶，點(diǎn)擊圖標(biāo)可能看起來(lái)很耗時(shí)。相反，用戶可以點(diǎn)擊并按住應(yīng)用程序上的麥克風(fēng)按鈕并說(shuō)出動(dòng)作。應(yīng)用程序會(huì)將捕獲的語(yǔ)音轉(zhuǎn)錄為文本并將其映射到 AAC 操作。

?

?

使用 AWS 預(yù)測(cè)的語(yǔ)音轉(zhuǎn)情感

這是正在進(jìn)行的工作。我正在與 AWS Amplify 集成以利用 AWS Prediction。

?

?