玩嗨OpenHarmony：基于OpenHarmony的自閉癥早期篩查聲紋特征濾波識別系統(tǒng)

根據(jù)《孤獨(dú)癥教育康復(fù)行業(yè)發(fā)展?fàn)顩r報(bào)告》，在全世界范圍內(nèi)每 54 個兒童就有一個兒童患有自閉癥譜系障礙，目前中國的自閉癥譜系障礙患者已經(jīng)超過了 1300萬，并且這個數(shù)量以每年近20萬的速度增長。

我們通過調(diào)研發(fā)現(xiàn)我國關(guān)于自閉癥譜系障礙方面的確診缺乏統(tǒng)一的診斷標(biāo)準(zhǔn)，各大醫(yī)院與醫(yī)療機(jī)構(gòu)的主流診斷方案還是依托于量表等工具，誤診率高。但目前在確診方面缺乏科學(xué)精準(zhǔn)的檢測儀器，導(dǎo)致被確診為自閉癥的患者平均年齡為4到5歲，遠(yuǎn)遠(yuǎn)滯后于18到24個月的最佳早期篩查診斷時機(jī)，使得患兒錯過最佳康復(fù)治療期。

我們團(tuán)隊(duì)基于以上痛點(diǎn)，以兒童說話聲音作為原始數(shù)據(jù)，利用深度學(xué)習(xí)訓(xùn)練出的高精度模型對比分析自閉癥譜系障礙兒童和正常兒童在聲學(xué)特征上的差異，使用音頻分析技術(shù)提取聲學(xué)特征參數(shù)進(jìn)行分析，基于潤和大禹DAYU200從聲學(xué)角度指導(dǎo)醫(yī)生對待測兒童進(jìn)行早期篩查，可將自閉癥患者實(shí)際篩查確診年齡提前至1到2歲，讓自閉癥譜系障礙兒童能極早地得到確診，從而能夠盡早進(jìn)行干預(yù)治療，最大限度地減少天生發(fā)育障礙對患者及整個家庭的影響。

本項(xiàng)目通過神經(jīng)網(wǎng)絡(luò)和音頻分析技術(shù)提取自閉癥譜系障礙兒童的聲學(xué)特征參數(shù)進(jìn)行分析，篩選出最具有代表性的聲學(xué)特征和分類識別性能最優(yōu)的模型，從聲學(xué)角度輔助醫(yī)生對自閉癥譜系障礙兒童進(jìn)行早期診斷，并設(shè)計(jì)機(jī)器學(xué)習(xí)模型進(jìn)行分類。構(gòu)建模型，最終網(wǎng)絡(luò)的準(zhǔn)確性達(dá)到 93.8%。醫(yī)生可在DAYU200端、網(wǎng)頁Web端、桌面exe程序端、手機(jī)端鴻蒙APP查看結(jié)果，預(yù)測出自閉癥譜系障礙準(zhǔn)確率超過 70%，推薦可能患有自閉癥譜系障礙孩子接受干預(yù)訓(xùn)練，避免錯過最佳干預(yù)期。

3.1 開發(fā)技術(shù)設(shè)計(jì)框架

3.2音頻數(shù)據(jù)采集

項(xiàng)目的音頻數(shù)據(jù)采集模塊主要由三部分組成，分別是揚(yáng)聲器、三麥克風(fēng)陣列數(shù)字信號處理器和Esp32-Korvo音頻開發(fā)板。并通過回聲消除算法、語音增強(qiáng)算法、降噪算法和音頻自動增益算法收集音頻數(shù)據(jù)，以此來保證受測者的音頻數(shù)據(jù)質(zhì)量。并通過藍(lán)牙或WLAN傳輸音頻數(shù)據(jù)至云服務(wù)器進(jìn)行下一步處理。在內(nèi)部布局上，通過精確測量開發(fā)板、揚(yáng)聲器、可充電電池的尺寸，合理規(guī)劃設(shè)計(jì)了內(nèi)部零件的位置，精準(zhǔn)建模預(yù)留內(nèi)部空間。效果圖如下：

3.3音頻數(shù)據(jù)預(yù)處理

我們將數(shù)據(jù)采集模塊得到的音頻數(shù)據(jù)上傳至我們的華為云服務(wù)器上，利用利用我們自主開發(fā)的降噪算法對收集到的聲音進(jìn)行二次降噪，除去高斯噪聲、白噪聲等等的一 些噪音，然后利用 OpenSmile 提取聲學(xué)特征，得到的處理過后的數(shù)據(jù)會進(jìn)行 Librosa 庫繪制MFCC 圖像。

首先在音頻轉(zhuǎn)圖像之前，通過 Berouti 譜減法對采樣的自閉癥患者語音中自帶的加性噪聲（背景噪聲）得到噪聲的頻譜信息，并將其從頻率空間中減去。同時為了避免提取困難，采用預(yù)加重技術(shù)將預(yù)加重濾波器加在原始音頻上，強(qiáng)化高頻部分，再通過分幀加窗使分析對象的信號變化不會突然消失。接著將連續(xù)的模擬信號轉(zhuǎn)化為數(shù)字信號，通過快速傅里葉變化對分幀加窗后的各幀信號進(jìn)行快速傅里葉變換得到各幀的頻譜。并對語音信號的頻譜取模平方得到語音信號的功率譜。接著利用三角帶通濾波器對頻譜進(jìn)行平滑化，并消除諧波的作用，突顯原先語音的共振峰。因此一段語音的音調(diào)或音高，是不會呈現(xiàn)在梅爾倒譜系數(shù)內(nèi)。換言之，以梅爾倒譜系數(shù)為特征的聲學(xué)特征濾波識別診斷系統(tǒng)，并不會受到輸入語音的音調(diào)不同而有所影響。此外，還可以降低運(yùn)算量。

最后，經(jīng)離散余弦變換（DCT）得到 MFCC 系數(shù)。

音頻轉(zhuǎn)圖像具體流程展示圖如下：

提取聲學(xué)特征并繪制出的 MFCC 圖像如下：

3.4圖像數(shù)據(jù)分析

在深度學(xué)習(xí)模型預(yù)測程序中預(yù)測待測者自閉癥譜系障礙的患病概率，采用CNN卷積神經(jīng)網(wǎng)絡(luò)來進(jìn)行圖像識別，包含4個卷積層和3個全連接層，每個卷積層后面有一個LeakyRelu (激活函數(shù))增強(qiáng)非線性，每兩個卷積層分別緊跟一個最大值池化層縮小特征圖組成一個卷積組模塊，卷積層的輸出通道數(shù)按順序分別是64, 32, 128, 64，卷積層的輸出特征圖進(jìn)入全連接層前平鋪成向量，然后進(jìn)入三個線性變換層逐層降低向量的維度，每個線性變換緊跟一個Dropout層防止過擬合，線性變換的輸出長度分別是128, 64, 1，最后輸出的一維向量用于二分類，輸出自閉癥譜系障礙兒童的概率和正常兒童的概率?；谏疃壬窠?jīng)網(wǎng)絡(luò)的算法，通過計(jì)算機(jī)較強(qiáng)的學(xué)習(xí)能力來學(xué)習(xí)自閉癥患者與正常人的聲學(xué)特征，以此達(dá)到對自閉癥患者語音數(shù)據(jù)的有效識別。

• DevEco Studio for OpenHarmony3.0.0.900

• OpenHarmony版本：3.1_Release

• 開發(fā)板：DAYU200