出門(mén)問(wèn)問(wèn)李勤：芯片、傳感器和AI算法融合 打造嵌入式語(yǔ)音交互優(yōu)質(zhì)體驗(yàn)

2019年4月26日，由意法半導(dǎo)體主辦的2019年STM32中***會(huì)在深圳舉行，出門(mén)問(wèn)問(wèn)工程VP李勤受邀出席大會(huì)AIoT沙龍，并在人工智能與計(jì)算分會(huì)場(chǎng)發(fā)表了演講，分享了出門(mén)問(wèn)問(wèn)在嵌入式系統(tǒng)上的智能語(yǔ)音交互方案和經(jīng)驗(yàn)。

深耕萬(wàn)億級(jí)的AIoT市場(chǎng)

在上午主會(huì)場(chǎng)的AIoT沙龍環(huán)節(jié)，李勤與微軟首席技術(shù)顧問(wèn)管震、移遠(yuǎn)通信高級(jí)副總裁張棟、意法半導(dǎo)體大中華暨南亞區(qū)AMS市場(chǎng)及應(yīng)用高級(jí)總監(jiān)吳衛(wèi)東共同探討了對(duì)于人工智能物聯(lián)網(wǎng)的看法。

李勤表示，中國(guó)的AIoT市場(chǎng)是一個(gè)萬(wàn)億級(jí)的市場(chǎng)。而其中，AI可穿戴將是重要的增長(zhǎng)極，將在未來(lái)5年保持高速的增長(zhǎng)態(tài)勢(shì)。按照公開(kāi)數(shù)據(jù)，預(yù)計(jì)在未來(lái)5年內(nèi)，全球Wearable IoT的市場(chǎng)規(guī)模會(huì)達(dá)到424億美元，達(dá)到平均每年30%的復(fù)合增長(zhǎng)率。

芯片、算法和傳感器的深度集成是AIoT核心的技術(shù)之一。未來(lái)，算法和芯片的深度融合是一大挑戰(zhàn)，即算法去為芯片優(yōu)化，芯片為算法優(yōu)化。這也是出門(mén)問(wèn)問(wèn)的優(yōu)勢(shì)所在，可以發(fā)揮全棧式的AI語(yǔ)音交互算法能力，以及芯片、算法、產(chǎn)品端的深度整合和系統(tǒng)集成能力，賦能給其他合作伙伴。

將芯片、傳感器和AI算法深度集成

在下午的人工智能與計(jì)算分會(huì)場(chǎng)上，李勤深入地分析了出門(mén)問(wèn)問(wèn)作為一家AI技術(shù)公司是如何做嵌入式系統(tǒng)上的智能語(yǔ)音交互方案的。

李勤指出，AI可穿戴技術(shù)的核心是人機(jī)交互的過(guò)程，而人機(jī)交互涉及到多種傳感器融合技術(shù)以及語(yǔ)音交互技術(shù)。多種傳感器融合技術(shù)包括拾音麥克風(fēng)、運(yùn)動(dòng)傳感器(例如加速度器，陀螺儀)、骨傳導(dǎo)麥克風(fēng)、心率傳感器、觸摸及反饋等，只有把多種傳感器融合在一起，才能給用戶提供更好的體驗(yàn)。

而語(yǔ)音交互是所有人機(jī)交互方式中最重要的一個(gè)，在合適的場(chǎng)景下極為高效。它有著不可替代的優(yōu)勢(shì)，例如解放雙手和雙眼;指向明確，語(yǔ)義直達(dá)目標(biāo)，縮短整個(gè)的使用路徑;自然語(yǔ)言交互，簡(jiǎn)單人性化，學(xué)習(xí)成本低，不用記固定命令詞;對(duì)設(shè)備的大小沒(méi)有特別要求。但當(dāng)然，語(yǔ)音交互也面臨一些挑戰(zhàn)，例如受環(huán)境影響比較大，前端信號(hào)處理的挑戰(zhàn)大，受硬件和結(jié)構(gòu)的限制，返回結(jié)果的展示形式單一等。

未來(lái)3年，AI可穿戴市場(chǎng)將迎來(lái)高速發(fā)展，整體規(guī)模預(yù)計(jì)達(dá)到10億設(shè)備量級(jí)，保持30%的高年均增長(zhǎng)速度。相應(yīng)的，未來(lái)市場(chǎng)對(duì)芯片和傳感器的需求都會(huì)大量增加。

在高速增長(zhǎng)的過(guò)程中，AI可穿戴同樣面臨許多迭代技術(shù)挑戰(zhàn)，包括設(shè)備的小型化設(shè)計(jì)、低功耗優(yōu)化等等，在算法上需要大量針對(duì)性的優(yōu)化支持。例如，在地鐵嘈雜環(huán)境下使用耳機(jī)通話，要利用算法實(shí)現(xiàn)環(huán)境降噪處理;為實(shí)現(xiàn)設(shè)備更低功耗，需要提高代碼效率并對(duì)芯片進(jìn)行優(yōu)化;協(xié)調(diào)運(yùn)動(dòng)、心率等大量傳感器為用戶提供有用的信息，也需要算法優(yōu)化來(lái)攻克。

發(fā)言中，李勤還指出AIoT的產(chǎn)品一定是設(shè)備端到云端的整體系統(tǒng)。而出門(mén)問(wèn)問(wèn)采用將芯片、傳感器和AI算法結(jié)合的整體戰(zhàn)略，發(fā)揮端到端的完整技術(shù)棧，將端上和云上的計(jì)算融合，以及產(chǎn)品和系統(tǒng)集成經(jīng)驗(yàn)的競(jìng)爭(zhēng)優(yōu)勢(shì)。另外，出門(mén)問(wèn)問(wèn)還在開(kāi)展與芯片廠商的深度合作，實(shí)現(xiàn)算法根據(jù)使用場(chǎng)景做優(yōu)化，算法針對(duì)芯片的代碼優(yōu)化，結(jié)合系統(tǒng)集成和產(chǎn)品驗(yàn)證，提供整套技術(shù)方案。這意味著產(chǎn)品廠商不用在算法開(kāi)發(fā)和系統(tǒng)集成工作上消耗企業(yè)資源，可以集中精力定義和開(kāi)發(fā)產(chǎn)品。

智能手表AI運(yùn)動(dòng)算法TicMotion

在TicWatch智能手表上，出門(mén)問(wèn)問(wèn)研發(fā)了AI運(yùn)動(dòng)算法TicMotion，自動(dòng)識(shí)別和記錄用戶健走、跑步、騎行、游泳時(shí)的各項(xiàng)運(yùn)動(dòng)數(shù)據(jù)。該算法基于深度學(xué)習(xí)的算法架構(gòu)，支持手勢(shì)姿態(tài)識(shí)別、睡眠健康等功能，可運(yùn)行在MCU、DSP或AP芯片上。在意法半導(dǎo)體的STM32F412芯片上，實(shí)現(xiàn)16MHz時(shí)鐘頻率下的0.13 MIPS執(zhí)行效率。

智能手表語(yǔ)音交互算法

針對(duì)智能手表的語(yǔ)音交互，出門(mén)問(wèn)問(wèn)研發(fā)了基于深度神經(jīng)網(wǎng)絡(luò)的AI語(yǔ)音算法，旗下的出門(mén)問(wèn)問(wèn)語(yǔ)音助手是谷歌Wear OS官方合作的中文語(yǔ)音助手。

出門(mén)問(wèn)問(wèn)在智能手表上，擁有單麥和雙麥的音頻降噪算法，語(yǔ)音信號(hào)壓縮和BLE語(yǔ)音傳輸，支持語(yǔ)音喚醒詞，支持直接命令詞的識(shí)別。這些算法也是基于深度學(xué)習(xí)，但卻是超低功耗的，只需要超低的內(nèi)存需求和計(jì)算力便可以運(yùn)行。例如，喚醒詞和命令詞模型只有20KB，只需占用50KB左右的內(nèi)存，在意法半導(dǎo)體的STM32F469芯片上實(shí)現(xiàn)了36MIPS的執(zhí)行效率。

智能耳機(jī)交互算法TicHear

針對(duì)智能耳機(jī)的交互，出門(mén)問(wèn)問(wèn)自主研發(fā)了TicHear語(yǔ)音交互算法，能夠有效地屏蔽和抑制環(huán)境噪音和干擾，實(shí)現(xiàn)小型可穿戴設(shè)備語(yǔ)音喚醒及直接命令詞控制。

而之所以開(kāi)發(fā)TicHear，是因?yàn)槌鲩T(mén)問(wèn)問(wèn)發(fā)現(xiàn)在TWS智能耳機(jī)上還有很多技術(shù)難點(diǎn)沒(méi)有解決。

一是耳機(jī)面向的是復(fù)雜的需求和使用場(chǎng)景。在需求上，人們需要用耳機(jī)聽(tīng)音樂(lè)、打電話、做語(yǔ)音交互。在使用場(chǎng)景上，耳機(jī)的使用環(huán)境非常復(fù)雜多變，基本是走到哪兒戴到哪兒，即使是在地鐵、馬路邊、商場(chǎng)等嘈雜環(huán)境，耳機(jī)也要能夠穩(wěn)定可靠的工作。這些都對(duì)算法地性能提出了極高的要求。

二是耳機(jī)的快捷智能控制。對(duì)于智能耳機(jī)來(lái)說(shuō)，需要有一些常用的直接語(yǔ)音控制命令，尤其在雙手都不方便的時(shí)候，能夠快捷地用語(yǔ)音來(lái)實(shí)現(xiàn)接聽(tīng)電話、控制音量、切換下一首歌等功能。

三是如何對(duì)耳機(jī)“說(shuō)”清楚。過(guò)去兩年，主動(dòng)降噪耳機(jī)在市場(chǎng)上熱銷，但它解決的只是“聽(tīng)”清楚的問(wèn)題，在你聽(tīng)音樂(lè)的時(shí)候/做飛機(jī)的時(shí)候，有效實(shí)現(xiàn)周圍環(huán)境噪音的屏蔽效果。但在實(shí)際的使用中，如何讓你打電話、做語(yǔ)音交互的時(shí)候，實(shí)現(xiàn)更清晰的聲音傳遞，還是一個(gè)有待解決地問(wèn)題。

另外，智能耳機(jī)也面臨諸多的技術(shù)挑戰(zhàn)，例如佩戴舒適性、體積大小，與電池容量、待機(jī)時(shí)間之間不可調(diào)和的矛盾，對(duì)芯片和算法低功耗的要求高;系統(tǒng)集成、算法開(kāi)發(fā)的高復(fù)雜度;內(nèi)存空間和算力的資源限制等。

面對(duì)用戶痛點(diǎn)和技術(shù)挑戰(zhàn)，出門(mén)問(wèn)問(wèn)選擇創(chuàng)造性的解決問(wèn)題，采取將硬件結(jié)構(gòu)設(shè)計(jì)和算法設(shè)計(jì)相結(jié)合;與芯片、系統(tǒng)供應(yīng)商深度合作;把核心算法的代碼用匯編重寫(xiě)以提高運(yùn)行效率等措施，給客戶提供一套完整的解決方案。

具體來(lái)說(shuō)，在音頻信號(hào)處理上，TicHear算法進(jìn)行了雙麥的波束成形，做定向拾音和降噪的深度優(yōu)化，可以抑制最高20dB的環(huán)境噪音，僅占用20KB的內(nèi)存，并在高通QCC5100系列芯片上實(shí)現(xiàn)15MIPS的執(zhí)行效率。

在語(yǔ)音交互算法上，TicHear支持語(yǔ)音喚醒詞，支持10個(gè)左右直接命令詞的識(shí)別，并且基于深度學(xué)習(xí)的算法，實(shí)現(xiàn)了超低功耗和超低內(nèi)存占用。將喚醒詞和命令詞做到大約20KB的模型大小和50KB總的內(nèi)存占用，在高通QCC5100系列芯片上實(shí)現(xiàn)10MIPS的執(zhí)行效率。同時(shí)，TicHear可和手機(jī)軟件配合開(kāi)發(fā)，支持二次喚醒驗(yàn)證、內(nèi)容和服務(wù)的查詢、喚醒詞和語(yǔ)音查詢一起說(shuō)出等功能，提供更好的用戶體驗(yàn)。

李勤向現(xiàn)場(chǎng)觀眾展示了出門(mén)問(wèn)問(wèn)雙麥信號(hào)處理算法，該算法能夠有效地屏蔽環(huán)境噪音和干擾，清晰采集語(yǔ)音信號(hào)。如圖所示，上方的聲音波形圖是在馬路邊場(chǎng)景所采集的原始聲音信號(hào)，下方的聲音波形圖是經(jīng)過(guò)出門(mén)問(wèn)問(wèn)雙麥信號(hào)處理算法處理后的聲音信號(hào)，可以清晰的看到已將環(huán)境噪音降低20db左右，幾乎可以忽略不計(jì)，經(jīng)過(guò)算法處理后的聲音信號(hào)，極大地提高了語(yǔ)音識(shí)別的準(zhǔn)確率和喚醒率。