AI手語識別技術(shù)存在的挑戰(zhàn)

據(jù)外媒報道，日本電氣大學(xué)與軟銀公司聯(lián)合，通過人工智能AI技術(shù)，能將手語直接翻譯成日語，這將使聾啞人士的溝通更順暢。

目前該系統(tǒng)只能用于柜臺設(shè)備上，聾啞人士能在攝像頭前通過手語溝通，然后系統(tǒng)用圖像識別技術(shù)，分析手指和手臂等身體幾個部位的骨骼運動，將手勢翻譯成日文，顯示在工作人員的電腦屏幕上，隨后口頭回復(fù)以文本的形式出現(xiàn)在聽障人士面前的屏幕上，使交流更加順暢。

該系統(tǒng)的核心技術(shù)由ABEJA提供，谷歌2018年投資了它，ABEJA的核心產(chǎn)品是使用機器學(xué)習(xí)幫助公司從他們的數(shù)據(jù)堆中開展商業(yè)分析。在這個項目中，ABEJA通過讓AI學(xué)習(xí)了5萬個手語視頻，使其捕捉到手語特征和變化，目前該系統(tǒng)能準確將手勢翻譯成大約1500個日語單詞。

早在2015年就有手語識別研究

人工智能技術(shù)的出現(xiàn)和逐漸成熟，不僅有利于產(chǎn)業(yè)升級，事實上很早開始，就有研究人員嘗試利用AI技術(shù)幫助聾啞人士更加順暢的交流。

2015年9月沙特設(shè)計師就專門研發(fā)了一款無線智能手套，內(nèi)置傳感器，聾啞人戴上交流的時候，傳感器可以根據(jù)手指的運動追蹤手勢，再通過語言軟件轉(zhuǎn)換成聲音和文字，在初期，這款無線智能手套只會講法語、英語和阿拉伯語，該研究團隊表示，后續(xù)會支持更多種語言。

在中國也很早就有相關(guān)的研究，2016年有媒體報道，東大自動化專業(yè)李師寧等同學(xué)研發(fā)出了一種最新型的手語識別發(fā)聲系統(tǒng)，這是一種結(jié)合人體生物及姿態(tài)信息的便攜手語發(fā)聲器，聾啞人可以通過手語使該機器發(fā)聲翻譯。

2018年東北大學(xué)也研制出一款幫助聽障人士溝通交流的智能系統(tǒng)，由智能傳感手環(huán)、前端APP及云端服務(wù)組成，智能傳感手環(huán)可以將聽障人士的手語動作捕捉識別，并在云端轉(zhuǎn)換為文字及語音呈現(xiàn)在APP端，傳遞給非手語使用者，同時又可以將非手語使用者的語音在APP端轉(zhuǎn)換為文字加手語動圖的“雙語形式”。

百度、騰訊等互聯(lián)網(wǎng)巨頭企業(yè)也進行了相關(guān)研究，2019年百度在AI開發(fā)者大會上提出“Everyone can AI”的理想，意思是讓每個人都能有平等接收AI的能力，百度以百度飛槳開源內(nèi)容為基礎(chǔ)建立訓(xùn)練模型，通過采集手勢得到數(shù)據(jù)，借助手機轉(zhuǎn)化成文字信息，聽障人士可以使用翻譯器，在咖啡館、餐廳如同正常人一樣點餐、交流。

優(yōu)圖AI手語翻譯機界面

同是在2019年，騰訊優(yōu)圖實驗室也推出了一款基于自研算法的優(yōu)圖AI手語翻譯機，以普通攝像頭作為手語采集裝置，用戶正對攝像頭完成手語表達，翻譯機就能通過后臺運算將手語快速翻譯成文字。據(jù)介紹，優(yōu)圖AI手語翻譯機數(shù)據(jù)集覆蓋近千句日常表達，包括900個常用詞匯，同時還對數(shù)據(jù)進行了分析和歸納，是當(dāng)前最大的中文手語識別數(shù)據(jù)集。

手語識別技術(shù)存在很大挑戰(zhàn)

相比于其他AI視覺識別技術(shù)，手語識別研發(fā)存在更大困難。在2018年東北大學(xué)的研究中，就透露出手語識別研究存在的現(xiàn)實問題，即每位聽障人士的手語規(guī)劃不同，同一個詞打出的手勢有差異，因此智能識別可能就沒那么準確。

不過好在2018年中央頒發(fā)了國家通用手語標準方案，這很大程度有利于后續(xù)手語轉(zhuǎn)文字或語音方面的研究。即使如此可能還是會存在細微差異，百度此前就表示，手語復(fù)雜、多樣、以及地域性差異給研究帶來不少困難。

百度還談到另外一大困難，即可用于訓(xùn)練模型的數(shù)據(jù)量小，在上述日本的項目中，一位參與開發(fā)的軟銀工程師也表示，要建立一個將符號準確翻譯成日文的模型，需要大量的手語數(shù)據(jù)。因此他們通過網(wǎng)站等方式，呼吁更多人發(fā)送手語圖像數(shù)據(jù)。

小結(jié)

AI技術(shù)在服務(wù)產(chǎn)業(yè)升級的同時，也可以極大的幫助聾啞人群更好的實現(xiàn)溝通，這是這個時代的福音。據(jù)第二次全國殘疾人抽樣調(diào)查結(jié)果顯示，我國有2780萬聽障人士，如果能夠利用AI技術(shù)實現(xiàn)將手語實時翻譯成文字和語音，這將是一項極其有意義的事。

日本聾人聯(lián)合會認為，要使人工智能成為聾啞人群的有效工具，還需要很長的時間來實現(xiàn)。不過很明顯從2015年到現(xiàn)在，手語識別在逐漸取得進步，也有相當(dāng)多的研究人員和企業(yè)投入其中，對于未來逐步突破困難取得更大進步還是值得期待。

責(zé)任編輯：haq