機(jī)器人多模態(tài)感知融合的應(yīng)用前景如何？

我們知道，人工智能的目標(biāo)之一就是讓計算機(jī)模擬人類的視覺、聽覺、觸覺等感知能力，嘗試去看、聽、讀，理解圖像、文字、語音等，在此基礎(chǔ)上，再讓人工智能具有思維能力、行動能力，最終成為跟人類一樣的存在。

現(xiàn)在，人工智能機(jī)器人的感知能力已經(jīng)實現(xiàn)了明顯的進(jìn)展。圍繞機(jī)器視覺，機(jī)器人可以實現(xiàn)一系列像圖像識別、目標(biāo)檢測和文字識別等功能得到廣泛應(yīng)用；圍繞自然語言處理，機(jī)器人可以進(jìn)行基本的語音理解、機(jī)器翻譯、語音對話等；圍繞機(jī)器觸覺，機(jī)器人可以實現(xiàn)靈活的物體感知、抓握推舉等各種動作。

單一感知或者說感知能力無法互通，成為當(dāng)前人工智能機(jī)器人無法實現(xiàn)類人化突破的一大原因。也就是說，在單一感知能力和單一工作上，機(jī)器人的準(zhǔn)確度、穩(wěn)定性和持久性上面，可能遠(yuǎn)超人類，但一旦在完成多道工序的復(fù)雜任務(wù)上面，機(jī)器人就遠(yuǎn)遜于人類的表現(xiàn)。

人工智能機(jī)器人想要實現(xiàn)質(zhì)的發(fā)展，就必須在感官能力上面實現(xiàn)多模態(tài)的感知融合?，F(xiàn)在除了在我們熟知的機(jī)器視覺方面，人工智能機(jī)器人正在機(jī)器觸覺和聽覺方面實現(xiàn)突破，并且通過視覺、觸覺和聽覺的感知融合，來大幅提升機(jī)器人的感知能力。

對于人工智能機(jī)器人，普通人要么抱有很高的不切實際的幻想，擔(dān)心機(jī)器人革命會很快到來，要么對機(jī)器人的通用能力保持懷疑，覺得機(jī)器人只能在少數(shù)場景替代人類。

只有深入到人工智能機(jī)器人的“案發(fā)現(xiàn)場”，不吹不黑地看下機(jī)器人感知能力的發(fā)展?fàn)顩r，才能知道當(dāng)前機(jī)器人的感知補全計劃的真正進(jìn)展。

機(jī)器視覺和機(jī)器觸覺

作為地球上最有智慧的生物的人類，感官獲取信息的83%來自視覺，11%來自聽覺、3.5%來自嗅覺，而1.5%來自觸覺，1%來自味覺。

在這五種感官中，如果你不幸地只能保留一種，可能大部分都會保留視覺。要知道我們大腦的近1000億個神經(jīng)元，大多數(shù)都在處理視覺信息。而在所有的感知信息中，也只有動態(tài)的視覺信息是最為復(fù)雜的，以至于人類得靠著閉上眼睛主動隔離才能叫“休息”。

正因為視覺信息的重要和復(fù)雜，我們在人工智能技術(shù)的發(fā)展上，除了自然語言處理，那就主要在發(fā)展機(jī)器視覺了。

這一次人工智能的浪潮也是因為在圖像識別上的突破進(jìn)展才重新興起。如今，機(jī)器視覺已經(jīng)在工業(yè)、安防、日常消費電子、交通等各個領(lǐng)域全面開花，越來越多的攝像頭背后都具有了AI的圖像識別能力。

對于大多數(shù)人工智能機(jī)器人而言，除了有視覺能力，還有就是移動行走和抓取能力，這就需要用到觸覺的幫助。對于往往只有單一功能的自動化機(jī)器人，通常只需設(shè)定好固定的參數(shù)、移動軌跡和抓取力度，即可不休不眠地完成工作任務(wù)。但對于人工智能機(jī)器人而言，則要靈活適應(yīng)各種不同材質(zhì)、不同形狀和軟硬度的物體，這個時候就既需要機(jī)器視覺的識別能力，也需要對于物體的觸覺判斷。

之前，大部分機(jī)器人的抓握解決方案都是單靠機(jī)器人的視覺感知。主要的解決辦法就是通過數(shù)據(jù)庫進(jìn)行圖像匹配，將目標(biāo)物體的狀態(tài)和自身動作進(jìn)行實時監(jiān)測，最終調(diào)整合適的抓取算法，來完成物體的抓取，但是有關(guān)抓握的接觸力度，則是機(jī)器視覺無法代替的，這樣機(jī)器還需要觸覺上的感知數(shù)據(jù)。

就如同人類一樣，我們在嘗試抓取物體時，會組合運用各種感知能力，最基礎(chǔ)的就是視覺和觸覺。由于視覺會因為光線、陰影、視線遮擋等因素，造成誤判，我們通常會更有效地利用皮膚的觸覺，來獲得對于物體完整的感知。

人體的觸覺感知也是一個非常復(fù)雜的生物電信號反應(yīng)的過程，那么要賦予機(jī)器以觸覺能力也需要經(jīng)過非常復(fù)雜的處理。模擬人體的觸覺反應(yīng)，機(jī)器人的觸覺傳感器也必須能夠?qū)⑽矬w的質(zhì)地、光滑程度以及物體形態(tài)進(jìn)行數(shù)字模擬處理，將壓力和振動信號變成可以計算機(jī)處理的數(shù)據(jù)信號，從而進(jìn)行觸覺算法的訓(xùn)練。

機(jī)器觸覺的難點在于對于觸覺傳感器獲得的抓握等微小振動的識別，要能夠識別抓握物體發(fā)生的滑動振動和物體與其他物體摩擦發(fā)生的振動，還要能夠區(qū)分不同物體的振動，這些是研究者們重點攻克的難點。

實現(xiàn)突破的方法就是，我們需要更好的觸覺感應(yīng)器，必須做到比現(xiàn)有的壓力傳感器更好的觸覺傳感器，能夠嵌入到柔性材料當(dāng)中，實現(xiàn)像人類皮膚一樣的人造皮膚。

最近新加坡國立大學(xué)的兩名研究人員就開發(fā)出一種人造皮膚，搭載在一個能夠模擬生物神經(jīng)網(wǎng)絡(luò)人造大腦，通過英特爾Loihi的神經(jīng)擬態(tài)處理器上運行。在這一技術(shù)基礎(chǔ)上，研究團(tuán)隊通過了機(jī)械手臂讀取盲文的測試，同時借助視覺傳感器和這一人造皮膚，機(jī)械手臂的抓取能力也得到明顯提高。未來基于這種觸覺能力的機(jī)器人，可以在物品分揀過程中做到更加靈活、細(xì)致和安全，在護(hù)理行業(yè)上，可以對人類進(jìn)行更好的看護(hù)和幫助，在外科手術(shù)機(jī)器人上，更好的完成手術(shù)的自動化。

視覺和觸覺的結(jié)合，已經(jīng)可以為機(jī)器人感知提升提供了可能，那么聽覺能力的融合，會帶來哪些效果呢？

機(jī)器聽覺的補全

這里的機(jī)器聽覺，不是特指對于人類語音的識別。這類語音識別已經(jīng)在各類消費級的智能音箱等領(lǐng)域得到廣泛應(yīng)用。這里的機(jī)器聽覺是指通過聲音傳感器對于一切物體發(fā)出聲音的判斷。

相比較機(jī)器視覺對于物體的判斷的簡單直接，機(jī)器聽覺確實是人們一直忽略的領(lǐng)域。在我們的日常生活場景中，我們其實除了用視覺來判斷物體的遠(yuǎn)近、顏色和大小之外，我們通常也會用到聽覺來識別物體的距離遠(yuǎn)近、質(zhì)地，推測事件的發(fā)生。這一點對于有視力障礙的人來說尤為重要。

最近，卡內(nèi)基·梅隆大學(xué)（CMU）的研究人員發(fā)現(xiàn)，通過增加聽覺感知，人工智能機(jī)器人的感知能力可以得到顯著的提高。

這一次CMU機(jī)器人研究所首次對聲音和機(jī)器人動作之間的相互作用進(jìn)行大規(guī)模研究。研究人員發(fā)現(xiàn)，不同物體發(fā)出的聲音可以幫助機(jī)器人區(qū)分物體，比如金屬螺絲刀和金屬扳手。機(jī)器聽覺還可以幫助機(jī)器人確定哪種類型的動作會產(chǎn)生聲音，并幫助它們利用聲音來預(yù)測新物體的物理屬性。經(jīng)過測試，機(jī)器人通過聽覺在對物體進(jìn)行分類的準(zhǔn)確率能達(dá)到76%。

為了實現(xiàn)這一測試，研究者通過60個常見物體在一個機(jī)器人的托盤上進(jìn)行滑動、滾動和撞擊，記錄下15000個交互的視頻和音頻，形成了一個大數(shù)據(jù)集。

此外，研究者還可以通過搖晃容器或者攪拌物質(zhì)的聲音來預(yù)估顆粒狀物質(zhì)的數(shù)量和流量，比如對大米和意大利面進(jìn)行評估。顯然，通過聲音的對比，可以預(yù)測很多通過視覺無法預(yù)測的物理屬性。

機(jī)器聽覺無法區(qū)分一個紅色方塊和一個綠色方塊，但他可以在看不見的情況下的撞擊聲，來區(qū)分出兩個不同物體。而這正是機(jī)器聽覺的有用性所在。最終對于聲音識別物體的效果，就連研究者也都非常驚訝。

在機(jī)器聽覺的應(yīng)用方面，研究者首先想到的是在未來機(jī)器人的裝備儀器上加一個手杖，通過手杖敲擊物體來識別物體，這倒是一個有趣的畫面。但可以想見，在未來智能安防、管道線路檢測以及身體檢測等方面，機(jī)器聽覺可以發(fā)揮更大的作用。另外，對于識別最有意義的人類聲音，比如音樂、情感等聲音內(nèi)容上面，這些應(yīng)用就更加廣泛。

機(jī)器人多模態(tài)感知融合的應(yīng)用前景

正如感覺器官對于人類的重要性而言，感知系統(tǒng)對于機(jī)器人的重要性同樣至關(guān)重要。

要知道，我們?nèi)祟惼鋵嵤呛苌僦挥靡粋€感官去獲取信息，也很少只用一個感官去指導(dǎo)行動。就好像在一場“攀爬-賽跑-游泳”的三合一比賽中，我們在單一項目中可能無法戰(zhàn)勝猴子、豹子和海豚，但是在整場比賽中，人類就可以同時完成這三個項目。我們?nèi)祟愒诟兄挛锏臅r候通常也是多感官同時發(fā)揮作用，相互協(xié)調(diào)和多次驗證來加深對于外界物體的感知認(rèn)識。更為復(fù)雜的事，我們甚至還要借助記憶、推理等理性認(rèn)知能力來對感知事物進(jìn)行加工，從而得到更為復(fù)雜的認(rèn)知。

相比較于人類的多感官應(yīng)用，機(jī)器人的單一感知或者簡單組合的感知能力，又因為目前機(jī)器人的感知識別模式仍然是基于算法模型對于感知數(shù)據(jù)的分析和數(shù)據(jù)對比，因此難以產(chǎn)生更為復(fù)雜的推理知識，因此是機(jī)器人在認(rèn)知的復(fù)雜度上稍遜于人類，但在識別物體的準(zhǔn)確度和規(guī)模上就會遠(yuǎn)超人類。

現(xiàn)在，多模態(tài)感知融合的推進(jìn)，將使得機(jī)器人在認(rèn)知復(fù)雜度上面逐漸接近人類的能力。未來的機(jī)器人面對照明和遮擋、噪聲和混響、運動和相似等復(fù)雜交互場景，將會變得更加游刃有余，從而產(chǎn)生各種收益明顯的現(xiàn)實應(yīng)用。

多模態(tài)感知融合可能應(yīng)用到的領(lǐng)域，包括：

1）特殊化的精密操作領(lǐng)域。比如高難度外科手術(shù)領(lǐng)域，外科手術(shù)機(jī)器人可以通過對目標(biāo)的精確觀察和相關(guān)組織的分離、固定，進(jìn)行比外科醫(yī)生更精準(zhǔn)的手術(shù)操作。

2）高?；蛘吒唠y度的機(jī)器人作業(yè)。比如危險物品的搬運、拆除，比如普通人無法進(jìn)入的管線等高難度區(qū)域檢測檢修，地下墓穴或海底的物品的搬運、打撈，通過機(jī)器聽覺對密封空間的聲音探測等。

像在安防、災(zāi)害救援、應(yīng)急處理等需要靈活處理的場景，都可以逐漸交由多感知系統(tǒng)的機(jī)器人處理，或者人機(jī)協(xié)同遠(yuǎn)程處理。

此外，由于機(jī)器人感知融合能力的提高，機(jī)器人對于綜合感知數(shù)據(jù)的訓(xùn)練，可以更好地理解人類本身的復(fù)雜性，尤其是可以建立更為復(fù)雜的情感計算模型，能夠更好地理解人類在表情、聲音、皮膚溫度、肢體動作等方面?zhèn)鬟f出的情感信號，為更高級的人機(jī)互動提供新的可能。

目前來看，人工智能機(jī)器人仍然是一個復(fù)雜的系統(tǒng)工程，想要實現(xiàn)機(jī)器人的多模態(tài)感知融合，還需要對傳感器性能、算法協(xié)同、多模態(tài)任務(wù)、環(huán)境測試等多方面進(jìn)行綜合研究。

這個過程必定是非常艱難的，但取得成果之后的前途必定是一片光明的。在我們期待人類與機(jī)器人和諧生活的未來，我們自然更期待這些機(jī)器人不再是一臺冷冰冰的機(jī)器。
? ? ? ?責(zé)任編輯：tzh