MIT人工智能實(shí)驗(yàn)室的研究人員開發(fā)了一種“觸覺手套”

MIT人工智能實(shí)驗(yàn)室的研究人員開發(fā)了一種“觸覺手套”，548個(gè)傳感器，戴上它就能識(shí)別物體、物體的重量等，而且原始成本僅需10美元！

“滅霸打了一個(gè)響指，全宇宙半數(shù)的生命瞬間消失。”

漫威漫畫中描繪的“無限手套”功能無比厲害，不過滅霸也要集齊了六顆無限寶石，才能發(fā)揮出“無限手套”的能力。

現(xiàn)在，有一個(gè)神奇手套，它沒有寶石，但裝了548個(gè)傳感器，戴上它就能測(cè)到物體、物體的重量等，而且僅需10美元成本！你想不想要？

MIT人工智能實(shí)驗(yàn)室(CSAIL)的一組研究人員開發(fā)了這個(gè)手套。

如果你曾在黑暗中摸索過自己的眼鏡或手機(jī)，就會(huì)知道我們?nèi)祟惙浅Ｉ瞄L(zhǎng)通過觸摸來弄清楚物體是什么。

即使我們的其他感官失敗了，提供給我們大腦的觸覺信息仍然是我們與周圍環(huán)境交互的有力工具。這是一種非常重要的能力，也是機(jī)器人研究喜歡模仿的能力。如果實(shí)現(xiàn)了的話，機(jī)器人可以擁有更靈巧的機(jī)械手，假肢也會(huì)更加逼真和有用。

研究和復(fù)制人類的感官能力，例如視覺、聽覺和觸覺，依賴于能否得到合適的數(shù)據(jù)。通常，數(shù)據(jù)集越大、越豐富，模型就越能模擬這些功能。

MIT人工智能實(shí)驗(yàn)室(CSAIL)的Subramanian Sundaram等研究人員開發(fā)了這種低成本的觸覺手套，通過獲得詳細(xì)壓力圖的大型數(shù)據(jù)集，使AI系統(tǒng)能夠僅通過觸摸來識(shí)別物體。他們的論文發(fā)表在最新一期Nature雜志上。

論文地址：

https://www.nature.com/articles/s41586-019-1234-z

Subramanian Sundaram是該研究的第一作者，其他研究人員還包括CSAIL博士后Petr Kellnhofer和朱俊彥、博士生李昀燭(Yunzhu Li)，以及MIT教授Antonio Torralba和Wojciech Matusik。

64條導(dǎo)電線，548個(gè)傳感器，原始成本10美元

這個(gè)神奇手套名為“可伸縮觸覺手套”(scalable tactile glove，STAG)，使用柔性材料，在幾乎整只手上布置了550個(gè)微型傳感器。

手套由一個(gè)手形的傳感器套和一個(gè)普通的針織手套組成，如下圖所示：

低成本的觸覺手套，由一個(gè)普通針織手套(黃色)和一個(gè)手形的傳感器套(黑色)組成。

傳感器套筒分兩層排布了64條導(dǎo)電線，橫向和縱向分別32條，在兩層導(dǎo)電線之間有一張力敏膜(對(duì)垂直力敏感的薄膜)。

這些線交叉的548個(gè)點(diǎn)，每一個(gè)都是壓力傳感器。當(dāng)這些點(diǎn)被按壓時(shí)，交叉點(diǎn)處薄膜的電阻會(huì)變小，電極陣列就能進(jìn)行感知。

手套的輸出可以處理成32×32的灰度像素陣列，其中每個(gè)像素的顏色表示壓力變化，黑色表示壓力低，白色表示壓力高。

研究人員每秒七幀的速度將壓力圖記錄下來。使用手套在操作物體時(shí)傳感器收集到的壓力圖，可以讓機(jī)器學(xué)習(xí)模型學(xué)習(xí)識(shí)別物體、估計(jì)物體的重量，以及區(qū)分不同的手部姿勢(shì)。

Sundaram和同事戴著這只手套，在3~5分鐘的單手操作26件日常物品(包括汽水罐、剪刀、網(wǎng)球、勺子、鋼筆、水杯等)的過程中，記錄了幾段壓力圖的視頻。

用于實(shí)驗(yàn)的物品。

實(shí)驗(yàn)總共使用了 26 個(gè)物品；這里顯示了 24 個(gè)，此外還有兩個(gè)可樂罐（一個(gè)空罐和一個(gè)滿罐）。

這個(gè)過程產(chǎn)生了一個(gè)詳細(xì)的壓力圖數(shù)據(jù)集，作者表示，這是最大的此類數(shù)據(jù)集之一。

盡管手套的制造成本僅為10美元左右，但十分靈活、結(jié)實(shí)，對(duì)微小的壓力變化敏感。

為了證明手套能捕捉到手與每個(gè)物體的不同互動(dòng)，研究人員使用記錄的數(shù)據(jù)進(jìn)行了自動(dòng)對(duì)象識(shí)別。他們展示了一個(gè)最先進(jìn)的深度學(xué)習(xí)模型如何從收集的壓力圖數(shù)據(jù)中學(xué)習(xí)重新識(shí)別26類物體，該模型最初是為大規(guī)模圖像分類而設(shè)計(jì)的。

僅使用觸覺數(shù)據(jù)，AI系統(tǒng)識(shí)別物體的準(zhǔn)確率高達(dá)76%。實(shí)驗(yàn)還證明，大量的壓力圖及其空間分辨率是成功識(shí)別目標(biāo)的關(guān)鍵。

接下來，作者使用手套來拾取物體，并證明了類似的深度學(xué)習(xí)模型可以估計(jì)未知物體的重量。結(jié)果顯示，重量在60克以內(nèi)的物體大部分都能準(zhǔn)確估計(jì)出來。

重量估計(jì)的示例和性能。

他們還實(shí)驗(yàn)了不同的姿勢(shì)，證明手套傳感器讀取的信號(hào)非常詳細(xì)，足以區(qū)分不同的姿勢(shì)。

使用分解的手姿態(tài)信號(hào)的六個(gè)傳感器的對(duì)應(yīng)圖。

從物體相互作用中分解出的手位信號(hào)被用來共同提取傳感器和全手之間的相關(guān)性。

手勢(shì)信號(hào)

最后，Sundaram和他的同事通過觀察信號(hào)相關(guān)性分析了不同手部區(qū)域在抓取物體時(shí)的協(xié)作。

觸覺手套抓起一個(gè)咖啡杯產(chǎn)生的交互

觸覺手套抓起一個(gè)刺角瓜的交互

兩位中國學(xué)生參與，新智元專訪

前面提到，該研究有兩位中國學(xué)生參與，分別是MIT的博士后研究員朱俊彥和博士二年級(jí)的李昀燭。

朱俊彥

朱俊彥目前是CSAIL的一名博士后研究員，主要從事計(jì)算機(jī)視覺、計(jì)算機(jī)圖形和機(jī)器學(xué)習(xí)的研究。朱俊彥畢業(yè)于加州大學(xué)伯克利分校，2012 年獲得清華大學(xué)計(jì)算機(jī)科學(xué)系的工學(xué)學(xué)士學(xué)位，在 CMU 和 UC Berkeley 經(jīng)過 5 年學(xué)習(xí)后，于 2017 年獲得 UC Berkeley 電氣工程與計(jì)算機(jī)科學(xué)系的博士學(xué)位。

朱俊彥也是一系列“網(wǎng)紅GAN”的作者，包括CycleGAN、GauGAN等。

李昀燭

另一位作者李昀燭是CSAIL的二年級(jí)博士生，他的研究領(lǐng)域是計(jì)算機(jī)視覺、機(jī)器學(xué)習(xí)和機(jī)器人技術(shù)，尤其是基于深度學(xué)習(xí)的機(jī)器人動(dòng)力學(xué)建模和多模態(tài)感知。

李昀燭本科畢業(yè)于北京大學(xué)，本科期間參加北京大學(xué)和斯坦福大學(xué)的多個(gè)實(shí)驗(yàn)室研究，并以第一作者身份發(fā)表多篇計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)頂級(jí)會(huì)議論文。

新智元采訪到李昀燭，為我們講述了“觸覺手套”的研發(fā)過程、工作原理、挑戰(zhàn)和未來的計(jì)劃。

新智元：您和團(tuán)隊(duì)是如何萌生研發(fā)這個(gè)手套的想法的？

李昀燭：人在和周圍環(huán)境進(jìn)行交互的時(shí)候，除了用視覺，我們還會(huì)用聽覺和觸覺等多種感官來感知這個(gè)世界，而其中觸覺在我們?nèi)粘Ｉ钪泻铜h(huán)境進(jìn)行物理性交互的過程中尤為重要。

比如伸手到褲兜里拿鑰匙，需要在看不見的情況下對(duì)鑰匙進(jìn)行定位和抓??；或者在揉面團(tuán)的時(shí)候，要判斷面團(tuán)的軟硬，這些任務(wù)僅靠視覺是很困難的，還需要有來自觸覺的反饋。所以我們希望引入像人手一樣的壓力傳感器，去研究人到底是如何利用觸覺和世界進(jìn)行交互的。

現(xiàn)在已經(jīng)有不少令人印象深刻的觸覺傳感器，比如麻省理工學(xué)院Edward H. Adelson組的GelSight和Alberto Rodriguez組的GelSlim，他們都基于攝像機(jī)，有很高的分辨率，但問題在于能感知的區(qū)域有限，而且不能進(jìn)行大幅度的形變；還有的觸覺傳感器可能面積比較大，但是感知器的密度非常稀疏，并且可能很難進(jìn)行更大的擴(kuò)展，所以我們希望能做一個(gè)非常密集的且有很強(qiáng)可擴(kuò)展性的手套感知器。

我們開發(fā)的這一套傳感器使用的是柔性材料，非常適合去貼合像手這樣自由度比較大的物體。我們帶上這個(gè)手套去跟各種各樣的物體進(jìn)行互動(dòng)，就能得到清晰度很高的觸覺數(shù)據(jù)集，來分析人在抓取物體過程中的一些行為模式。

我們希望在未來能幫助機(jī)器手做到像人的手指一樣靈活。比如人在抓一個(gè)東西的時(shí)候，我們就得到了人的手指壓力分布數(shù)據(jù)，那么這有助于機(jī)器人更靈活地把物體抓起來，或者完成某個(gè)相似的任務(wù)。

新智元：這個(gè)手套的工作原理是怎樣的？應(yīng)用了哪些技術(shù)或算法？

李昀燭：手套的基本原理比較容易理解。當(dāng)你在對(duì)手套施加壓力的時(shí)候，它的導(dǎo)電性就會(huì)有一定變化，這就變成了數(shù)據(jù)。其中我們分兩層在橫向和縱向分別排布了32條導(dǎo)電線，在兩層導(dǎo)電線之間加入了一張對(duì)垂直力敏感的薄膜，當(dāng)壓力變化時(shí)，薄膜的電阻也會(huì)隨之變化，電極陣列就能進(jìn)行感知。

新智元：你們花了多長(zhǎng)時(shí)間研發(fā)這個(gè)手套？手套使用了550個(gè)微型傳感器，是怎樣得出這個(gè)數(shù)字的？如果采用更多傳感器，準(zhǔn)確度上是不是會(huì)更好？

手套的研發(fā)花了大半年時(shí)間，后續(xù)的數(shù)據(jù)采集和實(shí)驗(yàn)分析也花了接近半年的時(shí)間。在目前實(shí)驗(yàn)室的環(huán)境里，如果做的更密集，導(dǎo)電線在人手大幅度運(yùn)動(dòng)的過程中就可能接觸發(fā)生短路。再者，因?yàn)槭终菩螤畹牟灰?guī)則，在手掌的區(qū)域內(nèi)只能容納大約550個(gè)壓力傳感器。在未來我們可能會(huì)使用更精細(xì)的排線設(shè)計(jì)，來實(shí)現(xiàn)更高的傳感器密度。

新智元：手套研發(fā)的過程中遇到了哪些挑戰(zhàn)？您和團(tuán)隊(duì)是如何解決的？

李昀燭：設(shè)計(jì)和制作整個(gè)帶觸覺的“皮膚”是很有挑戰(zhàn)性的，我們既需要很強(qiáng)的可擴(kuò)展性和長(zhǎng)時(shí)間穩(wěn)定工作的能力，還不能去影響人本身的動(dòng)作，之前的研究很難兼得這些要求。我們通過提出一種新的傳感器的設(shè)計(jì)和制造方法來解決這些問題。具體原理的簡(jiǎn)單介紹可以參考前面第二個(gè)問題。

新智元：現(xiàn)在的手套可以識(shí)別物體和重量，未來有沒有可能做到識(shí)別物體材質(zhì)、溫度、甚至更科幻一點(diǎn)——產(chǎn)地呢？

李昀燭：我們未來可能考慮在已有壓力傳感器的基礎(chǔ)上，加上識(shí)別溫度和震動(dòng)的傳感器。溫度和震動(dòng)的感知對(duì)識(shí)別物體的材質(zhì)非常重要。識(shí)別產(chǎn)地難度很大，這對(duì)人來說也是一個(gè)很困難的任務(wù)。

新智元：這個(gè)手套成本極低，如何做到的呢？低成本讓商業(yè)化成為可能，您覺得這個(gè)手套可以用在哪些地方？距離商業(yè)化還有多遠(yuǎn)？

李昀燭：這項(xiàng)研究的一大突破就在于我們提出的設(shè)計(jì)和制造方法不需要特別的制作工具，使用的也都是市場(chǎng)上能買到的材料，最后的產(chǎn)品很靈敏，成本很低，并且有很強(qiáng)的可擴(kuò)展性。手套和傳感器的物料成本大概是10美元。除了手套以外，我們目前連接傳感器的線路板大約為100美元。

這項(xiàng)研究有很多可能的應(yīng)用，比如我們可以記錄人在完成某個(gè)復(fù)雜任務(wù)時(shí)的觸覺反饋，然后通過模仿學(xué)習(xí)去幫助機(jī)器人完成類似的任務(wù)；或者我們可以將傳感裝置的面積做得更大，包裹住整個(gè)機(jī)械臂，這可以幫助機(jī)器人更好地和人類進(jìn)行交互；我們也可以把傳感器織成衣服和鞋子，來分析人在走路、跑步或登山時(shí)的受力分布，有助于設(shè)計(jì)出更好的產(chǎn)品；在交互游戲的設(shè)計(jì)上也會(huì)有很多想象的空間。

目前的傳感器距離商業(yè)化還有不小的距離，實(shí)驗(yàn)室的原型和真正讓用戶喜歡的產(chǎn)品之間還是有很多工作需要完成的。

新智元：下一步還想在哪些方面有所突破？比如說要擴(kuò)展哪些功能？

李昀燭：我們目前在考慮做成其他的形狀來幫助除了“手”以外的物體獲得觸覺感知，我們還在不斷加入更多模態(tài)的傳感器，也在計(jì)劃采集更大規(guī)模的用戶數(shù)據(jù)，分析更復(fù)雜場(chǎng)景下的人類行為，未來我們也會(huì)探索這種傳感器在機(jī)器人任務(wù)里的應(yīng)用。