如何通過(guò)機(jī)器視覺(jué)的解決方案去獲取3D模型數(shù)據(jù)

在科幻小說(shuō)中，機(jī)器人要么是與人類對(duì)立，要么是變異成壞人。但如今現(xiàn)實(shí)生活中機(jī)器人的應(yīng)用大為不同。機(jī)器正代替人眼來(lái)看世界并加以行動(dòng)，它們所到之處讓生活變得智慧化。

通過(guò)攝取圖像模擬人眼的視覺(jué)功能，提取信息然后加以分析處理，機(jī)器視覺(jué)已成為智慧城市過(guò)程中不可或缺的“第三只眼睛”，其應(yīng)用領(lǐng)域也從食品生產(chǎn)流程管理、農(nóng)業(yè)種植控制、醫(yī)學(xué)檢測(cè)等方面的個(gè)體需求到交通及安防等公共項(xiàng)目。其中我司深圳朗銳智科實(shí)業(yè)有限公司研發(fā)的雞蛋收集線計(jì)數(shù)器，就被投放到家禽養(yǎng)殖場(chǎng)使用，在使用過(guò)程中可以提高效率和降低成本。

隨著機(jī)器視覺(jué)的發(fā)展與進(jìn)步，3D機(jī)器視覺(jué)迎來(lái)了自動(dòng)化行業(yè)的巨大機(jī)遇，主要用于質(zhì)量保證和檢測(cè)。據(jù)數(shù)據(jù)預(yù)測(cè)，2017年到2022年期間的復(fù)合年增長(zhǎng)率將達(dá)到11.07%，2022年全球3D機(jī)器視覺(jué)市場(chǎng)規(guī)模有望達(dá)到21.3億美元。

在機(jī)器視覺(jué)頂會(huì)中，差不多會(huì)有半壁江山那么多的論文都是跟3D有關(guān)。前沿探索可謂瘋狂進(jìn)行，那么有哪些三維圖像+機(jī)器視覺(jué)的新技術(shù)趨勢(shì)，今天正隱藏在未知迷霧中眺望這個(gè)世界？今天我們來(lái)說(shuō)幾種很有科幻感的技術(shù)突破點(diǎn)。說(shuō)不定這些能力明年就會(huì)出現(xiàn)在你的手機(jī)、VR設(shè)備和無(wú)人機(jī)中，又或許即將成為某個(gè)被資本瘋狂親吻的創(chuàng)業(yè)熱潮。

超大場(chǎng)景的3D數(shù)據(jù)感知

3D機(jī)器視覺(jué)包括很多方面，既有讓智能體去理解3D數(shù)據(jù)，也包括如何通過(guò)機(jī)器視覺(jué)的解決方案，去獲取3D模型數(shù)據(jù)。

傳統(tǒng)意義上的3D數(shù)據(jù)獲取，或者稱其為3D感知技術(shù)，一般來(lái)說(shuō)可以利用多角度拍照或者深度傳感器的方式實(shí)現(xiàn)3D數(shù)據(jù)收集。這種技術(shù)的局限在于，收集的3D數(shù)據(jù)不能太大。

然而在3D資料要求不斷升級(jí)的今天，對(duì)于超大場(chǎng)景的3D數(shù)據(jù)感知，正在成為一個(gè)熱門(mén)議題。比如無(wú)人駕駛中使用的城市高精地圖，就可以看做一個(gè)個(gè)超大3D場(chǎng)景的拼接。智能城市領(lǐng)域運(yùn)用到的很多城市數(shù)據(jù)推演，也要根植于對(duì)城市3D場(chǎng)景的收集。

機(jī)器視覺(jué)正在為超大場(chǎng)景的3D數(shù)據(jù)感知提供很多新的方法。比如自動(dòng)化的成像方法，像視覺(jué)SLAM在線處理連續(xù)幀的圖像，實(shí)現(xiàn)實(shí)時(shí)重建巨大3D場(chǎng)景。再比如說(shuō)對(duì)航拍數(shù)據(jù)進(jìn)行點(diǎn)云分割和點(diǎn)云數(shù)據(jù)的語(yǔ)義理解，幫助快速低成本獲取城市3D數(shù)據(jù)。

總體來(lái)看，今天超大場(chǎng)景的3D數(shù)據(jù)感知，有三個(gè)主要應(yīng)用方向，很可能分別成為各自技術(shù)領(lǐng)域中新的投資和創(chuàng)業(yè)熱點(diǎn)：

1、建筑物的3D高精度模型，運(yùn)用在工程監(jiān)理、智能設(shè)計(jì)、物流和智能城市領(lǐng)域。

2、高精地圖與3D數(shù)據(jù)感知的結(jié)合，這是無(wú)人駕駛的重要一環(huán)。

3、室內(nèi)外一體的3D建模，這對(duì)于智能家居設(shè)計(jì)、環(huán)境監(jiān)控、VR/AR體驗(yàn)來(lái)說(shuō)都有重要幫助。

手機(jī)與3D視覺(jué)進(jìn)入蜜月期

目前，智能手機(jī)已經(jīng)成為AR/AR以及計(jì)算視覺(jué)等先進(jìn)技術(shù)發(fā)展的最大載體，人臉識(shí)別、AR功能成為當(dāng)前智能手機(jī)發(fā)展的熱點(diǎn)，其實(shí)無(wú)論是在AR/VR領(lǐng)域還是識(shí)別技術(shù)，都離不開(kāi)計(jì)算視覺(jué)。計(jì)算視覺(jué)領(lǐng)域其實(shí)就是運(yùn)用計(jì)算機(jī)技術(shù)對(duì)生物視覺(jué)的一種模擬，其中深度識(shí)別和多維成像使其核心技術(shù)。

深度識(shí)別是計(jì)算視覺(jué)的關(guān)鍵前提，能夠?qū)ι镆曈X(jué)進(jìn)行識(shí)別，其中包括當(dāng)前流行的蘋(píng)果人臉識(shí)別技術(shù)，多維成像將包括目前的3D顯示結(jié)局即對(duì)圖片以及視頻等進(jìn)行3D畫(huà)面的再現(xiàn)。利用深度識(shí)別和多維成像技術(shù)，除了還原我們?nèi)庋鬯芸吹降漠?huà)面，未來(lái)隨著技術(shù)的不斷融合，深度識(shí)別技術(shù)還能是立體的展示我們?nèi)庋鬯床坏降臇|西。例如，未來(lái)的智能手機(jī)可以在陽(yáng)光下利用深度識(shí)別技術(shù)和人工智能技術(shù)的分析，識(shí)別紫外線的強(qiáng)度，提醒我們的防曬護(hù)膚。

AR/VR中的眼球追蹤技術(shù)

隨著技術(shù)的進(jìn)步，我們現(xiàn)在已經(jīng)能夠利用人類眼睛進(jìn)行虹膜識(shí)別，虹膜識(shí)別相較面部識(shí)別、指紋識(shí)別都更加有效和安全，很多手機(jī)廠商開(kāi)始開(kāi)發(fā)使用虹膜識(shí)別功能。

除了虹膜識(shí)別之外，還有眼球追蹤技術(shù)。所謂眼球追蹤，是指一項(xiàng)技術(shù)能夠追蹤眼球的運(yùn)動(dòng)，并利用這種眼球運(yùn)動(dòng)來(lái)增強(qiáng)某個(gè)產(chǎn)品或服務(wù)的體驗(yàn)。

眼球追蹤技術(shù)曾經(jīng)在智能手機(jī)領(lǐng)域火了一陣，這可能要追溯到2013年Galaxy S4手機(jī)率先搭載了眼球追蹤功能，這項(xiàng)功能主要應(yīng)用在視頻播放上面。舉個(gè)例子，如果你正在觀看一個(gè)視頻，然后你身后的同學(xué)拍了一下你肩膀，在你轉(zhuǎn)過(guò)頭的時(shí)候，由于你的眼睛已經(jīng)不再看著屏幕，視頻會(huì)自動(dòng)暫停，而當(dāng)你回過(guò)頭來(lái)，視頻會(huì)自動(dòng)繼續(xù)播放。不需要你用手去點(diǎn)擊暫停和播放;或者你在手機(jī)上看網(wǎng)頁(yè)，當(dāng)你眼睛看到屏幕底部的時(shí)候，網(wǎng)頁(yè)會(huì)自動(dòng)翻頁(yè)。同年，LG也推出了一款擁有眼球追蹤功能的LG Optimus G Pro手機(jī)。

可惜，眼球追蹤未能在手機(jī)領(lǐng)域掀起大風(fēng)大浪，原因大概有兩點(diǎn)。首先用戶沒(méi)有需求，一款智能手機(jī)的平均尺寸大約只有5英寸，在這么一丁點(diǎn)兒大的地方，人們更喜歡直接用手指進(jìn)行交互，何況手機(jī)絕大部分功能都是使用手指進(jìn)行交互，所以也不多播放/暫停這個(gè)環(huán)節(jié);第二個(gè)原因就是，當(dāng)時(shí)技術(shù)不太成熟，分辨率低，識(shí)別不夠精準(zhǔn)，導(dǎo)致有用戶覺(jué)得眼睛累。

3D視覺(jué)助力機(jī)器人產(chǎn)業(yè)智能化轉(zhuǎn)型

3D視覺(jué)作為一項(xiàng)激動(dòng)人心的新技術(shù)，早已經(jīng)出現(xiàn)在微軟Kinect、英特爾RealSense等消費(fèi)級(jí)產(chǎn)品中。近幾年，隨著硬件端技術(shù)的不斷進(jìn)步，算法與軟件層面的不斷優(yōu)化，3D深度視覺(jué)的精度和實(shí)用性得到大幅提升，使得“3D深度相機(jī)+手勢(shì)/人臉識(shí)別”具備了大規(guī)模進(jìn)入移動(dòng)智能終端的基礎(chǔ)。作為全球手機(jī)當(dāng)之無(wú)愧的龍頭，蘋(píng)果率先大規(guī)模采用3D視覺(jué)技術(shù)，將徹底激活3D視覺(jué)市場(chǎng)，開(kāi)啟全新時(shí)代。

3D視覺(jué)技術(shù)不僅僅在識(shí)別精度方面大幅提升，更重要的是打開(kāi)了更加廣闊的人工智能應(yīng)用空間。隨著機(jī)器視覺(jué)、人工智能、人機(jī)交互等科學(xué)技術(shù)的發(fā)展，各種高智能機(jī)器人開(kāi)始走進(jìn)現(xiàn)實(shí)，3D視覺(jué)技術(shù)成為助力制造業(yè)實(shí)現(xiàn)“智能化”轉(zhuǎn)型的好幫手。

大家耳熟能詳?shù)纳疃葦z像頭技術(shù)和應(yīng)用有英特爾的RealSense、微軟的Kinect、蘋(píng)果的PrimeSense、以及谷歌的Project Tango等。不過(guò)可以看到這一技術(shù)的研究和開(kāi)發(fā)多為國(guó)外公司，國(guó)內(nèi)計(jì)算視覺(jué)方面的公司或創(chuàng)業(yè)團(tuán)隊(duì)屈指可數(shù)，技術(shù)上的壁壘依舊較大。

關(guān)于目前市場(chǎng)上的深度相機(jī)的技術(shù)方案主要有以下三種：雙目被動(dòng)視覺(jué)、結(jié)構(gòu)光、TOF。雙目被動(dòng)視覺(jué)主要是利用兩個(gè)光學(xué)攝像頭，通過(guò)左右立體像對(duì)匹配后，再經(jīng)過(guò)三角測(cè)量法來(lái)得到深度信息。此算法復(fù)雜度高，難度很大，處理芯片需要很高的計(jì)算性能，同時(shí)它也繼承了普通RGB攝像頭的缺點(diǎn)：在昏暗環(huán)境下以及特征不明顯的情況下并不適用。

結(jié)構(gòu)光的原理是通過(guò)紅外激光發(fā)射相對(duì)隨機(jī)但又固定的斑點(diǎn)圖案，這些光斑打在物體上后，因?yàn)榕c攝像頭距離不同，被攝像頭捕捉到的位置也不盡相同。然后先計(jì)算拍到的圖的斑點(diǎn)與標(biāo)定的標(biāo)準(zhǔn)圖案在不同位置的位移，引入攝像頭位置、傳感器大小等參數(shù)計(jì)算出物體與攝像頭的距離。

微軟在Kinect二代采用的是ToF的技術(shù)。ToF是Time of flight的簡(jiǎn)寫(xiě)，直譯為飛行時(shí)間的意思。所謂飛行時(shí)間法3D成像，是通過(guò)給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過(guò)探測(cè)光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物距離。相比之下，結(jié)構(gòu)光技術(shù)的優(yōu)勢(shì)是比ToF更加成熟，成本更低，更加適合用在手機(jī)等移動(dòng)設(shè)備上。

深度攝像頭是所有需要三維視覺(jué)設(shè)備的必需模塊，有了它，設(shè)備就能夠?qū)崟r(shí)獲取周圍環(huán)境物體三維尺寸和深度信息，更全面的讀懂世界。深度攝像頭給室內(nèi)導(dǎo)航與定位、避障、動(dòng)作捕捉、三維掃描建模等應(yīng)用提供了基礎(chǔ)的技術(shù)支持，成為現(xiàn)今行業(yè)研究熱點(diǎn)。如今iPhone X搭載3D深度攝像頭勢(shì)必會(huì)大力推動(dòng)機(jī)器視覺(jué)領(lǐng)域的發(fā)展，助力機(jī)器人產(chǎn)業(yè)實(shí)現(xiàn)完美“智能化轉(zhuǎn)型”。

更好的深度傳感器解決方案

還有一個(gè)機(jī)器視覺(jué)技術(shù)和3D的交匯，主要發(fā)生在無(wú)人機(jī)領(lǐng)域。

無(wú)人機(jī)今天進(jìn)行測(cè)繪和航拍時(shí)，必須附帶對(duì)空間的理解能力，否則拍照不準(zhǔn)事小，撞了南墻事大。而這個(gè)能力主要來(lái)自于攝像頭和傳感器進(jìn)行空間閱讀。

隨著消費(fèi)級(jí)無(wú)人機(jī)的不斷升級(jí)，人們對(duì)無(wú)人機(jī)拍攝效果要求也不斷升高。無(wú)人機(jī)必須不斷在更遠(yuǎn)的距離、更極端的天氣、更復(fù)雜的運(yùn)動(dòng)中拍攝畫(huà)面。然而傳統(tǒng)的傳感系統(tǒng)解決方案已經(jīng)快要跟不上用戶的期許。

今天的消費(fèi)級(jí)無(wú)人機(jī)，一般采取兩種感知解決方案，一種是雙目視覺(jué)技術(shù)，比如大疆的某些產(chǎn)品；一種是結(jié)構(gòu)光傳感器，比如微軟的Kinect。而這兩種主流方案都是有一定局限的，比如感知范圍都有限，難以完成遠(yuǎn)距離作業(yè)。再比如雙目視覺(jué)技術(shù)在黑夜中會(huì)失靈，所以無(wú)人機(jī)夜拍一直是個(gè)大坑，然而結(jié)構(gòu)光技術(shù)應(yīng)對(duì)不來(lái)強(qiáng)光，一到中午無(wú)人機(jī)就石樂(lè)志也是很心塞的。

更好的解決方案，在于將傳感器與智能攝像頭結(jié)合起來(lái)，達(dá)成可以適應(yīng)不同天候與天氣，并且可以長(zhǎng)距離感知的新型傳感系統(tǒng)解決方案。

今天，用機(jī)器視覺(jué)技術(shù)中的很多算法，協(xié)調(diào)不同的傳感設(shè)備工作，讓無(wú)人機(jī)變成“多眼無(wú)人機(jī)”，正在成為流行的解決方案。機(jī)器視覺(jué)算法大量加入無(wú)人機(jī)傳感器，還可能帶來(lái)軌跡拍攝能力提升，讓無(wú)人機(jī)獲得拍攝整體環(huán)境，或者精準(zhǔn)捕捉動(dòng)態(tài)物體，比如說(shuō)運(yùn)動(dòng)中的動(dòng)物和車輛的能力。

以上幾個(gè)技術(shù)趨勢(shì)，都可能成為機(jī)器視覺(jué)和圖形學(xué)應(yīng)用的下一步熱點(diǎn)。這個(gè)領(lǐng)域看似偏門(mén)，事實(shí)上卻能影響今天科技市場(chǎng)中的風(fēng)吹草動(dòng)。

讓機(jī)器看到立體世界的游戲才剛剛開(kāi)始，機(jī)器與人類在某一天可以用同樣的視角相互凝視，或許才是這個(gè)故事的終點(diǎn)。