為什么普通攝像頭+深度學(xué)習(xí)方案更適合VR/AR

（文章來源：VR陀螺）

隨著Oculus將于2020年初在Quest中加入手勢識別功能這一消息發(fā)布，手勢交互終于打破局面，開始真正走向消費(fèi)端。為什么普通攝像頭+深度學(xué)習(xí)方案更適合VR/AR？此次Oculus Quest手勢識別使用了基于計(jì)算機(jī)視覺的手勢識別的技術(shù)方案。（感謝凌感科技uSens費(fèi)越博士對本文技術(shù)部分的支持）?

VR陀螺從費(fèi)越博士口中了解到，目前基于計(jì)算機(jī)視覺的手勢方案實(shí)際上也分為兩種：一種是用深度攝像頭，一種是用一個(gè)或者多個(gè)普通攝像頭實(shí)現(xiàn)。而其中深度攝像頭的方案又分為兩種，TOF（Time of Flight，光飛時(shí)間）和結(jié)構(gòu)光。實(shí)際上結(jié)構(gòu)光，或者TOF輸出的東西基本一樣，都是一張深度圖。

相對于兩種使用深度攝像頭的方案，基于一個(gè)或多個(gè)普通攝像頭實(shí)現(xiàn)的手勢識別難度更高，但得益于技術(shù)發(fā)展，其在精度、成本綜合性能上正在成為主流。業(yè)內(nèi)的Leap Motion、凌感uSens就是使用這種方案，Oculus Quest也是使用原有的用于SLAM和手柄跟蹤的四個(gè)灰度攝像頭用深度學(xué)習(xí)算法來實(shí)現(xiàn)的手勢識別。?

凌感uSens自2015年就開始使用深度學(xué)習(xí)技術(shù)實(shí)現(xiàn)手勢識別，并在2017年發(fā)布了和Oculus Quest類似的基于灰度攝像頭的手勢識別及SLAM方案。??不久前凌感還研發(fā)發(fā)布了單目RGB相機(jī)上的三維手勢骨骼識別，可識別手部全部22個(gè)關(guān)節(jié)點(diǎn)的26DOF（26自由度）信息，關(guān)節(jié)點(diǎn)包括3D位置信息和3D旋轉(zhuǎn)信息。在單目RGB相機(jī)上實(shí)現(xiàn)三維手勢骨骼識別相對于多個(gè)灰度相機(jī)的方案來說算法的難度更高。?

近年來TOF方案在手機(jī)上應(yīng)用越來越廣泛，也是最容易實(shí)現(xiàn)深度信息的方案，但在VR、AR設(shè)備上卻幾乎沒有。原因可以從以下幾個(gè)方面來看：

AR、VR對相機(jī)要求非常高，首先必須做到延遲非常低。據(jù)稱，普通相機(jī)延遲可以達(dá)到4ms以下，從相機(jī)獲取圖像到把圖像傳過來的延遲都控制在10ms以下。但TOF相機(jī)難以做到，一般TOF相機(jī)獲取圖像的過程延遲約為四五十毫秒。因?yàn)門OF相機(jī)的工作原理不是拍一張圖像，而是要連續(xù)拍多張圖像，再根據(jù)圖像不同的激光的相位，來還原出深度信息。而拍多張的后果導(dǎo)致延時(shí)高，并且要求一定的計(jì)算，也需要耗時(shí)。同時(shí)，這種方案還會有一些運(yùn)動(dòng)模糊，如果手動(dòng)作特別快，在多張圖像中的位置不同，也會導(dǎo)致信息測算不精準(zhǔn)。

對于AR、VR來說，它的要求比一般手機(jī)識別人臉的要求高非常多。手不管動(dòng)得多快，都必須有反應(yīng)，需要精確、低延遲，不然容易產(chǎn)生眩暈。

TOF的第二個(gè)問題在于視角。在VR中追蹤范圍越大，手、手柄能夠運(yùn)動(dòng)的幅度就越大，灰度相機(jī)配上魚眼鏡頭可以視角達(dá)到160度以上，多相機(jī)系統(tǒng)可以達(dá)到200度以上的覆蓋范圍。但一般性能比較好的TOF，視角約為60度，最大也只有90度左右。TOF在手機(jī)上可行，但對VR、AR應(yīng)用來說，致命的就是延遲和視角。