3D視覺感知底層技術(shù)與產(chǎn)業(yè)應(yīng)用

奧比中光是一家專門做3D視覺感知技術(shù)的公司。我們?yōu)槭裁匆鋈S相關(guān)的東西？其實還是應(yīng)用驅(qū)動。三維相關(guān)的應(yīng)用變多了，如智能檢測識別、6DoF定位、機器人SLAM等，而原來的2D信息則越來越不夠用。

為什么需要三維感知技術(shù)？

實際上，三維感知技術(shù)的種類還是蠻多的。今天我想講的，主要還是偏重于非接觸式的三維感知技術(shù)。而即使是非接觸式的三維感知，依然有很多分支，有光學的，還有非光學的，像超聲、毫米波等。

奧比中光關(guān)注的還是光學方面。從光學測量系統(tǒng)來看，又分為透射式、反射式。透射式一般測什么？測一些透明材質(zhì)物體（如玻璃），往往是用透射式的。我們常見的一般是反射式：光在發(fā)出之后通過物體表面反射回來，然后被傳感器接收到，利用這個信息來計算深度。

反射式又可以分主動和被動。主動是指它會投射一些特定的光或光斑，從而實現(xiàn)三維恢復。我在圖中列了幾種常見的方法，其實光學測量的范疇很大，還不限于這幾類。被動也很多技術(shù)路線。人的眼睛其實就是一個被動雙目，像SFM、SFX、攝影測量等，則是利用Motion、shading等多種約束去解算。

今天，我主要想和大家分享下奧比中光的主動結(jié)構(gòu)光、主動被動雙目及ToF技術(shù)。

結(jié)構(gòu)光的前世今生

結(jié)構(gòu)光的歷史其實很早。20年前，研究人員就能用條紋結(jié)構(gòu)光重建出人臉模型，只是計算和建模過程比較緩慢。即使到了現(xiàn)在，結(jié)構(gòu)光的概念還是比較寬泛的。

我想重點介紹的Kinect，大家可能已經(jīng)比較清楚了。Kinect應(yīng)該是第一個消費級的Depth-Camera，而且銷量也蠻大，有超過3000萬套。而真正為Kinect提供技術(shù)的公司，其實是以色列的PrimeSense。這家2007年成立的公司專注于研發(fā)實時結(jié)構(gòu)光技術(shù)，并在2009年與微軟一起發(fā)布了Kinect，可以和Xbox配合做體感游戲。Kinect深刻影響了企業(yè)界和學術(shù)界，大家那時發(fā)現(xiàn)，1000塊錢左右就能得到一個深度相機，還是很不可思議的。

奧比中光在2013年成立，在2015年就推出了我們第一套結(jié)構(gòu)光傳感器。為了推廣方面的需求，我們做了兼容，盡量與Kinect的數(shù)據(jù)協(xié)議保持一致。實際上，我們的傳感器能輸出的分辨率還可以更高。

PrimeSense后來被蘋果收購。蘋果在2017年9月推出iPhone X，帶著結(jié)構(gòu)光“劉?！?，這也是蘋果第一款帶3D相機的手機，可以用來刷臉解鎖、刷臉支付。

在安卓陣營里，奧比中光與OPPO合作，推出了第一款帶3D攝像頭的安卓手機。其實，我們在2017年初就可以把3D結(jié)構(gòu)光方案做進手機，只是廠商當時不理解3D應(yīng)用的價值，直到iPhone X的發(fā)布引爆了行業(yè)。

在2018年下半年，我們又在結(jié)構(gòu)光的產(chǎn)業(yè)化應(yīng)用上邁出了一大步，把結(jié)構(gòu)光大規(guī)模地用在線下刷臉支付設(shè)備中。

實時結(jié)構(gòu)光的原理其實不難。把激光散斑投射到物體上，形成散斑圖，然后在特定的平面上采集一幀參考圖像。利用這個散斑圖，跟參考圖上的散斑做匹配，找到對應(yīng)的視差，然后計算它Z方向的信息。

結(jié)構(gòu)光跟雙目有一定接近的地方，不過結(jié)構(gòu)光只有一個相機。如果把結(jié)構(gòu)光相機中的激光投影模塊看成一個倒置的相機，其實就很接近雙目技術(shù)。

結(jié)構(gòu)光的核心在于做匹配，計算量很大。即使是算一個像素，一個block，也要算很多次。計算100萬像素的話，數(shù)據(jù)量就非常巨大。所以，實現(xiàn)這個過程，需要自己做芯片。

到現(xiàn)在為止，奧比中光已經(jīng)自研了四代結(jié)構(gòu)光芯片。因為結(jié)構(gòu)光計算量大，集成到芯片上，可以把算力、成本、功耗都平衡到可以大規(guī)模生產(chǎn)的地步。

主動被動融合的奧比中光雙目技術(shù)

再來講講雙目。奧比中光在雙目上做了什么呢？

我們做了主動被動融合的雙目模式。在幾米之內(nèi)的近距離時，采用主動增加散斑紋理，得到更好的精度；在遠距離時，因為主動投射沒有任何意義，就會變成被動雙目。

同學們可能知道，這時候圖像容易出現(xiàn)抖動的情況。怎么辦呢？奧比中光開始采用深度學習的方式，用深度學習模型來學習圖像的特征，然后做特征匹配，效果比傳統(tǒng)方法好很多。

雙目芯片這塊，我們也在做芯片設(shè)計。因為雙目的計算量與結(jié)構(gòu)光一樣，都非常巨大。奧比中光原來已有的兩款結(jié)構(gòu)光芯片MX6000和MX6600，其實也兼容雙目。之后，我們還會再專門做一款AIOT芯片，我們叫它Venus，結(jié)合了雙目和iToF的處理。

iToF與dToF：自研Sensor是核心壁壘

奧比中光也在投入iToF Sensor，預計今年7月份能夠量產(chǎn)。這個項目從開始到現(xiàn)在已經(jīng)做了快三年，用的時間還蠻長的。值得一提的是，我們目前正在和微軟一起合作，開發(fā)在Azure云計算平臺上使用的iToF相機。

iToF發(fā)展簡史

簡單介紹下iToF的原理。iToF的原理是發(fā)射脈沖，再接受脈沖，最終利用相位差計算深度。一個不需要高精度的iToF測量其實很簡單，但如果想把一個系統(tǒng)做得很精確，需要大量的標定工作。因為發(fā)射的脈沖跟理想的正弦信號還差很多，這塊需要標定。

iToF系統(tǒng)濾波算法

而iToF系統(tǒng)標定這塊，主要有四個方面：

全局偏差標定與補償：全局偏差相當于整個系統(tǒng)的系系統(tǒng)誤差，通過對全局偏差的處理，使測量數(shù)據(jù)歸一化。

wiggling標定：主要解決調(diào)制信號與理想信號存在的周期性差異，因此，在標定時需要確保完成對一個調(diào)制周期的標定補償。

FPPN標定：FPPN噪聲是與像素點相關(guān)的固定偏置噪聲，因此，可以在某一位置上計算固定偏置的相位。然后在計算深度時加上這一個固定的偏置相位即可。

溫漂標定：溫度會改變深度偏移，因為激光調(diào)制和傳感器中的延遲時間解調(diào)會隨溫度變化。因此，補償隨溫度變化漂移時，應(yīng)根據(jù)傳感器和激光驅(qū)動器中的溫度應(yīng)用于原始距離。

給大家再介紹下奧比中光自研iToF傳感器PLECO。PLECO采用背照和堆疊工藝設(shè)計，像素層和邏輯層采用65nm工藝，尺寸做得更小。聽說索尼下一代將采用背照和堆疊工藝來做iToF傳感器，實際上奧比中光在這上面已經(jīng)做了三年了。

奧比中光iToF開發(fā)時間線

講完iToF，再講講dToF。蘋果在iPhone12系列上裝的Lidar其實就是dToF。dToF跟iToF原理上唯一的差別就在于，dToF是測量時間差，發(fā)射出去脈沖跟接收的脈沖中間有一個時間差。不過，對這個時間差的測量精度要求非常高。

dToF最關(guān)鍵的部件是接收端的Sensor。dToF Sensor的發(fā)展也有一個趨勢，最早基本都在用APD (Avalanche Photo Diode)，后來發(fā)展成SPAD（Single Photon Avalanche Diode），即單光子雪崩二極管，只進去一個光子也會觸發(fā)它的雪崩。再后來，則會走向SPAD Array的路線。而dToF技術(shù)的核心壁壘，也在于Sensor。

主流3D視覺感知技術(shù)，各有千秋

3D視覺感知技術(shù)各有特色，我們是全球少數(shù)全面布局結(jié)構(gòu)光、雙目、iToF、dToF、激光雷達等主流3D視覺感知技術(shù)的公司。我這里并沒有給出哪種技術(shù)它的精度到底好還是不好，而是給了一些跟誤差相關(guān)的參數(shù)。

主流3D視覺感知技術(shù)對比

像結(jié)構(gòu)光和雙目，它的誤差聯(lián)系最緊密的就是測量距離和焦距，可以看出它的誤差是隨著距離成平方關(guān)系的。iToF基本跟距離成線性關(guān)系，dToF幾乎就是一個常量，整體精度不隨距離的變化而變化，當然，dToF測量結(jié)果跟時間的精度關(guān)系很大。

3D視覺感知技術(shù)本身沒有“好”與“壞”之分，而是分別適合于不同的應(yīng)用場景。我認為幾種技術(shù)之間，是一種優(yōu)勢互補、長期并存的狀態(tài)。

3D視覺感知技術(shù)是趨勢，大規(guī)模產(chǎn)業(yè)化正當其時

我再分享幾個典型的應(yīng)用場景。整體來說，結(jié)構(gòu)光的優(yōu)勢還是近距離感測，雙目的好處就在于它可近可遠。iToF在0.1到5米范圍內(nèi)，dToF可以到幾百米，車載激光雷達的原理就是dToF。

奧比中光一直在做3D視覺感知技術(shù)，把這幾種技術(shù)從底層Sensor、芯片設(shè)計到光學、算法以及整體系統(tǒng)優(yōu)化，都做了全方位深耕。我們?yōu)槭裁匆@么做？舉個簡單的例子，如果企業(yè)核心的Sensor是買來的，那么做很多應(yīng)用都會被局限住，就容易在一些關(guān)鍵領(lǐng)域被卡脖子。

奧比中光做了很多3D視覺感知模組，這些模組可以應(yīng)用到的場景也很多，如手機前置、后置攝像頭，線下刷臉支付，汽車激光雷達、車內(nèi)安防，智能門鎖，AR/VR，機器人，智慧畜牧，工業(yè)三維檢測等等。

奧比中光智能制造行業(yè)解決方案

當前，3D視覺感知技術(shù)已經(jīng)在多個領(lǐng)域崛起，并且在迅速擴大應(yīng)用規(guī)模。與此同時，我們也能看到光學產(chǎn)業(yè)已經(jīng)在向亞洲乃至轉(zhuǎn)移——從20世紀中葉前歐洲國家（德國為主）獨占鰲頭，到1950年日本光學產(chǎn)業(yè)高速起飛而后制霸全球，從21世紀初期臺灣光學產(chǎn)業(yè)在智能手機鏡頭帶動下崛起，到近年來大陸光學產(chǎn)業(yè)科創(chuàng)新秀涌現(xiàn)、大規(guī)模應(yīng)用落地，中國有望在3D感知技術(shù)產(chǎn)業(yè)實現(xiàn)彎道超車。

我們捕捉到了3D視覺感知技術(shù)在物聯(lián)網(wǎng)時代的應(yīng)用浪潮，并大力發(fā)展底層核心技術(shù)和下游應(yīng)用生態(tài)。

我希望，中國能夠在高端基礎(chǔ)組件(比如Sensor、算法芯片、硅光技術(shù)等)上，有自己的持續(xù)研發(fā)和生產(chǎn)能力，培養(yǎng)更多人才，不被“卡脖子”

審核編輯 ：李倩