ToF 3D視覺傳感技術(shù)詳解 雙目立體視覺工作原理解析

現(xiàn)行的深度傳感鏡頭作為智能手機(jī)的一大創(chuàng)新，已在目前主流智能手機(jī)上廣泛應(yīng)用?，F(xiàn)因蘋果在最新版iPad Pro上搭載了D-ToF（直接飛行時(shí)間法）深度傳感鏡頭引起了極大的關(guān)注，推動(dòng)了3D視覺在消費(fèi)場(chǎng)景的新應(yīng)用機(jī)會(huì)。為了讓讀者更全面的了解ToF技術(shù)，本文將會(huì)分析3D視覺傳感技術(shù)的基本原理，ToF鏡頭的相關(guān)產(chǎn)業(yè)鏈信息，ToF技術(shù)的具體應(yīng)用以及ToF技術(shù)的未來(lái)發(fā)展前景。 ?

01??3D視覺方案技術(shù)介紹

3D視覺傳感技術(shù)是一項(xiàng)重要的科學(xué)突破。它是一種深度傳感技術(shù)，增強(qiáng)了攝像機(jī)進(jìn)行面部和目標(biāo)識(shí)別的能力。相對(duì)于2D技術(shù)，3D技術(shù)除了顯示對(duì)象的X和Y值之外，還可以提供記錄場(chǎng)景或?qū)ο蟮纳疃戎担诟兄吞幚砣粘；顒?dòng)的方式上帶來(lái)了獨(dú)特的進(jìn)步，制造商爭(zhēng)先恐后地將這些新的進(jìn)步融入到手機(jī)等消費(fèi)產(chǎn)品中。該技術(shù)利用光學(xué)技術(shù)模擬人類視覺系統(tǒng)，促進(jìn)了增強(qiáng)現(xiàn)實(shí)、人工智能和物聯(lián)網(wǎng)的出現(xiàn)和應(yīng)用。

目前市面上主流的3D光學(xué)視覺方案有三種：雙目立體視覺法（Stereo Vision，在下文稱雙目法），結(jié)構(gòu)光法（Structured Light，在下文稱結(jié)構(gòu)光）以及飛行時(shí)間法(Time of Flight, ToF在下文稱ToF）。此文主要探討的是ToF，同時(shí)會(huì)對(duì)其他兩種主流方案進(jìn)行技術(shù)比較。目前較為成熟的方案是結(jié)構(gòu)光和ToF。其中結(jié)構(gòu)光最為成熟，已經(jīng)在工業(yè)3D視覺中大規(guī)模應(yīng)用。ToF的概念是扎根于深度傳感器的。這里的深度傳感器是指采用像素陣列來(lái)獲取整個(gè)場(chǎng)景的高分辨率深度分布。對(duì)于深度傳感器來(lái)說(shuō)，一般用于測(cè)量深度的方案分別有結(jié)構(gòu)光、雙目和ToF三種，其中結(jié)構(gòu)光（iPhone目前的Face ID就是使用了基于結(jié)構(gòu)光的深度傳感器）和雙目技術(shù)都是基于幾何原理做間接深度估計(jì)，而ToF則是測(cè)量發(fā)射光和反射光之間的飛行時(shí)間并根據(jù)光速來(lái)直接估計(jì)深度。

1.1 雙目立體視覺法（Stereo Vision）

雙目立體視覺法的技術(shù)原理是通過(guò)從兩個(gè)視點(diǎn)觀察同一物體，從而來(lái)獲得同一物體在不同視角下的圖像。通過(guò)三角測(cè)量原理來(lái)計(jì)算圖像像素間的位置偏差（視差）來(lái)獲取物體的三維圖像，比如把一只手指放在鼻尖前方，左右眼看到手指會(huì)有一個(gè)錯(cuò)位的效果，這個(gè)位置差被稱為視差。相機(jī)所要拍攝的物體離相機(jī)越近，視差越大，離相機(jī)越遠(yuǎn)，視差就越小。由此可以得出，當(dāng)兩個(gè)相機(jī)的位置等條件已知時(shí)，就可以通過(guò)計(jì)算相似三角形的原理來(lái)得出從物體到相機(jī)的距離。過(guò)程跟人類眼睛的工作原理相似。在雙目立體視覺系統(tǒng)的硬件結(jié)構(gòu)中，通常采用兩個(gè)攝像機(jī)作為視覺信號(hào)的采集設(shè)備，通過(guò)雙輸入通道圖像采集卡與計(jì)算機(jī)連接，把攝像機(jī)采集到的模擬信號(hào)經(jīng)過(guò)采樣、濾波、強(qiáng)化、模數(shù)轉(zhuǎn)換，最終向計(jì)算機(jī)提供圖像數(shù)據(jù)。

雙目立體視覺的開創(chuàng)性工作始于上世紀(jì)的60年代中期。美國(guó)MIT的Lawrence Roberts通過(guò)從數(shù)字圖像中提取立方體、楔形體和棱柱體等簡(jiǎn)單規(guī)則多面體的三維結(jié)構(gòu)，并對(duì)物體的形狀和空間關(guān)系進(jìn)行描述，把過(guò)去的簡(jiǎn)單二維圖像分析推廣到了復(fù)雜的三維場(chǎng)景，標(biāo)志著立體視覺技術(shù)的誕生。隨著研究的深入，研究的范圍從邊緣、角點(diǎn)等特征的提取，線條、平面、曲面等幾何要素的分析，直到對(duì)圖像明暗、紋理、運(yùn)動(dòng)和成像幾何等進(jìn)行分析，并建立起各種數(shù)據(jù)結(jié)構(gòu)和推理規(guī)則。特別是在1982年，David Marr首次將圖像處理、心理物理學(xué)、神經(jīng)生理學(xué)和臨床精神病學(xué)的研究成果從信息處理的角度進(jìn)行概括，創(chuàng)立了視覺計(jì)算理論框架。這一基本理論對(duì)立體視覺技術(shù)的發(fā)展產(chǎn)生了極大的推動(dòng)作用，在這一領(lǐng)域已形成了從圖像的獲取到最終的三維場(chǎng)景可視表面重構(gòu)的完整體系，使得立體視覺已成為計(jì)算機(jī)視覺中一個(gè)非常重要的分支。

一個(gè)完整的雙目立體視覺系統(tǒng)通?？煞譃閿?shù)字圖像采集、相機(jī)標(biāo)定、圖像預(yù)處理與特征提取、圖像校正、立體匹配、三維重建六大部分。雙目立體成像法具有高3D成像分辨率、高精度、高抗強(qiáng)光干擾等優(yōu)勢(shì)，而且可以保持低成本。但是需要通過(guò)大量的CPU/ASIC演算取得它的深度和幅度信息其算法極為復(fù)雜較難實(shí)現(xiàn)，同時(shí)該技術(shù)易受環(huán)境因素干擾，對(duì)環(huán)境光照強(qiáng)度比較敏感，且比較依賴圖像本身的特征，因而拍攝暗光場(chǎng)景時(shí)表現(xiàn)差。雙目立體視覺法還有另一個(gè)限制，它過(guò)度的依賴于被拍攝物體的表面紋理，如果被攝物體表面沒有明顯的紋理，使用雙目立體視覺法會(huì)無(wú)法匹配與之對(duì)應(yīng)的像素的問(wèn)題。

1.2 結(jié)構(gòu)光法（Structured Light）

該技術(shù)是一種主動(dòng)雙目視覺技術(shù)，結(jié)構(gòu)光技術(shù)的基本原理是，通過(guò)近紅外激光器，將具有已知的結(jié)構(gòu)特征（比如離散光斑、條紋光、編碼結(jié)構(gòu)光等）的光線投射到被拍攝物體上，再由專門的紅外攝像頭進(jìn)行采集三維物體物理表面成像的畸變情況，再通過(guò)觀測(cè)圖案與原始圖案之前發(fā)生的形變由此來(lái)得到圖案上的各個(gè)像素的視差。這個(gè)技術(shù)通過(guò)光學(xué)手段獲取被拍攝物體的三維結(jié)構(gòu)，再將獲取到的信息進(jìn)行更深入的應(yīng)用。其工作原理可看作是另一種雙目法，紅外激光器和紅外攝像頭可當(dāng)做是雙目立體視覺法中的左右雙目的觀測(cè)原理。

結(jié)構(gòu)光在消費(fèi)電子領(lǐng)域的商用最早可追溯到2009年，微軟與以色列3D感測(cè)公司 PrimeSense合作發(fā)布了搭載結(jié)構(gòu)光模組的體感設(shè)備Kinect一代，2010年11月上市后，該產(chǎn)品成為 2011 年銷售最快的消費(fèi)電子設(shè)備。盡管產(chǎn)品大獲成功，但第一代 Kinect 的準(zhǔn)確度、圖像分辨率和響應(yīng)速度并不理想。2017年蘋果發(fā)布iPhone X，首次搭載 3D 結(jié)構(gòu)光模組，可實(shí)現(xiàn)3D人臉識(shí)別技術(shù)，成為蘋果近幾年最大的創(chuàng)新。此前由于半導(dǎo)體工藝等多方面技術(shù)的限制，3D 感測(cè)很難應(yīng)用到體積非常有限、功耗要求低的手機(jī)上，因此iPhone X 的發(fā)布是結(jié)構(gòu)光技術(shù)的重大突破，市場(chǎng)對(duì)結(jié)構(gòu)光技術(shù)的熱情重新點(diǎn)燃。主要結(jié)構(gòu)光方案廠商還有美國(guó)的英特爾、高通/Himax，以色列 Mantis Vision 以及國(guó)內(nèi)華為、奧比中光等公司。iPhone X 發(fā)布后，國(guó)內(nèi)小米、華為和 OPPO 也先后發(fā)布了首款搭載結(jié)構(gòu)光模組的智能手機(jī)，其中小米采用的是以色列 Mantis Vision 公司的解決方案，華為采用的是自研方案，OPPO采用的是國(guó)內(nèi)公司奧比中光的解決方案。蘋果在2018年和2019年的iPhone新產(chǎn)品中也全部搭載了結(jié)構(gòu)光模組。

結(jié)構(gòu)光技術(shù)相較于雙目技術(shù)有一個(gè)好處，結(jié)構(gòu)光的紅外激光器發(fā)射出了光，可以照亮被掃描物體，所以它不需要像雙目結(jié)構(gòu)一樣依賴于光源，而且在較平整，沒有圖案的物體表面也可以測(cè)算出物體的三維深度。綜上所述，結(jié)構(gòu)光相較于雙目結(jié)構(gòu)有兩個(gè)優(yōu)點(diǎn)：（1）在場(chǎng)景較暗的場(chǎng)景下也可以運(yùn)作正常（2）在沒有明顯紋理的物體上也可以實(shí)現(xiàn)深度掃描。

02??飛行時(shí)間法介紹

ToF是Time of Flight的縮寫，直譯為飛行時(shí)間，通過(guò)給目標(biāo)連續(xù)發(fā)送光脈沖，然后用傳感器接收從物體返回的光，通過(guò)探測(cè)這些發(fā)射和接收光脈沖的飛行（往返）時(shí)間來(lái)得到目標(biāo)物距離。傳感器通過(guò)計(jì)算光線發(fā)射和反射時(shí)間差或相位差，來(lái)?yè)Q算被拍攝景物的距離，以產(chǎn)生深度信息，此外再結(jié)合傳統(tǒng)的相機(jī)拍攝，就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現(xiàn)出來(lái)。

ToF最早的商用可追溯到 2006 年 7 月，衍生自CSEM(瑞士電子與微技術(shù)中心)的 MESA Imaging公司成立，并推出商用ToF攝像頭產(chǎn)品系列 SwissRanger，最開始應(yīng)用于汽車的被動(dòng)安全檢測(cè)。ToF技術(shù)首次應(yīng)用到智能手機(jī)是在 2016 年，Google 和聯(lián)想合作推出了全球首個(gè)搭載ToF模組的智能手機(jī) Phab2 Pro，采用的是pmd/英飛凌的ToF方案，該手機(jī)可實(shí)現(xiàn)一些如三維測(cè)量等簡(jiǎn)易的 AR 應(yīng)用，但并沒有引起市場(chǎng)較大的反響。2018年8月6日,OPPO 在北京召開了ToF技術(shù)溝通會(huì), 并在8月23日發(fā)布了其首部搭載 ToF 攝像頭的智能手機(jī) OPPO R17 Pro,采用了 Sony 的解決方案。隨后在 2018 年 12 月，vivo 發(fā)布了其首部搭載 ToF 攝像頭的智能手機(jī) vivo NEX 雙屏版，采用了松下的解決方案; 華為發(fā)布了其首部搭載 ToF 攝像頭模組的智能手機(jī)榮耀 V20,采用的是 OPPO R17 Pro 相同的 ToF方案。進(jìn)入 2019 年后，安卓廠商紛紛加入 ToF 鏡頭的陣營(yíng)。此后，有越來(lái)越多的手機(jī)廠商在手機(jī)上搭配ToF鏡頭。

典型ToF測(cè)量設(shè)置描繪在圖中,它包含幾個(gè)構(gòu)建塊:(a)脈沖/調(diào)制光源（在ToF中一般使用VCSEL，請(qǐng)見下文解釋）(b)光學(xué)擴(kuò)散片將光擴(kuò)散傳播出去,接著當(dāng)光從物體上反射回來(lái)時(shí)，用(c)一組透鏡收集從物體上折射回來(lái)的光。接著經(jīng)過(guò)一個(gè)濾光片將折射回來(lái)的光收集起來(lái)并且適當(dāng)?shù)卣{(diào)整光源的波長(zhǎng)，接著通過(guò)改善背景噪聲抑制令光波可被芯片所識(shí)別。最后,測(cè)量系統(tǒng)的核心是由固態(tài)量程圖像傳感器(d)，由一組光探測(cè)器（像素）組成，能夠直接或間接地測(cè)量光脈沖從光源到目標(biāo)并返回傳感器所需的飛行時(shí)間。該系統(tǒng)還需要一個(gè)合適的傳感器接口，為傳感器提供電源、所需的偏置電壓/電流信號(hào)、數(shù)字控制相位，并從傳感器讀取數(shù)據(jù)流，這通常需要進(jìn)一步的小處理以獲得3D體積數(shù)據(jù)。最后，傳感器接口負(fù)責(zé)與外部（到PC或處理單元）的通信。

ToF 技術(shù)具有以下的優(yōu)點(diǎn)：1、軟件復(fù)雜性低，設(shè)計(jì)與應(yīng)用簡(jiǎn)單 2、在暗光與強(qiáng)光環(huán)境下表現(xiàn)不錯(cuò) 3、功耗不高 4、有較遠(yuǎn)的探測(cè)距離 5、成本低 6、響應(yīng)速度快，缺點(diǎn)則在于室外受自然光紅外線影響大、遠(yuǎn)距離無(wú)法保證精度。

飛行時(shí)間測(cè)量技術(shù)（D-ToF）

在經(jīng)典的飛行時(shí)間測(cè)量中，直接飛行時(shí)間（Direct ToF，D-ToF，下文稱為D-ToF）的原理比較直接，即直接發(fā)射一個(gè)光脈沖，之后測(cè)量反射光脈沖和發(fā)射光脈沖之間的時(shí)間間隔，就可以得到光的飛行時(shí)間。探測(cè)器系統(tǒng)在發(fā)射光脈沖產(chǎn)生的同時(shí)啟動(dòng)一個(gè)高精度的秒表。當(dāng)探測(cè)到目標(biāo)發(fā)出的光回波時(shí)，秒表停止并直接存儲(chǔ)往返時(shí)間。目標(biāo)距離z可通過(guò)以下簡(jiǎn)單方程估算：

其中表示光在空氣中傳播的速度。D-ToF通常用于單點(diǎn)測(cè)距系統(tǒng)，但由于像素級(jí)亞納秒電子秒表的實(shí)現(xiàn)困難，D-ToF的成本以及技術(shù)難度相較于I-ToF更高。這項(xiàng)技術(shù)特別適用于基于SPAD的ToF系統(tǒng)。目前主流的主流的ToF技術(shù)所采用的SPAD（single- photon avalanche diode，單光子雪崩二極管）是一種高靈敏度的半導(dǎo)體光電檢測(cè)器，其被廣泛運(yùn)用于弱光信號(hào)檢測(cè)領(lǐng)域。結(jié)合D-ToF技術(shù)，可用來(lái)精確檢測(cè)記錄光子的時(shí)間和空間信息，繼而通過(guò)三維重極算法進(jìn)行場(chǎng)景的三維重構(gòu)。蘋果在2020年發(fā)布的第四代iPad Pro中就運(yùn)用到了D-ToF技術(shù)。D-ToF的原理看起來(lái)雖然很簡(jiǎn)單，但是實(shí)際能達(dá)到較高的精度很困難而且成本對(duì)比I-ToF要高很多。除了對(duì)時(shí)鐘同步有非常高的精度要求以外，還對(duì)脈沖信號(hào)的精度有很高的要求。普通的光電二極管難以滿足這樣的需求。而D-ToF中的核心組件SPAD由于制作工藝復(fù)雜，能勝任生產(chǎn)任務(wù)的廠家并不多，并且集成困難。所以目前研究D-ToF的廠家并不多，更多的是在研究和推動(dòng)I-ToF。

飛行時(shí)間測(cè)量技術(shù)（I-ToF）

D-ToF的另一種解決方案是所謂的間接ToF（Indirect ToF，I-ToF，下文稱為I-ToF），而I-ToF的原理則要復(fù)雜一些。在I-ToF中，發(fā)射的并非一個(gè)光脈沖，而是調(diào)制過(guò)的光。接收到的反射調(diào)制光和發(fā)射的調(diào)制光之間存在一個(gè)相位差，通過(guò)檢測(cè)該相位差就能測(cè)量出飛行時(shí)間，從而估計(jì)出距離。其中往返行程時(shí)間是從光強(qiáng)度的時(shí)間選通測(cè)量中間接外推的。在這種情況下，不需要精確的秒表，而是需要時(shí)間選通光子計(jì)數(shù)器或電荷積分器，它們可以在像素級(jí)實(shí)現(xiàn)，只需較少的計(jì)算工作和硅面積。I-ToF是基于ToF相機(jī)的電子和照片混合設(shè)備的自然解決方案。

2.1?ToF產(chǎn)業(yè)鏈介紹

3D傳感產(chǎn)業(yè)生態(tài)鏈包括光源、光學(xué)單元（透鏡及濾光片等）、圖像傳感器及模組制造等直接硬件環(huán)節(jié)，此外還包括軟件、處理器、3D系統(tǒng)設(shè)計(jì)等。

2.2?ToF鏡頭組成核心硬件

發(fā)射端：?1）發(fā)光單元：

ToF鏡頭的發(fā)光單元通常為能發(fā)出特定波長(zhǎng)紅外線的垂直腔面發(fā)射激光器（Vertical-Cavity Surface-Emitting Laser，又譯垂直共振腔面射型激光，在下文稱VCSEL），VCSEL能以相對(duì)較小功率發(fā)射出較高的信號(hào)。VCSEL是一種半導(dǎo)體，其激光垂直于頂面射出，與一般用切開的獨(dú)立芯片制成，激光由邊緣射出的邊射型激光有所不同。傳統(tǒng)的光電轉(zhuǎn)換技術(shù)一般是用的LED等發(fā)光器件，這種發(fā)光器多采用的是邊緣發(fā)射，缺點(diǎn)是體積較大，所以會(huì)比較難于半導(dǎo)體技術(shù)相結(jié)合。20世紀(jì)90年代垂直腔表面發(fā)射激光VCSEL技術(shù)成熟后，解決了發(fā)光器件和半導(dǎo)體技術(shù)結(jié)合的問(wèn)題，因此迅速得到普及。VCSEL是很有發(fā)展前景的新型光電器件，也是光通信中革命性的光發(fā)射器件。此外，ToF中泛光照明器的VCSEL輸出光束無(wú)需經(jīng)過(guò)編碼，因此器件制作上更為簡(jiǎn)單，可供選擇的 VCSEL 供應(yīng)商也更多。顧名思義，邊發(fā)射激光器是沿平行于襯底表面、垂直于解理面的方向出射，而面發(fā)射激光器其出光方向垂直于襯底表面，如下圖：

VCSEL 是 3D Sensing 中重要的部件之一，不僅體現(xiàn)在其功能在體現(xiàn)在其價(jià)值量之中。隨著 3D Sensing 在手機(jī)中進(jìn)一步滲透，VCSEL 的市場(chǎng)規(guī)模將隨之?dāng)U大。ToF不僅可以在手機(jī)中使用，還可以在光通訊、激光雷達(dá)等多個(gè)領(lǐng)域中使用，市場(chǎng)空間巨大。據(jù)市場(chǎng)研究機(jī)構(gòu) Yole 預(yù)測(cè)，到 2023 年，整個(gè) VCSEL 市場(chǎng)將達(dá)到 35 億美元，年復(fù)合增長(zhǎng)率達(dá)到 48%。VCSEL 領(lǐng)域具有市場(chǎng)大、增長(zhǎng)快、應(yīng)用廣等特點(diǎn)，未來(lái)對(duì) VCSEL 的關(guān)注度將會(huì)日漸提升。從圖中可看出未來(lái)在VCSEL賽道，主要集中的領(lǐng)域是消費(fèi)電子、工業(yè)領(lǐng)域以及通信。VCSEL 是化合物半導(dǎo)體激光器，因此對(duì)應(yīng)化合物半導(dǎo)體產(chǎn)業(yè)鏈，包括晶圓、外延片(EPI)、IC 設(shè)計(jì)、晶圓代工和封測(cè)等環(huán)節(jié)。

發(fā)射端：2）準(zhǔn)直鏡頭：

利用光的折射原理，將波瓣較寬的衍射圖案校準(zhǔn)匯聚為窄波瓣的近似平行光。采用準(zhǔn)直鏡頭對(duì) VCSEL 出射光束進(jìn)行準(zhǔn)直、形成散斑等整形處理。WLO（Wafer-level Optics，在下文稱為WLO）晶圓級(jí)光學(xué)器件，是指晶圓級(jí)鏡頭制造技術(shù)和工藝。與傳統(tǒng)光學(xué)器件的加工技術(shù)不同，WLO工藝在整片玻璃晶圓上，用半導(dǎo)體工藝批量復(fù)制加工鏡頭，多個(gè)鏡頭晶圓壓合在一起，然后切割成單顆鏡頭，具有尺寸小、高度低、一致性好等特點(diǎn)。

發(fā)射端：3）DOE擴(kuò)散片：

DOE衍射光學(xué)元件（Diffractive Optical Elements，在下文稱為DOE）在3D攝像頭結(jié)構(gòu)光方案中的作用就是利用光的衍射原理，將激光器的點(diǎn)光源轉(zhuǎn)換為散斑圖案（pattern）。首先根據(jù)特定衍射圖像的光學(xué)需求，設(shè)計(jì)并制作出三維母模，然后根據(jù)母模再制作出DOE光柵，光柵表面具有三維的微結(jié)構(gòu)圖案，尺寸都在微米級(jí)別。激光器發(fā)射的線性激光通過(guò)DOE的時(shí)候發(fā)生衍射，衍射光的角度和數(shù)量是受DOE上pattern的控制，衍射出來(lái)的光斑具備lighting code信息。DOE主要是用于結(jié)構(gòu)光成像技術(shù)的攝像頭中，DOE的制造成本相對(duì)較高。

在ToF的發(fā)射成像技術(shù)中主要運(yùn)用的是擴(kuò)散板（在下文稱為Diffuser），主要是為顯示器提供一個(gè)均勻的面光源，ToF投射器主要包括VCSEL + Diffuser，而ToF的VCSEL并不像結(jié)構(gòu)光那樣對(duì)編碼圖案有一定要求，只是最常規(guī)的規(guī)則排列，器件制作上更為簡(jiǎn)單，裝配精度要求也更低。Diffuser是DOE的一種，也屬于波束整形器，用于對(duì)輸入光束進(jìn)行均一化，通過(guò)使較大折射角處具有更大屈光度，使得較窄的光束擴(kuò)展到更寬的角度范圍內(nèi)，并具備均勻的照明場(chǎng)。TOF 中的 Diffuser 的設(shè)計(jì)制作難度，比 3D 結(jié)構(gòu)光點(diǎn)陣投影儀中的 DOE 要簡(jiǎn)單很多。

根據(jù)光大證券測(cè)算，考慮到疫情影響預(yù)計(jì)2020年全球智能機(jī)出貨量有所下降，滯后的 5G 需求有望在2021年釋放，預(yù)計(jì) 20~21 年全球智能機(jī)出貨量分別為 12.6/15.0 億部，其中 iphone 出貨量 1.7/2.1 億部，安卓機(jī) 10.9/12.9 億部。假設(shè) 20~21 年前置結(jié)構(gòu)光在 iphone 的滲透率分別為92%/95%，在安卓的滲透2%/5%，推算結(jié)構(gòu)光攝像頭出貨量 1.8/2.7 億顆。假設(shè) 20~21 年后置 TOF 在 iphone 的滲透率分別為 25%/50%，在安卓的滲透率 7%/15%，加上 ipad 出貨量，推算后置 TOF 攝像頭出貨量 2.7/4.4 億顆。假定DOE/Diffuser單價(jià)1美元測(cè)算，對(duì)應(yīng)DOE 20~21年市場(chǎng)規(guī)模1.8/2.7億美元;Diffuser市場(chǎng)規(guī)模 2.7/4.4 億美元;窄帶濾光片按 20~21 年單價(jià) 1/0.75 美元測(cè)算，對(duì)應(yīng)市場(chǎng)規(guī)模 9/10.5 億美元。

接收端：1）窄帶濾光片和光學(xué)鏡頭：

ToF模組依靠窄帶濾光片和光學(xué)鏡頭來(lái)收集反射回的光線。濾光片只允許對(duì)應(yīng)波長(zhǎng)的紅外線通過(guò)，抑制其他光線，并降低噪聲。近紅外識(shí)別系統(tǒng)中所用到的窄帶濾光片及超薄高性能鍍膜也是基于結(jié)構(gòu)光及ToF的3D攝像頭技術(shù)關(guān)鍵。3D攝像頭在接收反射光時(shí)要求只有特定波長(zhǎng)的光線能夠穿過(guò)鏡頭，攔截頻率帶之外的光線，即隔離干擾光、通過(guò)信號(hào)光凸顯有用信息，因此需要濾光片在接收端過(guò)濾掉非工作波段的光波。

在窄帶濾光片賽道，難度和價(jià)值量都高于傳統(tǒng)攝像頭所用的濾光片，目前僅有 VIAVI 和水晶光電的技術(shù)較為成熟，這兩家也是蘋果iPhone X的窄帶濾光片供應(yīng)商。目前全球僅水晶光電和唯亞威(Viavi)兩家企業(yè)具備大批量供貨的能力。

接收端：2）紅外CIS（下文稱為圖像傳感器）：

早年的ToF傳感器，多采用CCD(Charge-coupled Device，中文為電荷耦合元件，是一種圖像傳感器，下面簡(jiǎn)稱CCD),而CMOS是另一種目前市場(chǎng)上更為主流的圖像傳感器(Complementary Metal Oxide Semiconductor，互補(bǔ)金屬氧化物半導(dǎo)體，在下文簡(jiǎn)稱CMOS)。CCD的感光利用率更高，但是功耗十分大，發(fā)熱嚴(yán)重，也是此前ToF方案未能應(yīng)用在手機(jī)中的原因之一。隨著圖像傳感器廠商不斷提高CMOS傳感器的技術(shù)，通過(guò)背照式(Backside Illumination，在下文簡(jiǎn)稱BIS)設(shè)計(jì)、電流輔助光子演示(CPAD)技術(shù)，并將高速率多幀圖像合成單張圖像用以計(jì)算最終的深度，在降低圖像噪聲的同時(shí)降低了功耗，從而使ToF應(yīng)用于手機(jī)成為可能，但對(duì)應(yīng)的ToF傳感器芯片成本也高出很多。

CMOS圖像傳感器市場(chǎng)集中度較高，2017年，前十大廠商市場(chǎng)份額合為94%，其中前三家廠商索尼（Sony）、三星（Samsung）、豪威科（Omnivision）市場(chǎng)份額合計(jì)占比達(dá)73%，CR3較2014年的63%有明顯提升。從CIS市場(chǎng)增速來(lái)看，根據(jù)IC Insights2018年預(yù)測(cè)，2017-2022年銷售額CAGR為8.8%，銷售量CAGR為11.7%；根據(jù)Yole2018年預(yù)測(cè)，2017-2023年銷售額CAGR為9.4%，而該機(jī)構(gòu)最新預(yù)測(cè)顯示，受到新冠肺炎疫情影響，2020年增速將回落至7%，2021年略有反彈（增速為12%），預(yù)計(jì)2025年CIS市場(chǎng)規(guī)模將達(dá)到280億美元。

03??ToF技術(shù)應(yīng)用場(chǎng)景

ToF技術(shù)具有豐富的應(yīng)用場(chǎng)景，在手機(jī)、汽車、工業(yè)、人臉識(shí)別、物流、安撫監(jiān)控、健康，游戲、娛樂、電影特效、3D打印和機(jī)器人等諸多領(lǐng)域都有應(yīng)用。以下將舉例ToF在不同領(lǐng)域中的實(shí)際應(yīng)用。

?

手機(jī)：

目前ToF技術(shù)在手機(jī)領(lǐng)域的三個(gè)應(yīng)用主要是：安全（人臉識(shí)別，支付）、攝影、娛樂（增強(qiáng)現(xiàn)實(shí)，在下文簡(jiǎn)稱AR）。

ToF技術(shù)鏡頭在手機(jī)中用于安全領(lǐng)域的人臉識(shí)別和金融支付主要是在運(yùn)用在手機(jī)中的前置攝像頭中，此前在手機(jī)前置攝像頭中運(yùn)用的三維技術(shù)大部分是結(jié)構(gòu)光技術(shù)。由于結(jié)構(gòu)光在成本上比ToF要高且工藝更復(fù)雜，因此現(xiàn)在的手機(jī)人臉識(shí)別技術(shù)開始從結(jié)構(gòu)光技術(shù)向ToF技術(shù)轉(zhuǎn)移。代表機(jī)型：華為Mate 30 Pro，三星Galaxy S10+5G、Vivo NEX雙屏版。例如在Vivo NEX雙屏版中，ToF前置攝像頭可以運(yùn)用3D人臉建模技術(shù)來(lái)進(jìn)行人臉識(shí)別和自拍圖片優(yōu)化。

手機(jī)攝影：在手機(jī)攝影方面，ToF技術(shù)讓鏡頭實(shí)現(xiàn)對(duì)焦更快、精準(zhǔn)摳像、探測(cè)景深、背景虛化等功能。代表機(jī)型：Oppo R17 Pro（國(guó)內(nèi)首臺(tái)使用ToF技術(shù)手機(jī)）、華為P30 Pro。

?

手機(jī)娛樂/教育：AR建模與體感游戲。代表機(jī)型：榮耀V20、OPPO R17 Pro，iPad Pro。

汽車：

ToF相機(jī)主要應(yīng)用在三個(gè)領(lǐng)域，一個(gè)是座艙內(nèi)部的駕駛者疲勞監(jiān)測(cè)、手勢(shì)識(shí)別、人臉識(shí)別。第二個(gè)領(lǐng)域是固態(tài)激光雷達(dá)。ToF相機(jī)可以看做一種固態(tài)激光雷達(dá)。第三個(gè)領(lǐng)域是自動(dòng)泊車領(lǐng)域。在汽車電子領(lǐng)域，以ADAS（Advanced Driver Assistant System，高級(jí)駕駛輔助系統(tǒng)）滲透率不斷提高為代表的汽車智能化趨勢(shì)也正加速演進(jìn)，而作為激光雷達(dá)、智能攝像頭等深度測(cè)距傳感器領(lǐng)域最主流的方案，ToF市場(chǎng)也正持續(xù)受益。而汽車電子領(lǐng)域以ADAS滲透率不斷提高為代表的汽車智能化趨勢(shì)也正加速演進(jìn)，作為激光雷達(dá)、智能攝像頭等深度測(cè)距傳感器領(lǐng)域最主流的方案，ToF市場(chǎng)正持續(xù)受益。根據(jù) AutoLab的數(shù)據(jù)，2015年10月國(guó)內(nèi)市場(chǎng)各種功能的ADAS的滲透率分別為：BSD 3.8%，AP 2.6%，F(xiàn)CW 2.6%，AEB 2.4%，SVC 2.3%，LDW 1.7%，ACC 1.3%， LKS 0.8%。全球整車市場(chǎng)ADAS的滲透率也低于10%，歐美地區(qū)市場(chǎng)接近8%，新興 國(guó)家市場(chǎng)則僅為2%，仍有很大提升空間。據(jù)PR Newswire咨詢公司測(cè)算，未來(lái)全球 ADAS滲透率將大幅提升，預(yù)計(jì)2022年全球新車ADAS搭載率將達(dá)到50%。

人臉識(shí)別/安保系統(tǒng)：

ToF技術(shù)將深度信息添加到2D圖像中可以提取有用的信息，并且可以大大提高場(chǎng)景信息的質(zhì)量。例如，二維傳感無(wú)法區(qū)分真人和照片。提取深度信息可以更好地對(duì)人進(jìn)行分類，跟蹤人的面部和身體特征。ToF深度傳感可以為安全認(rèn)證提供高質(zhì)量、可靠的人臉識(shí)別。分辨率和深度精度越高，分類算法越好。這可以用于簡(jiǎn)單的功能，例如允許訪問(wèn)移動(dòng)設(shè)備/我們的個(gè)人家庭空間，或者用于高端使用情況，例如商業(yè)敏感區(qū)域的安全門訪問(wèn)控制。隨著深?度傳感技術(shù)獲得更高的分辨率和深度精度，人們的分類和跟蹤將變得更加容易。人工智能的使用將使分類具有非常高的可信度，從而創(chuàng)造新的和新興的應(yīng)用領(lǐng)域。一個(gè)用例用于商業(yè)自動(dòng)開門功能，特別是在陽(yáng)光強(qiáng)烈的區(qū)域。確保一扇門只為一個(gè)人而不是其他任何東西打開，可以提高建筑管理的效率，以及安保和安全。

工業(yè)領(lǐng)域/物流：

ToF也可為機(jī)器人帶來(lái)視覺效應(yīng)。ToF深度傳感的一個(gè)重要應(yīng)用將是在工業(yè)、制造和施工過(guò)程中。通過(guò)生產(chǎn)過(guò)程實(shí)時(shí)準(zhǔn)確地標(biāo)注和分類對(duì)象的能力在工業(yè)領(lǐng)域也是非常重要的。精確的深度傳感可以確定倉(cāng)庫(kù)的空間利用率。從生產(chǎn)線上下來(lái)的產(chǎn)品需要快速地確定尺寸以便轉(zhuǎn)移。高分辨率深度傳感將允許實(shí)時(shí)確定目標(biāo)物體的邊緣和線條，并進(jìn)行快速的體積計(jì)算。神經(jīng)網(wǎng)絡(luò)方法已經(jīng)被用于這種體積測(cè)定。工廠內(nèi)產(chǎn)品的自主轉(zhuǎn)移繼續(xù)增加。像自動(dòng)導(dǎo)向車（Autonomous guided vehicles，AGV）這樣的自主車輛需要在工廠和倉(cāng)庫(kù)中更快地自我導(dǎo)航。高精度的深度傳感技術(shù)將允許傳感器實(shí)時(shí)繪制環(huán)境地圖，在地圖中定位自己，然后繪制最有效的導(dǎo)航路徑。這種技術(shù)在工廠自動(dòng)化中的應(yīng)用面臨的最大挑戰(zhàn)之一是可能在同一區(qū)域工作的其他傳感器的干擾。在人類與機(jī)器人的合作問(wèn)題上，安全性永遠(yuǎn)是要考慮的首要問(wèn)題，尤其是當(dāng)機(jī)器人身處較為擁擠的工作環(huán)境中，它們必須能辨認(rèn)人與機(jī)械以及機(jī)械的動(dòng)作，并作出迅速的反應(yīng)以避免受傷。因此，自動(dòng)化工廠中的各類機(jī)器人都需要自主避障，如果以激光雷達(dá)來(lái)解決，成本則需要增加數(shù)萬(wàn)元，用雙攝像頭方案又需要大量的運(yùn)算和雙攝像頭精準(zhǔn)位置的調(diào)教，而ToF則成為解決上述難題的極具性價(jià)比的最佳選擇。ToF技術(shù)也可用在日用的掃地機(jī)器人身上，機(jī)器人可依靠ToF鏡頭來(lái)給屋子實(shí)現(xiàn)智能掃描并精準(zhǔn)建圖。

?

04??ToF市場(chǎng)前景

根據(jù)Yole數(shù)據(jù)，2019年全球3D成像和傳感市場(chǎng)規(guī)模為50.48億美元，其中，移動(dòng)&消費(fèi)應(yīng)用占比40%，是最大的應(yīng)用領(lǐng)域，工業(yè)、國(guó)防&航空航天和汽車應(yīng)用占比分別為21%、17%、17%；Yole預(yù)測(cè)2025年全球3D成像和傳感市場(chǎng)規(guī)模達(dá)150.79億美元，2019-2025年CAGR超過(guò)20%，移動(dòng)&消費(fèi)應(yīng)用繼續(xù)為最大的應(yīng)用領(lǐng)域，2025年市場(chǎng)規(guī)模為81.65億美元，占比為54%，汽車應(yīng)用上升為第二大應(yīng)用領(lǐng)域，2025年市場(chǎng)規(guī)模為36.73億美元，占比為24%。其中ToF傳感器未來(lái)幾年在終端將迎來(lái)高速增長(zhǎng)。據(jù)IHS Markit報(bào)告，2018年全球ToF sensor傳感器市場(chǎng)規(guī)模為 3.7億美元，占整個(gè)3D感測(cè)市場(chǎng)的33%，2019年其市場(chǎng)規(guī)模同比增長(zhǎng) 35%，市場(chǎng)份額達(dá)到5億美金，占比提高至40%左右?；赥oF方案的多方面優(yōu)勢(shì)，尤其是成本優(yōu)勢(shì)，預(yù)計(jì) 2022 年，TOF sensor市場(chǎng)規(guī)模有望達(dá)到7億美金。這一市場(chǎng)的增長(zhǎng)主要是由汽車行業(yè)對(duì)ToF傳感器的需求不斷增加、智能手機(jī)中3D相機(jī)的采用不斷增加以及此類智能手機(jī)的使用不斷增加所推動(dòng)的。

3D機(jī)器視覺系統(tǒng)在各個(gè)行業(yè)的應(yīng)用不斷增加，工業(yè)4.0的部署不斷增加，為ToF傳感器市場(chǎng)的增長(zhǎng)提供了重大機(jī)遇。從具體應(yīng)用領(lǐng)域來(lái)看，未來(lái)三年ToF主要的應(yīng)用市場(chǎng)還是來(lái)自智能手機(jī)市場(chǎng)，預(yù)計(jì)2020年對(duì)應(yīng)市場(chǎng)規(guī)模超過(guò)6億美元，占整個(gè)市場(chǎng)的90%以上其次是平板電腦市場(chǎng)、建筑物檢測(cè)、智能家居、汽車中控、無(wú)人機(jī)等應(yīng)用領(lǐng)域。未來(lái)ToF技術(shù)將不斷滲透到中高端甚至中端機(jī)型的功能中去。如果中高端機(jī)型被普及ToF技術(shù)，那么需求體量將會(huì)大幅上升。而隨著手機(jī)每天使用的3D應(yīng)用程序不斷增加，ToF將來(lái)的需求量勢(shì)必會(huì)更大。

不過(guò)，目前雖然市場(chǎng)上已推出過(guò)眾多手機(jī)帶有ToF功能，如利用美圖功能可優(yōu)化手機(jī)拍照的景深效果、“三維建模”功能可實(shí)現(xiàn)體型測(cè)量等，但這些功能對(duì)于用戶來(lái)說(shuō)大多只停留在嘗試的階段，由于并不實(shí)用，長(zhǎng)期來(lái)看難以拉動(dòng)需求。但是伴隨著今年以來(lái)疫情的影響，人們消費(fèi)及生活方式加速向線上轉(zhuǎn)變，ToF鏡頭主打的虛擬現(xiàn)實(shí)功能（AR）將在線上虛擬購(gòu)物，虛擬游戲體驗(yàn)等方面起到良好的應(yīng)用。日益增長(zhǎng)的線上需求將會(huì)被進(jìn)一步激發(fā)，未來(lái)會(huì)有更多內(nèi)容廠商推動(dòng)AR/VR的發(fā)展，加上國(guó)家對(duì)于5G的大力推廣，AR/VR將在手機(jī)的應(yīng)用發(fā)展得更加成熟。

在智能手機(jī)之外，ToF在3D成像技術(shù)方面仍有很大的潛力，隨著體感交互、3D識(shí)別與感知、環(huán)境感知等技術(shù)與應(yīng)用的發(fā)展，市場(chǎng)對(duì)3D視覺與識(shí)別技術(shù)的興趣日益濃厚。在未來(lái)可能是sensor市場(chǎng)的一個(gè)驅(qū)動(dòng)引擎，可以應(yīng)用在自動(dòng)駕駛、醫(yī)療檢測(cè)和物體識(shí)別等多種新興領(lǐng)域。未來(lái)幾年，ToF技術(shù)將在終端迎來(lái)高速增長(zhǎng)。隨著ToF技術(shù)的不斷成熟和應(yīng)用場(chǎng)景的不斷豐富，手機(jī)攝像頭、手勢(shì)交互UI（用戶界面）、汽車電子ADAS、安防監(jiān)控等多個(gè)領(lǐng)域，對(duì)ToF深度傳感器的數(shù)量需求都將大幅增長(zhǎng)。

05??本文涉及公司總目錄

編輯：黃飛

?