0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

智能手機(jī)中的3D ToF深度傳感技術(shù)

傳感器技術(shù) ? 來源:傳感器技術(shù) ? 作者:傳感器技術(shù) ? 2022-11-07 10:04 ? 次閱讀

作為智能手機(jī)的三大創(chuàng)新之一,3D ToF深度傳感技術(shù)依靠體積小、誤差低、直接輸出深度數(shù)據(jù)與抗干擾性強(qiáng)等優(yōu)勢,成為近年來智能手機(jī)上的關(guān)鍵創(chuàng)新亮點(diǎn)之一。

ToF技術(shù)解碼

ToF是Time of Flight的縮寫,又稱飛行時間法3D成像。這種成像技術(shù)通過向目標(biāo)發(fā)射連續(xù)的特定波長的紅外光線脈沖,通過特定傳感器接收待測物體傳回的光信號,計算光線往返的飛行時間或相位差得到待測物體的3D深度信息,ToF相機(jī)的亮度圖像可以通過模型迅速連接起來。

相比3D深度視覺其它兩種方案(結(jié)構(gòu)光與雙目立體成像技術(shù))而言, ToF方案在實際應(yīng)用中的優(yōu)勢顯著。例如:在畫面拍攝后計算景深時不需要進(jìn)行后處理,既可避免延遲又可節(jié)省采用強(qiáng)大后處理系統(tǒng)帶來的相關(guān)成本;ToF測距規(guī)模彈性大,大多數(shù)情況下只需改變光源強(qiáng)度、光學(xué)視野以及發(fā)射器脈沖頻率即可完成;由于具有不易受外界光干擾、體積小巧、響應(yīng)速度快以及識別精度高等多重優(yōu)勢,使得ToF無論是在移動端還是車載等應(yīng)用領(lǐng)域日漸成為3D視覺的首選技術(shù)方案。目前,ToF技術(shù)應(yīng)用領(lǐng)域廣泛,包括:

消費(fèi)電子:虛擬現(xiàn)實、人臉識別、體感交互等新零售:手勢識別、客流統(tǒng)計、行為識別等智能安防:人臉識別、行為分析等工業(yè)級自動化:自動避障、測量測距、感知定位等醫(yī)療電子:增強(qiáng)現(xiàn)實、遠(yuǎn)程交互等汽車電子:輔助駕駛、人臉識別、手勢識別等

TOF測量原理

TOF飛行時間,即傳感器發(fā)出經(jīng)調(diào)制的近紅外光,遇物體后反射,傳感器通過計算光線發(fā)射和反射時間差或相位差,來換算被拍攝景物的距離,以產(chǎn)生深度信息,此外再結(jié)合傳統(tǒng)的相機(jī)拍攝,就能將物體的三維輪廓以不同顏色代表不同距離的地形圖方式呈現(xiàn)出來。

725e9130-5e2a-11ed-a3b6-dac502259ad0.jpg

發(fā)射的紅外光線被被測物體反射后回到傳感器,內(nèi)置的計時器記錄其來回時間,然后即可計算出其距離。聽起來好像和大家玩爛了的超聲波測距沒啥不同。但其實不然,超聲波測距對反射物體要求比較高,面積小的物體,如線、錐形物體就基本測不到,而TOF紅外測距完全可克服此問題,同時TOF測距精度高,測距遠(yuǎn),響應(yīng)快。

這種技術(shù)跟3D激光傳感器原理基本類似,只不過3D激光傳感器是逐點(diǎn)掃描,而TOF相機(jī)則是同時得到整幅圖像的深度信息。

ToF的原理是通過光子的反射測距。傳統(tǒng)上是紅外測距,但紅外測距沒有計算時間差的能力,主要靠測光強(qiáng),但打在黑色、白色等顏色物體上,由于材料本身的吸收度不同,也會影響測距效果,因此ST的FlightSense采用計算發(fā)射和返回的光子時間差,即計算飛行時間(ToF)方案。另外在集成度上,ST的方案是發(fā)射和接收都做在一起,而紅外測距往往是分立方案。

第一代
VL6180X
第二代
VL53L0X
第三代
VL53L1X
測距 40cm 2m 4m
激光器 850nm 940nm 940nm
視場角 25° 25° 27°
環(huán)境光感測
測距精度 ±10mm ±3% ±1%

市面上有多家公司采用ToF方法,但主要采用相位測距法,主要用于工業(yè),原理是脈沖計算法,但在波谷的能量就不測量了,會造成能量損失。

為何ST方案的測距角度都是25°?因手機(jī)鏡頭弧度是25°左右,所以市面上的產(chǎn)品往往是25~30°視角。FlightSense二代之所以是2米測距,因手機(jī)拍攝的理想距離是1.2~1.5米。

市面上有多家公司采用ToF方法,但主要采用相位測距法,主要用于工業(yè),原理是脈沖計算法,但在波谷的能量就不測量了,會造成能量損失。

飛行時間(ToF)傳感系統(tǒng)是最有盈利空間的創(chuàng)新成像技術(shù)之一。市場上的主要消費(fèi)類產(chǎn)品制造商都希望在各種智能硬件中集成飛行時間(ToF)測距,以提供3D成像、接近感應(yīng)、環(huán)境光感測、手勢識別等功能。

意法半導(dǎo)體在飛行時間(ToF)傳感方面潛心研究,而iPhone 7 Plus中的飛行時間(ToF)測距傳感器是意法半導(dǎo)體為蘋果公司定制的產(chǎn)品。

這款為蘋果定制的產(chǎn)品位于iPhone手機(jī)前面、主揚(yáng)聲器上方,采用光學(xué)柵格陣列(LGA)封裝形式,尺寸為2.8mm x 2.40mm,小于意法半導(dǎo)體對外公開銷售的任一款ToF傳感器。

ToF究竟是未來趨勢還是廠商套路

既然 TOF 的歷史已經(jīng)如此悠久,為啥近一年才成為消費(fèi)電子的熱詞呢?

因為概念出現(xiàn)了混淆,如今熱議的 TOF 技術(shù)其實應(yīng)該叫 TOF 3D 技術(shù),屬于 3D 視覺技術(shù)的一種,目標(biāo)是和 2D 相機(jī)配合建立物體和空間的立體模型,而之前的 TOF 只是點(diǎn)光源,只是用于測量前方物體距離有多遠(yuǎn)而已,無論從實現(xiàn)目標(biāo)還是復(fù)雜度來說都不能相提并論。

此外,有關(guān) TOF 3D 的基本原理還是要再簡單講一下,首先通過紅外光源,打出超短的脈沖信號,形態(tài)是面光,要求覆蓋整個視場范圍,然后通過紅外相機(jī)接收反射信號,在成像的同時也獲得了空間內(nèi)每個點(diǎn)收發(fā)信號的時間差,最后通過光速計算出距離,就能搞定視場內(nèi)整個空間的 3D 輪廓。

當(dāng)然,理論都是很美好的,否則沒人會愿意推進(jìn)它們的實用化,尤其對大家伙們來說,如今的產(chǎn)品做到了什么程度才是關(guān)鍵。

好在這件事分析起來不難,因為目前主流市場上用 TOF 3D 的產(chǎn)品也就三款,一個“前置”是 vivo NEX雙屏版,兩個后置,OPPO R17 Pro 和華為榮耀 V20。接下來我們逐個分析。

vivo NEX 雙屏版官方說的很明確,TOF 就是拿來搞面部識別用的,和結(jié)構(gòu)光一個玩法。模組上的合作伙伴是艾德諾半導(dǎo)體(ADI),型號是 ADDI9036,鏡頭光圈 f/1.3,再就沒有其他的公開資料。不過從 ADI 以往展出的產(chǎn)品來看,最近的是 ADDI9033,用于工業(yè)機(jī)械臂,sensor 分辨率是 VGA(640*480) 水準(zhǔn),這樣可以推知 9036 應(yīng)該是 9033 的衍生版本。

7314b5e6-5e2a-11ed-a3b6-dac502259ad0.jpg

其中值得一提的是,對于前置面部識別來說,行業(yè)內(nèi)主流的選擇是結(jié)構(gòu)光,原因各家有多次科普,這里就簡單提一下,即在正常使用距離(0.2-1.2m),結(jié)構(gòu)光的深度精度明顯比 TOF 更有優(yōu)勢,TOF 則需要更遠(yuǎn)一些才能發(fā)揮。這很好理解,畢竟距離太近的話,精度需求也更細(xì)微,信號來回時間太短,甚至接近于信號本身的脈沖長度,算起來誤差就會很大,而距離變長的話,結(jié)構(gòu)光實際有效的采集點(diǎn)會變少,單個斑點(diǎn)面積會變大,精度當(dāng)然也會有明顯的損失。不過從實際產(chǎn)品來看,vivo NEX 至少接入了支付寶的面容支付,說明安全性上用起來并沒啥問題。

73330c4e-5e2a-11ed-a3b6-dac502259ad0.jpg

而在構(gòu)造上,從實際產(chǎn)品來看,TOF 面部和結(jié)構(gòu)光都是 3 個必需元器件,但不同在于,結(jié)構(gòu)光需要點(diǎn)陣投影器和紅外相機(jī)拉開一定的距離,因此它們在所有產(chǎn)品上都是分居左右兩側(cè)的,而 TOF 沒這種需求,因而相對來說堆疊比較簡單。

至于 vivo 官方所宣稱的“TOF 精度是結(jié)構(gòu)光的 10 倍”,則應(yīng)該是指其 sensor 的 VGA 分辨率,640*480=307200 正好 30 萬像素,是結(jié)構(gòu)光 3 萬個點(diǎn)陣的“10 倍”。不過這很顯然是偷換概念,畢竟結(jié)構(gòu)光的點(diǎn)陣和 sensor 的分辨率并不能混為一談,真要論起來,結(jié)構(gòu)光陣營最低端的 OV9282 都有 100 萬像素,數(shù)量碾壓 TOF,而高端 TOF sensor 用的 IMX456QL,單像素尺寸 10μm,反過來又碾壓了結(jié)構(gòu)光普遍的 3μm,你說這事該咋整? 況且,作為 3D 視覺技術(shù),更重要的還是在于深度的精度,無論 TOF 的分辨率還是結(jié)構(gòu)光的點(diǎn)陣數(shù)量,都屬于 2D 平面的概念,比來比去也沒啥意思。

73563d90-5e2a-11ed-a3b6-dac502259ad0.jpg

綜上,“前置”用于面部識別的 TOF,實際用起來不會好于結(jié)構(gòu)光。

該輪到后置這兩位,R17 Pro 和 V20 其實沒有本質(zhì)區(qū)別,sensor 都是同款,索尼 IMX316,公開資料也很少,索尼對此一言不發(fā)。

7314b5e6-5e2a-11ed-a3b6-dac502259ad0.jpg

73951556-5e2a-11ed-a3b6-dac502259ad0.jpg

找遍全網(wǎng),只有一個國外設(shè)備商有所提及 http://www.dynaoptics.com/time-of-flight.html ,具體見下,IMX316 被稱為“輕 TOF”,也就是入(最)門(低)級(端)。

73b40fb0-5e2a-11ed-a3b6-dac502259ad0.jpg

需要補(bǔ)充的是,上面的表格數(shù)據(jù)有些偏差,比如索尼已經(jīng)公布的 IMX456QL,是 1/2 英寸 10μm,30 萬像素,和表格上 1/3 英寸不同。不過 IMX316 的參數(shù)還是和網(wǎng)絡(luò)上流傳的吻合,1/6 英寸,像素只有一種傳說是 4.32 萬,好吧,是挺慘的。

73c9c062-5e2a-11ed-a3b6-dac502259ad0.jpg

那么這玩意到底有啥用呢?一是拿來當(dāng)景深攝像頭用,榮耀 V20 就是這么干的,眾所周知這活是個攝像頭就能干,所以意義不大;R17 Pro 早期有個 TOF 3D 建模功能,圍物體轉(zhuǎn)一圈就能建立一個 3D 模型,和華為的小物建模用途差不多,但可能是因為效果過于感人,當(dāng)初到手試了一下從來沒建出過像樣的東西,在某次更新之后,OPPO 取消了這個功能,目前只有內(nèi)置的 AR 測量功能依賴了 TOF 模組,其實現(xiàn)效果和 iPhone 的測距儀大同小異,功能上全面一點(diǎn)點(diǎn)。

因此簡單說,就是目前的 IMX316 其實沒什么用,或者說很容易替代,沒啥存在的必要??紤]到 sensor 的規(guī)格,以及這些產(chǎn)品的上市時間,它們的應(yīng)該也沒什么使用潛力,故而可以說后置的 TOF 目前來看沒啥存在的必要。

總結(jié)一下,目前的 TOF 3D 技術(shù),“前置”體驗不超過結(jié)構(gòu)光,后置的存在意義暫時為 0,或許過個半年一年,后置 TOF 會找到用武之地,但也很可能輪不到目前已經(jīng)上市的 IMX316 們,畢竟規(guī)格偏弱。

審核編輯:郭婷

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 智能手機(jī)
    +關(guān)注

    關(guān)注

    66

    文章

    18372

    瀏覽量

    179520
  • 虛擬現(xiàn)實
    +關(guān)注

    關(guān)注

    15

    文章

    2279

    瀏覽量

    94340

原文標(biāo)題:智能手機(jī)中的3D ToF技術(shù)

文章出處:【微信號:WW_CGQJS,微信公眾號:傳感器技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    3D ToF三維場景距離(景深)測量系統(tǒng)簡介

    電子發(fā)燒友網(wǎng)站提供《3D ToF三維場景距離(景深)測量系統(tǒng)簡介.pdf》資料免費(fèi)下載
    發(fā)表于 09-29 10:55 ?0次下載
    <b class='flag-5'>3D</b> <b class='flag-5'>ToF</b>三維場景距離(景深)測量系統(tǒng)簡介

    星宸科技擬融合ToF和ISP/SoC技術(shù),推出3D感知智能化系統(tǒng)解決方案

    賣方3D ToF業(yè)務(wù)相關(guān)的全部資產(chǎn)。 ? 融合ToF 和ISP/SoC 技術(shù),推出3D 感知系統(tǒng)解決方案 ? 福建杰木成立于2018年,主要
    的頭像 發(fā)表于 09-09 08:59 ?1938次閱讀

    OLED技術(shù)智能手機(jī)領(lǐng)域持續(xù)高漲

    7月18日最新行業(yè)資訊,權(quán)威市場調(diào)研機(jī)構(gòu)DSCC在其最新發(fā)布的《高級智能手機(jī)顯示屏出貨量與技術(shù)趨勢報告》揭示,OLED智能手機(jī)市場在2024年首季展現(xiàn)出了強(qiáng)勁的復(fù)蘇態(tài)勢,出貨量與營收
    的頭像 發(fā)表于 07-18 16:01 ?664次閱讀

    紫光展銳助力全球首款A(yù)I裸眼3D手機(jī)發(fā)布

    1.4億臺,展示了該技術(shù)巨大的市場潛力和增長空間。近日,全球首款A(yù)I裸眼3D手機(jī)——中興遠(yuǎn)航3D重磅上市。憑借微米級3D光柵
    的頭像 發(fā)表于 07-15 16:00 ?593次閱讀

    三星發(fā)布三款新型移動圖像傳感器,重塑智能手機(jī)攝影體驗

    智能手機(jī)攝影領(lǐng)域,每一次技術(shù)的革新都意味著新的突破和更高的用戶期待。近日,三星電子憑借其深厚的半導(dǎo)體技術(shù)積淀,發(fā)布了三款專為智能手機(jī)主攝像頭和副攝像頭設(shè)計的新型移動圖像
    的頭像 發(fā)表于 06-29 16:53 ?839次閱讀

    奧比光攜多款3D相機(jī)深度參與國內(nèi)3D視覺最高規(guī)格會議

    4月19日-21日,國內(nèi)3D視覺最高規(guī)格會議China 3DV 2024大會在深圳舉行。奧比光作為大會鉑金贊助商,攜多款不同技術(shù)路線的3D
    的頭像 發(fā)表于 04-24 09:26 ?385次閱讀
    奧比<b class='flag-5'>中</b>光攜多款<b class='flag-5'>3D</b>相機(jī)<b class='flag-5'>深度</b>參與國內(nèi)<b class='flag-5'>3D</b>視覺最高規(guī)格會議

    兩種應(yīng)用于3D對象檢測的點(diǎn)云深度學(xué)習(xí)方法

    是標(biāo)準(zhǔn) RGB 圖像與其關(guān)聯(lián)的“深度圖”的組合,目前由 Kinect 或英特爾實感技術(shù)使用。3D 數(shù)據(jù)可以對傳感器周圍環(huán)境進(jìn)行豐富的空間表示,并可應(yīng)用于機(jī)器人、
    的頭像 發(fā)表于 01-03 10:32 ?799次閱讀
    兩種應(yīng)用于<b class='flag-5'>3D</b>對象檢測的點(diǎn)云<b class='flag-5'>深度</b>學(xué)習(xí)方法

    倍加福全新3D視覺傳感器的工作原理和典型應(yīng)用

    不斷增長。本期我們將詳解另一種高性能視覺技術(shù)版本:飛行時間(ToF)技術(shù)。SmartRunner Explorer 3-D ToF
    的頭像 發(fā)表于 12-08 14:37 ?1061次閱讀
    倍加福全新<b class='flag-5'>3D</b>視覺<b class='flag-5'>傳感</b>器的工作原理和典型應(yīng)用

    深度解析3D視覺成像幾種典型方案

    類似于ToF相機(jī)、光場相機(jī)這類相機(jī),可以歸類為單相機(jī)3D成像范圍,它們體積小,實時性好,適合Eye-in-Hand系統(tǒng)執(zhí)行3D測量、定位和實時引導(dǎo)。
    發(fā)表于 12-05 12:24 ?834次閱讀
    <b class='flag-5'>深度</b>解析<b class='flag-5'>3D</b>視覺成像幾種典型方案

    ToF技術(shù)智能家居中的應(yīng)用

    ,受益于消費(fèi)電子市場的爆發(fā)式增長,全球3D成像與傳感的市場預(yù)計會進(jìn)一步擴(kuò)大。作為其中一種主流技術(shù),ToF智能家居等領(lǐng)域的應(yīng)用前景也被看好。
    的頭像 發(fā)表于 11-20 09:03 ?1770次閱讀

    基于深度學(xué)習(xí)的3D點(diǎn)云實例分割方法

    3D實例分割(3DIS)是3D領(lǐng)域深度學(xué)習(xí)的核心問題。給定由點(diǎn)云表示的 3D 場景,我們尋求為每個點(diǎn)分配語義類和唯一的實例標(biāo)簽。
    發(fā)表于 11-13 10:34 ?1959次閱讀
    基于<b class='flag-5'>深度</b>學(xué)習(xí)的<b class='flag-5'>3D</b>點(diǎn)云實例分割方法

    強(qiáng)光智能3D激光SLAM無人叉車技術(shù)特點(diǎn)詳解

    強(qiáng)光智能自主研發(fā)的3D激光SLAM無人叉車KSRB1425由智能3D激光導(dǎo)航出發(fā),結(jié)合視覺及多項感知融合
    的頭像 發(fā)表于 11-10 15:59 ?790次閱讀

    長電科技:已看到智能手機(jī)市場復(fù)蘇

    在這樣的背景下,長電科技表示,最近在財務(wù)報告電話會議上觀察到了智能手機(jī)市場的復(fù)蘇。不僅智能手機(jī)的數(shù)量增加了,智能手機(jī)的硬件也在進(jìn)化,支持新的應(yīng)用程序,特別是llm(大容量語言模式),這種模式正逐漸流入高級
    的頭像 發(fā)表于 11-10 10:08 ?582次閱讀

    什么是圖像穩(wěn)定?圖像穩(wěn)定已成為智能手機(jī)必備功能

    智能手機(jī)相機(jī)技術(shù)是由許多部件構(gòu)成的,包括傳感器、鏡頭和激光對焦系統(tǒng)等。
    的頭像 發(fā)表于 11-08 09:14 ?821次閱讀

    智能手機(jī)快速充電技術(shù)的應(yīng)用

    電子發(fā)燒友網(wǎng)站提供《智能手機(jī)快速充電技術(shù)的應(yīng)用.pdf》資料免費(fèi)下載
    發(fā)表于 10-27 11:01 ?0次下載
    <b class='flag-5'>智能手機(jī)</b><b class='flag-5'>中</b>快速充電<b class='flag-5'>技術(shù)</b>的應(yīng)用