和高通一起打造智能手機(jī)影像的硬件創(chuàng)新，2023年P(guān)rophesee進(jìn)入收獲期

不久前，Prophesee與高通技術(shù)公司聯(lián)合宣布雙方將合作優(yōu)化 Prophesee Metavision 事件視覺傳感器與高通驍龍移動(dòng)平臺(tái)的深度融合，為智能手機(jī)提供神經(jīng)擬態(tài)視覺技術(shù)在速度、性能和成像質(zhì)量方面的優(yōu)勢。據(jù)了解，這一方案正積極推進(jìn)，很快就會(huì)有品牌智能手機(jī)的項(xiàng)目落地。

日前，Prophesee聯(lián)合創(chuàng)始人兼執(zhí)行總裁Luca Verre以及Prophesee副總裁兼大中華區(qū)總經(jīng)理?xiàng)钛╋w接受包括電子發(fā)燒友網(wǎng)在內(nèi)的媒體采訪，分享了 Prophesee Metavision技術(shù)的應(yīng)用情況以及公司發(fā)展等話題。

Prophesee Metavision技術(shù)推動(dòng)智能手機(jī)攝影的創(chuàng)新

Prophesee Metavision 事件視覺傳感器能夠模擬人眼工作模式。Luca Verre解析，通常人眼在觀察畫面時(shí)，關(guān)注點(diǎn)并不是整個(gè)畫面，而只是關(guān)注于畫面當(dāng)中正在發(fā)生變化的部分，Prophesee的傳感器技術(shù)通過獨(dú)立且異步的像素設(shè)計(jì)實(shí)現(xiàn)這個(gè)原理，可以獨(dú)立地對畫面中發(fā)生變化的物體信息做出反應(yīng)，這樣不僅可以很大程度上減少信息量，并且像素反應(yīng)速度極快，而且?guī)缀醪皇芄饩€條件的影響。

圖：Prophesee 聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre

Prophesee成立于2015年，技術(shù)團(tuán)隊(duì)對于事件視覺傳感器的研究長達(dá)25年之久，最初是希望借助這個(gè)技術(shù)幫助視力受損的人修復(fù)視覺，這項(xiàng)工作在2016年取得很大的成功。同時(shí)這項(xiàng)技術(shù)也賦能到一些設(shè)備上，特別是在人工智能（AI）和機(jī)器視覺領(lǐng)域，包括像物聯(lián)網(wǎng)設(shè)備、機(jī)器人、無人機(jī)以及智能手機(jī)上。

如今，手機(jī)是圖像傳感器最大的市場，占比達(dá)60%。手機(jī)的攝影功能是各大手機(jī)廠商都非常重視的指標(biāo)，都在不斷地追求極致。在手機(jī)端，將Prophesee的事件傳感器與傳統(tǒng)的以幀為單位的圖像傳感器進(jìn)行結(jié)合，能夠提高手機(jī)攝影照片的質(zhì)量。

Prophesee和高通都一致認(rèn)為，神經(jīng)擬態(tài)技術(shù)將會(huì)為未來智能手機(jī)帶來非常多的附加價(jià)值，不論是在計(jì)算攝影還是在其他一些傳感應(yīng)用方面，這也是為什么高通決定和Prophesee達(dá)成長期戰(zhàn)略性的合作伙伴關(guān)系。Luca Verre表示，我們和高通的合作主要是在兩個(gè)方面，在技術(shù)層面，高通幫助我們把事件視覺傳感器和軟件整合到驍龍移動(dòng)平臺(tái)上；在業(yè)務(wù)發(fā)展層面，高通將會(huì)和我們一起，向手機(jī)OEM推廣這個(gè)解決方案。Prophesee在神經(jīng)擬態(tài)視覺領(lǐng)域具有領(lǐng)導(dǎo)性的地位。我們希望能夠和高通一起，共同推進(jìn)這個(gè)產(chǎn)品和技術(shù)的發(fā)展和落地。

攝影模糊是當(dāng)前手機(jī)影像面臨的一大挑戰(zhàn)。如果你的拍照對象移動(dòng)速度很快的話，很容易產(chǎn)生模糊的情況。



如上圖，左側(cè)展示的是用常規(guī)的攝像機(jī)拍攝的照片，整個(gè)過程有停頓，并且很明顯在照片當(dāng)中出現(xiàn)了模糊的狀態(tài)；而在右側(cè)使用我們事件相機(jī)的技術(shù)，可以看到非常連貫，并且能夠很好地捕捉到運(yùn)動(dòng)的部分。在捕捉動(dòng)態(tài)物體方面，Prophesee的技術(shù)和解決方案要比傳統(tǒng)的攝像機(jī)表現(xiàn)更優(yōu)越。

進(jìn)一步來看，在使用普通常規(guī)攝像機(jī)拍攝的時(shí)候，如果被拍攝對象移動(dòng)速度很快，比如照片上的這位男士，或是由于場景光線不足導(dǎo)致曝光時(shí)間延長，都可能會(huì)導(dǎo)致照片發(fā)生模糊。簡單來說就是普通照相機(jī)的傳感器沒有足夠的時(shí)間去收集到足夠的信號(hào)，也沒有時(shí)間去對這些捕捉到的數(shù)據(jù)和信號(hào)進(jìn)行重新的架構(gòu)。


而基于事件的視覺解決方案，它收集到的事件數(shù)據(jù)在時(shí)間上具有連續(xù)性，可以借助這些信息來重新構(gòu)建和修復(fù)常規(guī)攝像機(jī)拍攝的模糊的圖像，像照片上的這位男士以及球桿，都可以恢復(fù)到接近我們?nèi)搜垡曈X看到的狀態(tài)。

以雙攝像頭模組來看，右側(cè)是事件相機(jī)，左側(cè)是以幀為基礎(chǔ)的相機(jī)，將兩者進(jìn)行結(jié)合以提升照片的質(zhì)量，可以借助事件相機(jī)捕捉到的運(yùn)動(dòng)對象的信息，來校準(zhǔn)發(fā)生模糊的照片。




據(jù)透露，目前Prophesee已經(jīng)開發(fā)了比較成熟的攝像頭模組和應(yīng)用軟件，計(jì)劃會(huì)在下個(gè)季度向市場推出相關(guān)的手機(jī)參考設(shè)計(jì)。照片去模糊只是事件視覺技術(shù)眾多應(yīng)用中的一個(gè)，未來Prophesee還將高通以及手機(jī)OEM廠商共同開發(fā)更多的功能。

以低延遲低功耗，助力AR/VR領(lǐng)域的跟蹤功能創(chuàng)新

隨著越來越多的攝像頭用于邊緣智能的處理，傳統(tǒng)基于幀的攝像頭在在數(shù)據(jù)的處理量、處理速度、以及周圍光線條件不理想時(shí)，遇到的模糊問題日益突出。除了智能手機(jī)是Prophesee重點(diǎn)關(guān)注的賽道之外，事件視覺技術(shù)未來還將解鎖更多市場應(yīng)用，能夠?yàn)樾袠I(yè)帶來巨大的范式轉(zhuǎn)變。

Prophesee目前在可穿戴設(shè)備以及AR/VR領(lǐng)域進(jìn)行探索和突破，包括位姿跟蹤、手勢追蹤、眼球跟蹤等等?？梢员M可能地幫助減少延遲和降低功耗，這也是提升沉浸式體驗(yàn)的關(guān)鍵。




Luca Verre解析，從應(yīng)用案例來看，像inside-out tracking借助事件視覺技術(shù)，可以精準(zhǔn)檢測目標(biāo)對象的輪廓，并進(jìn)行高速追蹤，而且?guī)缀醪皇芄饩€條件的影響。這些應(yīng)用也能夠幫助我們更好地與空間進(jìn)行交互和互動(dòng)，比如說提升游戲的體驗(yàn)感等。

還有眼球追蹤案例中，如果使用傳統(tǒng)攝像頭進(jìn)行眼球追蹤，通常需要達(dá)到500幀/秒以上的速度，這就對算力的要求非常高。而事件視覺技術(shù)只關(guān)注畫面中動(dòng)態(tài)變化的信息，可以大大降低數(shù)據(jù)量，并且實(shí)現(xiàn)非常高速的追蹤。去年Meta公司發(fā)布了基于Prophesee合作取得的系列成果和數(shù)據(jù)，在有限的功耗內(nèi)實(shí)現(xiàn)了高性能的眼球追蹤。

Prophesee的事件視覺解決方案可以有效解決三個(gè)痛點(diǎn)，即高速跟蹤、降低算力需求以及降低整體功耗。而未來這項(xiàng)技術(shù)會(huì)在AR/VR領(lǐng)域解鎖更多的應(yīng)用可能，創(chuàng)造更多的價(jià)值。

2023年進(jìn)入收獲期，更多項(xiàng)目落地

目前Prophesee已經(jīng)獲得了超過1.2億美元的融資，團(tuán)隊(duì)成員超過110人，在法國、美國、中國和日本都設(shè)立辦公室。中國團(tuán)隊(duì)目前規(guī)模最大，增長速度也非?？?。

Prophesee 副總裁兼大中華區(qū)總經(jīng)理?xiàng)钛╋w介紹，除了中國區(qū)總部上海之外，公司在北京、香港、臺(tái)北等地方覆蓋了團(tuán)隊(duì)，同時(shí)還在加速設(shè)立深圳辦公室，來支持合作伙伴和客戶。

Prophesee 副總裁兼大中華區(qū)總經(jīng)理?xiàng)钛╋w

Prophesee中國團(tuán)隊(duì)不僅以銷售為主，開發(fā)也是非常重要的一個(gè)方向。公司也致力于把基于事件的（event-based）解決方案的軟件提供給客戶，使用自己的軟件處理數(shù)據(jù)，給客戶提供所需的解決方案。

去年夏天，公司專門從法國邀請了創(chuàng)始團(tuán)隊(duì)當(dāng)中的一位成員擔(dān)任中國區(qū)CTO，帶動(dòng)技術(shù)研發(fā)以滿足中國區(qū)客戶的支持與開發(fā)。同時(shí)Prophesee也在加強(qiáng)本地化團(tuán)隊(duì)的技術(shù)開發(fā)能力，以及快速地響應(yīng)能力，完全地支持在中國區(qū)的客戶。

到2022年為止，Prophesee 與中國區(qū)合作伙伴進(jìn)行了大量地合作，包括如清華大學(xué)在內(nèi)的超過30所大學(xué)院校、大專院校以及研究所單位。同時(shí)也面向工業(yè)類、應(yīng)用類，與大量的ToB企業(yè)進(jìn)行合作，包括小米、索尼這些頭部的企業(yè)。去年P(guān)rophesee在中國也找到了相機(jī)合作廠商，在中國區(qū)落地EVS相機(jī)和本地化的生產(chǎn)。

楊雪飛表示，跨入到2023年之后，Prophesee逐漸開始收獲。

首先，今年將推出Prophesee的中文版官方網(wǎng)站。Prophesee的歐洲版官方網(wǎng)站有一個(gè)開發(fā)者論壇，這個(gè)論壇提供很多新技術(shù)的開源代碼給廣大開發(fā)者，在論壇上相互交換研究所得。目前在全球英文開發(fā)者論壇上面已經(jīng)有超過8000多的會(huì)員共同來開發(fā)事件視覺傳感器各種應(yīng)用領(lǐng)域，包括很多知名的大學(xué)院校和相應(yīng)的研究單位。今年也會(huì)在中國區(qū)開發(fā)中文的開發(fā)者論壇，方便和中國的廣大合作伙伴一起把這個(gè)技術(shù)的交流和研發(fā)推向一個(gè)更廣闊的前景。

第二，2023年是Prophesee收獲眾多合作開發(fā)果實(shí)的一年。目前Prophesee已經(jīng)完全打通了高通平臺(tái)，也正在全面與中國各家知名的手機(jī)OEM廠商展開合作。

除了手機(jī)之外，在IoT這個(gè)領(lǐng)域的監(jiān)控安防，Prophesee在該領(lǐng)域就會(huì)有相應(yīng)的量產(chǎn)產(chǎn)品落地，目前正在穩(wěn)步推進(jìn)。Prophesee的技術(shù)不但能夠保護(hù)隱私，而且能夠節(jié)省數(shù)據(jù)流量和資源，讓整個(gè)方案變得更便捷、安全。

另外，VR的眼球追蹤技術(shù)，或者真人動(dòng)作捕捉類技術(shù)，事件視覺傳感器捕捉到的信息具有優(yōu)秀的連貫性，能夠帶來非常好的效果，這類應(yīng)用也有緊密合作中。

今年P(guān)rophesee還會(huì)推出針對3D深度信息捕捉的解決方案。事件視覺傳感器的高速特性會(huì)大幅提升捕捉速度，能夠在更高速的運(yùn)動(dòng)過程中進(jìn)行3D信息的傳輸。