太牛了！這家公司創(chuàng)造了“模擬人眼、基于事件的視覺傳感器”，獲創(chuàng)新工場、小米、韋豪創(chuàng)芯投資

電子發(fā)燒友網(wǎng)報道（文/黃晶晶）日前，世界領(lǐng)先的神經(jīng)擬態(tài)視覺解決方案企業(yè)普諾飛思（Prophesee）宣布C輪融資，由創(chuàng)新工場領(lǐng)投、小米及上海韋豪創(chuàng)芯跟投，數(shù)家老股東加碼。在最近的一次媒體交流會上，普諾飛思聯(lián)合創(chuàng)始人兼CEO 盧卡·維雷（Luca Verre）、普諾飛思大中華區(qū)商務(wù)發(fā)展主管Johney Lu、普諾飛思高級現(xiàn)場應(yīng)用工程師Cyrus Lo、創(chuàng)新工場合伙人方益民以及創(chuàng)新工場投資總監(jiān)王震翔與包括電子發(fā)燒友網(wǎng)在內(nèi)的媒體進行了充分交流。

硅基視網(wǎng)膜，或稱基于事件的視覺傳感器

Luca解析，這個產(chǎn)品的原本模型來自于模擬人的眼睛，眼睛事先預(yù)處理信息，只留下對大腦決策有用的信息，通過視神經(jīng)傳導(dǎo)到大腦。

傳統(tǒng)的圖像傳感器以一幀一幀的圖像，只對場景中的變化產(chǎn)生反應(yīng)，這些場景中的變化一般和場景中的物體運動有關(guān)。

普諾飛思設(shè)計的硅基視網(wǎng)膜或稱基于事件的視覺傳感器，類似于人眼視沒錢系統(tǒng)的運作原理，它是持續(xù)的以事件為基礎(chǔ)，具有異步特性，在生態(tài)視覺系統(tǒng)當中，始終沒有一個固定的類似于傳統(tǒng)圖像傳感器的取樣頻率。



這種新的視覺系統(tǒng)能帶來三個比較大的好處：

1、減少冗余數(shù)據(jù)，就是需要處理的數(shù)據(jù)量會變少。
2、能夠加速識別檢測的速度。
3、能夠增加動態(tài)范圍，能夠適應(yīng)極端的光照條件。

具體來說，基于事件的視覺傳感器不像傳統(tǒng)的圖像傳感器那樣，生成一張一張的圖像，而只會對場景中物體的運動變化產(chǎn)生反應(yīng)，即背景沒有任何變化，傳感器不會對靜態(tài)的背景信息反復(fù)地取樣。

因此在處理時間和速度上，基于事件的視覺傳感器的處理流程更高效，系統(tǒng)處理速度更快。

目前，普諾飛思從第一代的QVGA到HD高清視覺傳感器形成了一系列的產(chǎn)品，最近與合作伙伴索尼共同開發(fā)出了一款市面上尺寸最小的視覺傳感器。小尺寸傳感器成本更低，更易于集成，例如應(yīng)用于智能手機、筆記本電腦、機器人等消費類電子產(chǎn)品。

軟件工具與基于事件的視覺傳感器相配合

普諾飛思設(shè)計基于事件的視覺傳感器的同時也推出了相關(guān)的軟件產(chǎn)品與服務(wù)。Luca表示，因為我們的視覺傳感器為客戶帶來了新的前所未有的數(shù)據(jù)類型，因此我們需要為客戶提供分析工具和軟件，來使用這些全新的數(shù)據(jù)，幫助他們建立全面的應(yīng)用。

普諾飛思推出了獨有的MetaVision智能套件，它是一個非常全面、綜合性很高的軟件開發(fā)工具?？商峁?5種計算機視覺或者AI的算法、67種代碼示例、11個即用型應(yīng)用程序，這些都在SDK當中供客戶使用。MetaVision智能套件包括六個主要的模塊，即機器學習、3D計算機視覺，還有分析等等不同的模塊。

普諾飛思現(xiàn)在還提供完整的機器學習工具包，內(nèi)含最大的高清公共數(shù)據(jù)集、模擬工具、以及可監(jiān)測對象活動的不同模型。此外，還包括機器學習的相關(guān)內(nèi)容，此外MetaVision還為業(yè)界提供基于事件的開源工具，開發(fā)者可以通過普諾飛思的技術(shù)探索發(fā)現(xiàn)全新的可能性，并實現(xiàn)進一步的發(fā)明創(chuàng)造。

典型應(yīng)用場景

基于神經(jīng)擬態(tài)視覺系統(tǒng)的座艙監(jiān)控技術(shù)

普諾飛思與Xperi合作推出的全球首個基于神經(jīng)擬態(tài)視覺系統(tǒng)的座艙監(jiān)控技術(shù)，Xperi是一家美國企業(yè)，致力于研究包括駕駛監(jiān)控在內(nèi)的多種前沿技術(shù)。


普諾飛思推出的駕駛監(jiān)控技術(shù)可通過對駕駛員眼睛、表情的監(jiān)測，以及計數(shù)駕駛員的眨眼頻率，從而對他目光注視的情況進行監(jiān)測。普諾飛思的獨特技術(shù)能夠為駕駛監(jiān)控提供高速的視覺處理功能，此外，還能夠應(yīng)對非常嚴苛的光線的環(huán)境。

它的特點是速度快，可以高速追蹤眼球以及目光，追蹤眨眼的行為，因為當人在疲勞的時候，眨眼頻率和速度都會大大提高。傳統(tǒng)視覺只能推測到眨眼的動作，但不能測算眨眼的速度。此外，它具有極高的動態(tài)范圍，在面對陽光時，如果拉下遮光板，這個區(qū)域會比周邊暗，傳統(tǒng)視覺傳感器的處理要么看不到眼睛，要么在臉部其他部位過曝，而普諾飛思的傳感器可以同時檢測亮處與暗處的信息。還有，能夠透過太陽眼鏡看眼睛，太陽眼鏡的反光不會對檢測造成影響。

基于事件的高級駕駛輔助系統(tǒng)

在這個系統(tǒng)當中，車上安裝了三個基于事件的傳感器，以及一個激光柱，激光柱進行掃描，Prophesee的傳感器會追蹤激光柱的燈光，然后對掃描的內(nèi)容進行3D建模，從而分析前端路況。



在激光掃描的時候會經(jīng)常碰一個問題，即點不夠多，且循環(huán)比較慢。普諾飛思補足了激光的這個短板。利用激光的精確度優(yōu)勢以及傳感器的速度，可以直接造出一個非常精準高速的3D Point Cloud，令自動駕駛平臺效果大幅提升，實現(xiàn)更安全的駕駛。

醫(yī)療案例

普諾飛思和Cambridge Consultants共同開發(fā)了通過細胞實時無菌檢測方式實現(xiàn)的下一代細胞療法。

可以在利用細胞作為介質(zhì)生產(chǎn)的產(chǎn)品中尋找細菌和雜質(zhì)，比如做胰島素。用傳統(tǒng)的方法需要幾天的時間才能夠完成這樣的生物學檢測，但是用基于Prophesee的傳感器技術(shù)的設(shè)備，可以在幾微秒時間內(nèi)完成檢測。


另一個醫(yī)療應(yīng)用案例是Prophesee和GenSight共同開發(fā)的，讓失明患者借助光遺傳療法恢復(fù)了部分視力?！肮枰暰W(wǎng)膜（silicon retinas）”，能夠?qū)?a target="_blank">信號發(fā)送給大腦進行處理，該技術(shù)可專門針對于一些晚期的視網(wǎng)膜色素變性的病例。GenSight所生產(chǎn)的護目鏡當中運用了普諾飛思的技術(shù)，可以通過失明人士視網(wǎng)膜中所植入的投光器對視覺系統(tǒng)進行光刺激，進而讓其恢復(fù)一部分的視覺功能。


用于智能手機，改善拍照質(zhì)量

傳統(tǒng)上基于幀的技術(shù)，拍照的時候會產(chǎn)生運動模糊的現(xiàn)象。例如在拍攝寵物奔跑照片時，如果燈光條件不是特別好，曝光時間一般會比較長，拍攝結(jié)果就會較為模糊。



原因是傳統(tǒng)RGB以圖像為基礎(chǔ)的技術(shù)主要是為了捕捉靜態(tài)的圖像而設(shè)計的，而普諾飛思的基于事件的技術(shù)，就是為了捕捉動態(tài)信息而設(shè)計的。

如果將這兩個技術(shù)，靜態(tài)的以幀為基礎(chǔ)的技術(shù)和以事件為基礎(chǔ)的技術(shù)相結(jié)合，左邊是單純的基于幀的技術(shù)所拍攝出來的畫面，右邊是結(jié)合了基于事件的技術(shù)的結(jié)果。將基于幀和基于事件的技術(shù)相結(jié)合，能夠產(chǎn)生更好的照片效果。

有些視頻有很多非常模糊的場景，因為光線不是非常好，加上畫面當中的人也是在移動的，所以人像是模糊的，畫面中樓房側(cè)面的樣子也是模糊的。而通過基于事件的技術(shù)可以修正運動產(chǎn)生的模糊。視頻中的人像非常地清晰，建筑物也能夠看清非常多的細節(jié)。

此外對于機器防抖，一般會借助于IMU，或者物理光學防抖。但這種解決方案主要用于自身防抖。但當被拍物體由于移動速度過而快造成的模糊時，就需要依靠以事件為基礎(chǔ)的技術(shù)來解決。

軟硬件方案筑行業(yè)壁壘，獲得融資后Prophesee重點擴大中國市場規(guī)模

即便任何一家手機廠商或者自動駕駛公司拿到了這顆芯片，但處理數(shù)據(jù)流也是難題，因為一些廠商的算法工程師通常處理基于幀的數(shù)據(jù)，換句話說，Prophesee的技術(shù)解決方案涵蓋底層、算法、應(yīng)用軟件，建立了深厚的行業(yè)壁壘。創(chuàng)新工場表示，這也是他們看好Prophesee并投資的重要原因。此次創(chuàng)新工場、小米、豪威等機構(gòu)的投資，正是為了加速普諾飛思技術(shù)的迭代，針對廣大的中國下游客戶市場，讓這項黑科技快速大規(guī)模商業(yè)化落地。

為了加快普諾飛思在中國市場的落地，公司已經(jīng)把中國總部設(shè)在上海，Luca表示，目前我們的重點是對中國市場進行大規(guī)模的投入，在中國擴充我們的團隊，推廣我們的技術(shù)和應(yīng)用。我們最終的目標是將普諾飛思打造成一個全球性的公司。那就要在全球最大的市場取得成功，也就是在中國取得成功。

四年來，Prophesee與索尼進行了合作，普諾飛思主要在IP方面發(fā)揮自身的優(yōu)勢——基于事件的視覺技術(shù)；索尼主要發(fā)揮它在先進制造工藝方面的優(yōu)勢。Prophesee的視覺傳感器被稱為下一代的CIS，韋豪創(chuàng)芯正是看中這一前景也對Prophesee進行了投資。

本文由電子發(fā)燒友原創(chuàng)，作者黃晶晶，微信號kittyhjj，轉(zhuǎn)載請注明以上來源。如需入群交流，請?zhí)砑游⑿舉lecfans999，投稿發(fā)郵件到huangjingjing@elecfans.com。