“事件導(dǎo)向”的新型機(jī)器視覺(jué)技術(shù)之實(shí)戰(zhàn)經(jīng)驗(yàn)

透過(guò)生物啟發(fā)方式擷取影像中的“事件”(event)聽(tīng)起來(lái)不僅酷炫，而且未來(lái)感十足。但有多少開(kāi)發(fā)人員真正目睹基于事件的機(jī)器視覺(jué)技術(shù)效果？

大多數(shù)的開(kāi)發(fā)人員都聽(tīng)說(shuō)過(guò)或讀過(guò)這一類(lèi)的消息，他們可能感到很好奇。但是，他們多半只能在局外觀看，而不曾經(jīng)有過(guò)這種所謂“事件導(dǎo)向”(event-driven)的新型機(jī)器視覺(jué)技術(shù)之實(shí)戰(zhàn)經(jīng)驗(yàn)。

總部位于法國(guó)巴黎的新創(chuàng)公司Prophesee鎖定的正是這些在此競(jìng)賽中的“旁觀者”。該公司日前推出其首款針對(duì)視覺(jué)系統(tǒng)開(kāi)發(fā)人員的參考系統(tǒng)，協(xié)助其用于嘗試、測(cè)試以及了解神經(jīng)形態(tài)(neuromorphic)視覺(jué)如何運(yùn)作。

Prophesse首席執(zhí)行官Luca Verre在接受《EE Times》訪問(wèn)時(shí)表示，該公司的參考設(shè)計(jì)最初鎖定的用戶(hù)將是“工業(yè)自動(dòng)化機(jī)器和機(jī)器人領(lǐng)域的開(kāi)發(fā)人員。此外，在汽車(chē)和物聯(lián)網(wǎng)(IoT)系統(tǒng)的客戶(hù)也將找到有助于表征[Prophesee]傳感器性能的參考系統(tǒng)?！?/p>

還有，研發(fā)實(shí)驗(yàn)室和大學(xué)的研究人員也將從中受益。但Verre解釋說(shuō)，真正的關(guān)鍵在于該參考系統(tǒng)將觸發(fā)圍繞著Prophesee事件導(dǎo)向、非影格基礎(chǔ)(frame-based)的視覺(jué)系統(tǒng)打造一個(gè)“生態(tài)系統(tǒng)”?！拔ㄓ薪⒘松鷳B(tài)系統(tǒng)，才會(huì)帶來(lái)革命?！?/p>

Prophesee的Onboard參考系統(tǒng)將包含一個(gè)支持VGA分辨率的攝影機(jī)，內(nèi)建Prophesee的ASIC、高通(Qualcomm)的1.5GHz四核心Snapdragon處理器、六軸慣性測(cè)量單元(IMU)，并支持一系列的連接器，包括USB 3.0、以太網(wǎng)絡(luò)、微型HDMI、Wi-Fi (802.11ac)與MIPI CSI-2。

Prophesee聲稱(chēng)其功率效率和系統(tǒng)延遲均“低于10毫秒(ms)”。該公司之前曾經(jīng)說(shuō)，其傳感器支持低于10mW的工作特性。

不同于傳統(tǒng)frame-based影像傳感器

數(shù)十年來(lái)，機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)人員依靠的是他們對(duì)于傳統(tǒng)影像傳感器如何擷取視覺(jué)信息的知識(shí)和經(jīng)驗(yàn)。傳統(tǒng)的傳感器被設(shè)計(jì)為以一種預(yù)定的影格速率(frame rate)運(yùn)作，而無(wú)論動(dòng)態(tài)場(chǎng)景如何變化，而每個(gè)影格(frame)傳送來(lái)自所有像素的信息，同時(shí)對(duì)其進(jìn)行均勻采樣。

所以，提高機(jī)器視覺(jué)系統(tǒng)的性能一直著重于由新型影像傳感器所實(shí)現(xiàn)的更高影格速率和更高分辨率。

Prophesee認(rèn)為現(xiàn)在正是重新思考這種典范的時(shí)候了。

相較于傳統(tǒng)的frame-based攝影機(jī)，在Prophesee開(kāi)發(fā)基于異步時(shí)間的影像傳感器中，每個(gè)像素均以不同速率各自決定對(duì)場(chǎng)景的每一部份進(jìn)行采樣。Prophesee首席技術(shù)官Christoph Posch曾經(jīng)對(duì)為《EE Times》解釋?zhuān)骸巴高^(guò)對(duì)光線作出反應(yīng)或改變接收到的入射光量，每個(gè)像素單獨(dú)控制其采樣，而不涉及頻率?！?/p>

因此，Prophesee的傳感器僅選擇場(chǎng)景中最有用和最相關(guān)的元素，從而有助于降低傳統(tǒng)frame-based系統(tǒng)所造成的功耗、延遲和數(shù)據(jù)處理等需求。

Prophesee的傳感器建立在“神經(jīng)形態(tài)”視覺(jué)的基礎(chǔ)上。人眼和大腦并不會(huì)將視覺(jué)信息記錄在一連串的影格中。Prophesee共同創(chuàng)辦人Ryad Benosman解釋?zhuān)叭祟?lèi)擷取感興趣的東西——空間和時(shí)間的變化，并以極高的效率將這些信息傳送至大腦?！?/p>

由于影像傳感器并不受限于影格，因此，Verre解釋?zhuān)骸拔覀兊募夹g(shù)不會(huì)錯(cuò)過(guò)每個(gè)影格之間可能發(fā)生的重要事件。”

讓?xiě)岩烧撜咦兂尚磐?/p>

要求視覺(jué)系統(tǒng)工程師放棄神圣的影格概念，轉(zhuǎn)而開(kāi)始使用事件導(dǎo)向的影像傳感器來(lái)打造新系統(tǒng)，可說(shuō)是一項(xiàng)艱巨的任務(wù)。Verre在德國(guó)斯圖加特與博世(Bosch)晤談后，他在電話(huà)訪問(wèn)中告訴我們：“這是許多工程師都難以接受的提議?！?/p>

Prophesee參考系統(tǒng)

協(xié)助設(shè)計(jì)工程師克服心理障礙的方法之一是為他們提供一個(gè)兼容于現(xiàn)有frame-based攝影機(jī)的參考系統(tǒng)，讓他們能復(fù)制現(xiàn)有結(jié)果作為默認(rèn)選項(xiàng)。同時(shí)，Verre解釋說(shuō)，相同的參考系統(tǒng)還可用于展示non-frame-based的影像傳感器如何執(zhí)行，使其比較新型成像數(shù)據(jù)的優(yōu)點(diǎn)。

他表示，該公司的Onboard參考系統(tǒng)采用“嵌入了大量工具庫(kù)的單板計(jì)算機(jī)，可用于檢測(cè)、追蹤、計(jì)數(shù)和測(cè)量等應(yīng)用”。

鎖定工業(yè)自動(dòng)化和機(jī)器人市場(chǎng)

Prophesee在德國(guó)國(guó)際‘Control’展會(huì)上展示其Onboard參考系統(tǒng)。據(jù)主辦單位表示，該展會(huì)專(zhuān)注于質(zhì)量保證，是“工業(yè)4.0計(jì)劃的驅(qū)動(dòng)力”。

然而，Prophesee要追求典型保守的工業(yè)自動(dòng)化市場(chǎng)并不容易。Verre坦承，這是一個(gè)成熟的市場(chǎng)，由機(jī)器制造商、系統(tǒng)整合商和機(jī)器視覺(jué)專(zhuān)家組成，他們已經(jīng)習(xí)慣于為每個(gè)機(jī)器視覺(jué)應(yīng)用開(kāi)發(fā)一系列昂貴且體積龐大的獨(dú)立設(shè)備。

Prophesee積極追逐工業(yè)自動(dòng)化和機(jī)器人市場(chǎng)（來(lái)源：Prophesee）

Verre認(rèn)為，Prophesee有能力改變游戲規(guī)則。Verre聲稱(chēng)，透過(guò)導(dǎo)入基于單板移動(dòng)平臺(tái)的機(jī)器視覺(jué)技術(shù)，自動(dòng)化系統(tǒng)設(shè)計(jì)人員將能以更低功率和更多彈性，開(kāi)發(fā)出更便宜、更小型的系統(tǒng)。

例如，Prophesee說(shuō)，這是一種基于事件的方法，“讓傳感器達(dá)到較高速視覺(jué)相關(guān)應(yīng)用更高的動(dòng)態(tài)范圍?！痹摴狙a(bǔ)充說(shuō)，它讓具有成本效益的傳感器和系統(tǒng)記錄事件，否則這些事件需要傳統(tǒng)攝影機(jī)以每秒10,000格或更快的速率執(zhí)行。

Verre說(shuō)，設(shè)計(jì)人員還可以進(jìn)一步將Prophesee的技術(shù)應(yīng)用于“監(jiān)測(cè)機(jī)器的健康狀態(tài)”?！皺C(jī)器是由移動(dòng)組件組成。事件導(dǎo)向的攝影機(jī)可以檢測(cè)振動(dòng)機(jī)器的機(jī)動(dòng)組件，并以高頻率(超過(guò)100Hz)監(jiān)測(cè)任何異常行為?！?/p>

他解釋說(shuō)：“傳統(tǒng)的機(jī)器視覺(jué)系統(tǒng)并不容易做到這一點(diǎn)。它們必須始終開(kāi)啟，才能在振動(dòng)發(fā)生之際實(shí)時(shí)擷取影像，而這將會(huì)要求傳統(tǒng)系統(tǒng)必須具有大量處理能力和數(shù)據(jù)儲(chǔ)存?！?/p>

Prophesee Onboard參考系統(tǒng)的軟件堆棧（來(lái)源：Prophesee）

相較于傳統(tǒng)工業(yè)自動(dòng)化領(lǐng)域習(xí)以為常的單點(diǎn)機(jī)器視覺(jué)系統(tǒng)解決方案，Verre認(rèn)為，Prophesee的參考系統(tǒng)的優(yōu)勢(shì)就在于透過(guò)高性能、多功能和低成本解決方案，讓整體產(chǎn)業(yè)運(yùn)作更流暢、更簡(jiǎn)單。

Prophesee目前正與對(duì)事件導(dǎo)向解決方案感興趣的汽車(chē)和IoT系統(tǒng)公司合作。華為(Huawei)透露Prophesee正是其合作伙伴，在開(kāi)發(fā)增強(qiáng)現(xiàn)實(shí)/虛擬現(xiàn)實(shí)(AR/VR)和IoT計(jì)劃中使用了Prophesee技術(shù)。Verre說(shuō)，Prophesee還與一家大型消費(fèi)電子公司達(dá)成了合作協(xié)議，但他并未透露更多有關(guān)細(xì)節(jié)。