淺談基于事件驅(qū)動(dòng)的AI視覺開源，對加速機(jī)器視覺應(yīng)用開發(fā)的作用

Prophesee為其事件驅(qū)動(dòng)的人工智能（AI）視覺開發(fā)生態(tài)系統(tǒng)新增開源模塊和訓(xùn)練數(shù)據(jù)資源庫。

開源模塊和訓(xùn)練數(shù)據(jù)資源庫

據(jù)麥姆斯咨詢報(bào)道，法國AI視覺開發(fā)商Prophesee面向光流和目標(biāo)探測等AI視覺應(yīng)用，發(fā)布了一套關(guān)鍵的開源軟件模塊和一組事件驅(qū)動(dòng)的機(jī)器學(xué)習(xí)工具。

Metavision Intelligence套件

作為Metavision Intelligence套件的一部分，Prophesee向開發(fā)者提供了業(yè)界最大的高清事件驅(qū)動(dòng)數(shù)據(jù)集OpenEB（免費(fèi)下載）。這有助于開發(fā)人員使用事件驅(qū)動(dòng)的方法來進(jìn)行機(jī)器學(xué)習(xí)，這種方法由場景的變化而不是神經(jīng)網(wǎng)絡(luò)框架觸發(fā)。

和人眼視覺原理類似，Prohesee開發(fā)的傳感器只有在感知到場景變化時(shí)才會(huì)進(jìn)行記錄，不同于傳統(tǒng)圖像傳感器以固定的幀時(shí)鐘記錄圖像信息。即僅在場景發(fā)生變化時(shí)，這種基于事件的視覺傳感器上的像素才做出反應(yīng)，場景中靜態(tài)的部分都不會(huì)被捕捉。

Prohesee基于事件驅(qū)動(dòng)的圖像傳感器

這種基于事件的視覺感知設(shè)計(jì)，主要有三大優(yōu)勢：產(chǎn)生數(shù)據(jù)量更少；反應(yīng)速度更快；以及實(shí)現(xiàn)更高的動(dòng)態(tài)范圍（》120 dB）。這些優(yōu)勢對于當(dāng)代機(jī)器視覺而言極具價(jià)值，尤其在減少數(shù)據(jù)量的問題上，對于有限的通信、存儲(chǔ)與計(jì)算資源都顯得相當(dāng)友好。

傳統(tǒng)基于幀和Prophesee基于事件的視覺傳感器成像對比

Prophesee聯(lián)合創(chuàng)始人兼首席執(zhí)行官Luca Verre解釋稱：“所謂‘事件’，是指一個(gè)像素激活自身并發(fā)送事件檢測到發(fā)生的X、Y坐標(biāo)和時(shí)間戳。傳感器上每個(gè)像素獨(dú)立接收光子，光電二極管因此產(chǎn)生電流，進(jìn)行累加之后，像素再持續(xù)地將電流的實(shí)時(shí)電荷電壓與參考值做比較。在電壓增減達(dá)到一定程度時(shí)，該像素就會(huì)發(fā)出一個(gè)事件。整個(gè)過程是μs級別的速度?！?/p>

首款事件驅(qū)動(dòng)AI相機(jī)已出貨

日本CenturyArk推出的SilkyEvCam人工智能相機(jī)，采用了Prophesee的事件驅(qū)動(dòng)圖像傳感器和軟件

日本CenturyArk在2020年末面向廣泛的工業(yè)機(jī)器視覺應(yīng)用推出了超小型USB攝像頭SilkyEvCam。SilkyEvCam采用了Prophesee的Metavision視覺傳感器以及Metavision Intelligence套件。為采用事件驅(qū)動(dòng)方案的機(jī)器視覺開發(fā)人員，提供了更快的上市時(shí)間。

相比傳統(tǒng)基于幀的視覺傳感技術(shù)，這款相機(jī)采用了基于時(shí)間的Metavision視覺傳感器，將場景中收集的數(shù)據(jù)量減少了1000倍，顯著提高了性能。這種事件驅(qū)動(dòng)方案能夠以等效10000 fps以上的時(shí)間分辨率進(jìn)行高速視覺，并支持超過120 dB的寬動(dòng)態(tài)范圍，使其適合在苛刻的照明條件下進(jìn)行高效運(yùn)行。

在此基礎(chǔ)上，這款相機(jī)率先提供了對Metavision Intelligence套件的全面支持，這是業(yè)界最全面的一套開發(fā)工具，用于加速機(jī)器視覺系統(tǒng)中對基于事件的視覺技術(shù)的探索和實(shí)現(xiàn)過程。該套件包含62種算法、54個(gè)代碼示例和11個(gè)現(xiàn)成的應(yīng)用程序。它為用戶提供了C++和Python API以及大量的文檔和示例，通過增加難度來逐步引入基于事件的機(jī)器視覺的基本概念。

Prophesee最新發(fā)布的Metavision Intelligence版本增加了一套擴(kuò)展的開發(fā)工具和軟件，用于設(shè)計(jì)具有事件驅(qū)動(dòng)機(jī)器學(xué)習(xí)的工業(yè)視覺系統(tǒng)。該套件現(xiàn)在包括近100種算法、67個(gè)代碼樣本以及11個(gè)特定用例的應(yīng)用模塊，可以加速用戶的開發(fā)過程。

OpenEB的開源模塊可以通過Github獲取，它允許設(shè)計(jì)人員構(gòu)建自定義插件，并兼容用于開發(fā)事件驅(qū)動(dòng)系統(tǒng)的Metavision Intelligence套件。它為開發(fā)者提供了一個(gè)跨機(jī)器視覺生態(tài)系統(tǒng)共享軟件組件的平臺(tái)。

“我們希望在機(jī)器視覺生態(tài)系統(tǒng)中建立一個(gè)開放的技術(shù)標(biāo)準(zhǔn)，實(shí)現(xiàn)易得性和互操作性的新高度?！盠uca Verre說，“我們的方案為基于事件的技術(shù)提供了持續(xù)增長的生態(tài)系統(tǒng)，具有豐富的開放基礎(chǔ)和強(qiáng)大的開發(fā)框架。它包括了我們多年來收集的廣泛而可靠的數(shù)據(jù)，以及利用我們在各種用例中積累的專業(yè)知識(shí)，加速客戶特定系統(tǒng)開發(fā)的應(yīng)用模塊?！?/p>

OpenEB數(shù)據(jù)庫為相機(jī)制造商及其客戶提供了標(biāo)準(zhǔn)的基于事件的數(shù)據(jù)格式。Metavision Intelligence套件的開源模塊，可以兼容相機(jī)制造商及其客戶的生態(tài)系統(tǒng)。Prophesee開源許可提供關(guān)鍵模塊，可以加速定制插件的創(chuàng)建，同時(shí)確保兼容相機(jī)制造商提供的底層硬件。

從Prophesee過去四年來創(chuàng)建的實(shí)際序列數(shù)據(jù)集開始，其開發(fā)環(huán)境為機(jī)器學(xué)習(xí)應(yīng)用的快速發(fā)展提供了一個(gè)完整平臺(tái)。開發(fā)人員可以利用各種工具指導(dǎo)神經(jīng)網(wǎng)絡(luò)模型的開發(fā)，對基于事件的數(shù)據(jù)進(jìn)行推理，以進(jìn)行用于目標(biāo)探測的監(jiān)督訓(xùn)練和用于光流的自監(jiān)督訓(xùn)練，均為基于事件的視覺應(yīng)用進(jìn)行了優(yōu)化。

此外，開發(fā)人員可以利用提供的基于事件的模擬器輕松創(chuàng)建自己的模型，或利用其現(xiàn)有的基于幀的數(shù)據(jù)集和模型，并使用基于事件的視覺對其進(jìn)行改進(jìn)。

Metavision Intelligence套件添加了新的即用型應(yīng)用，并可以通過基于事件的視覺進(jìn)行增強(qiáng)，其中包括：

- 粒度監(jiān)測：在生產(chǎn)線上以極高的速度（高達(dá)50000像素/秒），對通過視場的物體進(jìn)行計(jì)數(shù)和測量，計(jì)數(shù)精度高達(dá)99.9%，從而確保更好地控制過程。

- 噴射監(jiān)測：實(shí)時(shí)監(jiān)測液體分配的速度和質(zhì)量。對高速噴射進(jìn)行檢測和計(jì)數(shù)，支持高達(dá)500 Hz的噴射分配，并在分配器出現(xiàn)錯(cuò)誤時(shí)自動(dòng)生成警報(bào)。

- 輪廓特征跟蹤：利用基于事件的傳感器提供的低數(shù)據(jù)率和稀疏信息，以較低的算力實(shí)現(xiàn)超穩(wěn)健的3D目標(biāo)實(shí)時(shí)跟蹤。
編輯：lyn