事件相機定義與設計

編者薦語

事件相機是一款新型傳感器。不同于傳統(tǒng)相機拍攝一幅完整的圖像，事件相機拍攝的是“事件”，可以簡單理解為“像素亮度的變化”，即事件相機輸出的是像素亮度的變化情況。

前言

第一次聽到“事件”相機，你一定會吐槽它的名字：“什么玩意？”、“不知所云”、“太拗口了！”

沒辦法，event camera 直譯過來就是事件相機，雖然我覺得這個稱呼不太直接，或許翻譯為“微動”相機之類的更貼切吧。但不妨礙，它是一個神奇的存在，和目前我們常見的視覺相機在原理上大相徑庭，目前能夠量產(chǎn)事件相機的公司又屈指可數(shù)，當然價格也非常“鶴立雞群”，在動態(tài)感知方面能夠拍攝到“飛行的子彈”，說它是相機中的戰(zhàn)斗機大家應該沒有意見吧？

下面是關于事件相機的起源設計思路、原理、特點和分類的概述。歡迎留言區(qū)交流

1 事件相機定義與設計

1.1 事件相機的定義及潛在應用

事件相機（event cameras）是一種生物啟發(fā)的視覺傳感器，以完全不同于標準相機的方式工作。事件相機不是以恒定速率輸出強度圖像幀，而是僅輸出局部像素級亮度變化的相關信息。這些像素級亮度變化（稱為事件）超過設定閾值時，事件相機以微秒級分辨率標記時間戳，并輸出異步事件流。

事件相機相比于普通相機的優(yōu)勢:

低數(shù)據(jù)率

低能耗

低延遲

高動態(tài)范圍(HDR)

普通相機問題:

HDR: DVS (Dynamic Vision Sensor) 的動態(tài)范圍約120dB, 而普通相機的動態(tài)范圍只有60dB -> 抵抗極端環(huán)境.

低延遲: 極高的時間分辨率使得事件相機可以實時高速感知周圍環(huán)境并提供準確的輸出--->達成無人駕駛的目的

低數(shù)據(jù)率: 高速的普通相機每秒會生成至少上百張圖片，而事件相機每秒只生成幾百kb的數(shù)據(jù)--->無人機

低能耗: 事件相機只消耗非常少的能量，例如當普通的frame-based相機功率為1~2W時，事件相機的功率只有24mW. -> VR/AR設備

1.2 事件相機設計

事件攝像機的設計模仿了生物視網(wǎng)膜的特點，并提供了一個從普通基于幀的(frame-based)相機的范式轉變.

1.2.1 神經(jīng)形態(tài)硅視網(wǎng)膜

在生物學的器官中，人類這樣的脊椎動物的視網(wǎng)膜是眼睛內(nèi)表面的一層薄薄的組織，能將光轉換成電脈沖.

視網(wǎng)膜可以被分成以下三個部分:

光感受器層

組成元件: 視桿細胞和視錐細胞（神經(jīng)細胞）

層級功能: 將接收到的光轉化為電脈沖

外叢狀層

組成元件:雙極細胞(on- 和 off- 型)

層級功能: 將時空間的亮度變化進行編碼

內(nèi)叢狀層

組成元件：水平細胞和神經(jīng)節(jié)細胞

層級功能: 進行亮度調(diào)節(jié)，并將電脈沖傳遞至多條并行通路進行處理

這些細胞可以按其結構大致分為以下功能:

對亮度的瞬間變化敏感的細胞,

對持續(xù)不變亮度敏感的單元，根據(jù)環(huán)境光調(diào)整其他單元

對特定運動方向敏感的細胞

對局部區(qū)域空間變化敏感的細胞

對顏色的特定波長的光敏感的細胞

這種生物性視網(wǎng)膜有許多令人滿意的特性，使其具有潛在的極大優(yōu)于傳統(tǒng)的圖像傳感器的應用價值。

1.2.2 事件相機設計

區(qū)別于普通相機，事件相機測量的不是絕對的光照強度，而測量的是光強的變化

一個相機像素處的光強變化會觸發(fā)事件相機發(fā)送二進制信號，0表示變暗，1表示變亮

每個像素是獨立的，因此一旦發(fā)生變化，二進制信號就立即被發(fā)送出去

發(fā)送出去的信號是連續(xù)的且不基于相機幀的

事件相機的每個像素都有實現(xiàn)三個邏輯功能的模擬電路:

光感受器 : 將光轉化為電流

差分電路 : 計算從上一個事件開始至今的變化量（差分），并通過與預設的內(nèi)部閾值進行對比來選擇是否觸發(fā)事件

比較器: 在觸發(fā)事件后，將差分電路復位并開始計算下一個事件的差分

2 事件相機分類:

2.1 DVS (Dynamic Vision Sensor)

DVS是一個純基于事件的相機

上圖是使用DVS在一個時間間隔內(nèi)累積事件的一個可視化圖像輸出

DVS 電路:

光度測量 第一步是將光電流轉換成與光強的對數(shù)成比例的電壓:

差分電路

檢查光電流對數(shù)的變化量是否超過用戶在傳感器配置中預先設置的事件閾值.

通過被放大，每當超過事件閾值時，處集成的電荷被重置

事件觸發(fā)

如果光強變化超過閾值，則觸發(fā)有符號的異步事件輸出

當一個事件在時被觸發(fā)時，并且光的變化量滿足, 其中

這可以解釋為DVS像素可以檢測到的最小對比度。然而，在實際應用中，這受到光感受器噪聲和傳感器帶寬的限制。事件攝影機測量的對比度可以視為標準化的時間差：

因為, 在弱光環(huán)境中，事件的觸發(fā)比在明亮場景中的變化要小

2.2 DAVIS (Dynamic and Active Vision Sensor)

DAVIS 與DVS相比，結合了一個基于幀(frame-based)的相機 (與事件相機非同步),通過曝光生成的像素可以提供事件數(shù)據(jù)中所缺少的豐富紋理信息。

上方左圖是DAVIS相機在一定的時間間隔內(nèi)收集到的事件的可視化輸出圖像，右圖是其中所帶的基于幀的相機采集的圖像。

下圖是一個DAVIS相機的邏輯電路，其中APS為普通相機部分，DVS為事件相機部分

2.3 ATIS (Asynchronous Time-based Image Sensor)

ATIS在DVS的基礎上巧妙地引入了基于時間間隔的光強測量電路來實現(xiàn)圖像重構

每次 DVS 電路產(chǎn)生事件時，觸發(fā)光強測量電路進行工作；光強測量設定了兩個不同的參考電壓， 通過對光強進行積分，并記錄達到兩個電壓發(fā)放的事件；由于不同光強的條件下，電壓變化相同量所需的時間不同，通過建立光強與時間的映射可以推斷出光強大小，從而輸出光強變化像素處的光強信息，ATIS 引入了一套全局發(fā)放機制，即所有像素可被強制發(fā)放一次脈沖，這樣在 ATIS 初始工作時可獲得一整幅圖像作為背景，然后運動區(qū)域不斷產(chǎn)生脈沖進而不斷的觸發(fā)光強測量電路獲得運動區(qū)域的灰度來更新背景。

以下是一個ATIS相機的輸出:

從上圖左邊和中間部分顯示了在一個時間間隔內(nèi)累積事件和解碼強度測量的圖像。

ATIS相比于DVS的主要優(yōu)勢在于它的分辨率更高(304×240), 動態(tài)范圍更高(143 dB) 有更低的能耗(3)，最重要的是事件能夠觸發(fā)一次全局的HDR輸出。

2.4 幾種事件相機的對比與總結

性能參數(shù)

價格

3 事件相機數(shù)據(jù)處理

3.1 事件數(shù)據(jù)

事件相機生成與基于幀相機完全不同的信號.

事件相機的輸出是基于目標的運動的.

事件相機只知道該像素處的亮度發(fā)生了變化，但不知道亮度有多大

這使得事件相機難以檢測邊緣信息，并且在具有復雜紋理的背景下表現(xiàn)不好

3.2 地址事件表示

事件相機的輸出信號是異步且稀疏的。為了解決傳感器的動態(tài)行為，事件攝像機類型硬件中的一個常見策略是使用地址事件表示（AER）協(xié)議。

每個陣列的元素都被分配了一個地址，對應于它在圖像中的-位置.

每個陣列單元以隨機方式生成一個信號，該信號在模塊間高速異步AER總線上傳輸

所有元素共享相同的物理總線來傳輸它們的信號，并附加上時間信息

AER的示意圖如下:

DVS事件攝像機與標準USB設備一樣，可以通過其VID和PID進行識別，并使用下表中列出的預定義命令與標準PC上運行的應用程序進行通信。

與AER事件包不同的是，通過DVS USB接口傳輸?shù)拿總€事件都增加了一個微秒級別分辨率的時間戳，并編碼在一個4字節(jié)長的數(shù)據(jù)包中，如下圖所示，帶有圖像中的位置、事件的極性和時間戳.

DVS128 相機的最大帶寬是每秒1M個事件.

3.3 事件相機模擬器

事件相機模擬器是通過線性插值和高斯噪聲的方式模擬出事件流來，在此選用的是UZH發(fā)布的ESIM模擬器。

在模擬中的轉換方法概述如下圖所示。首先，我們將從文件夾中的輸入視頻中提取各個幀。其次，運行ESIM，提供圖像文件夾作為模擬事件的輸入。最后，將看使用dvs_render渲染器節(jié)點可視化模擬事件。

審核編輯 ：李倩