Prophesee為AIoT應用重塑 DVS 攝像頭

Prophesee基于事件的攝像頭適用于始終在線的物聯網設備。

動態(tài)視覺傳感器 (DVS) 公司 Prophesee 已將其基于事件的攝像頭調整為適合始終在線的 AIoT(物聯網人工智能)設備的外形尺寸。與該公司的 100 萬像素第四代傳感器相比，第五代 GenX320 將其分辨率降低到 320 x 320 像素，芯片尺寸減小到 13mm2，現在包括標準數據格式，便于下游處理和超低功耗模式的層次結構，可用于喚醒系統(tǒng)的其他部分，Prophesee首席執(zhí)行官Luca Verre告訴EE Times。

“[基于事件的傳感器]技術現在正在消費領域開辟一個機會，一個更大的生態(tài)系統(tǒng)正在意識到這項技術并有興趣采用它，”Verre說。“但三年前，我們發(fā)現了不一定適合我們的第四代傳感器的其他機會。這就是我們開發(fā)第五代產品的原因，適用于出于成本、功耗和集成原因需要非常小的傳感器設備的應用。

DVS傳感器等基于事件的傳感器基于人類視網膜的生物學特性：它們只輸出像素亮度的變化，而不是完整的圖像幀。這會以低延遲生成低帶寬數據，但其中包含有關場景的足夠信息。處理這種低帶寬數據所需的計算量較小，這意味著可以節(jié)省功耗。該技術對弱光條件也具有很強的適應能力。

Stanley Electric 的 IR LED 和 VCSEL 如何為高性能駕駛員監(jiān)控系統(tǒng)做出貢獻

Prophesee 與索尼合作設計的上一代傳感器于 2021 年底開始量產。這款高清傳感器是一款 BSI(背照式)3D 堆疊芯片，體積小到足以首次針對消費電子產品。

Prophesee一直在與高通公司合作，展示這款采用驍龍移動處理器的傳感器。Verre表示，至少有兩家OEM廠商正在為2025年發(fā)布智能手機，其中包括Snapdragon和Prophesee的組合。這里的用例是融合全畫幅和事件數據，以提高智能手機相機的圖像質量。使用 Prophesee 傳感器檢測照片中的運動，然后使用 Prophesee 的計算攝影算法進行校正，可以減少運動模糊。

GenX320 具有更低的分辨率、更低的功耗和更小的尺寸，將針對 AR/VR 頭戴式設備、安全和監(jiān)控/檢測系統(tǒng)、非接觸式顯示器、眼動追蹤和其他始終在線的物聯網設備。然而，雖然該傳感器仍采用BIS 3D堆疊設計，但并非與索尼合作開發(fā)，而是將在不同的代工廠制造。

“我們與索尼的關系非常好：我們共同開發(fā)了第四代傳感器，我們還與索尼達成了商業(yè)協議，共同進入市場，”Verre說。“因此，這種合作關系正在進行中，但第五代傳感器由Prophesee設計，由我們的代工合作伙伴制造，并由我們銷售。[第四代和第五代]傳感器在市場定位方面完全不同，針對非常不同的用例，傳感器分辨率不同，因此它們是互補的。沒有重疊，這使得我們與索尼的上市戰(zhàn)略非常簡單。

接口和電源模式

Prophesee聯合創(chuàng)始人兼首席技術官Christoph Posch告訴EE Times，GenX320有幾個關鍵的新功能與邊緣人工智能和物聯網應用有關。

他說：“我們(以前)有一種非常規(guī)的數據格式，沒有人真正知道該如何處理——對事件中的動態(tài)視覺信息進行編碼，沒有人理解。“我們的數據速率是非恒定的，沒有標準的數據格式或接口。我們意識到所有這些事情都減緩了這項技術的采用。這就是為什么我們認為，'我們需要設計一種更實用的傳感器，可以集成到邊緣AI視覺系統(tǒng)中，并幫助潛在客戶真正使用該系統(tǒng)'。

Prophesee 的 GenX30 芯片，傳感器芯片在頂部，處理器在底部。ESP是指數字事件信號處理流水線。

GenX320 包括片上預處理功能，可根據需要將數據重新格式化為行業(yè)標準格式，并提供三種接口選擇：

高帶寬MIPI接口與應用處理器連接，并使用完整的數字流水線在流式傳輸之前對數據進行預處理和過濾。

CPI 接口 (DCMI) 與低延遲應用中的微控制器連接。數據可以聚合成 2D 直方圖，以便進行 AI 處理。

Prophesee現有的AER(地址-事件表示)接口完全繞過了數字預處理管道，用于神經形態(tài)和脈沖神經網絡加速器。

GenX320 還包括低功耗模式的層次結構。最低功耗模式用于始終開啟的活動檢測，功耗約為 36 μW。完全有源模式在CPI接口上的功耗約為3.5 mW，在MIPI接口下功耗約為20 mW。

Posch說：“我們可以向上爬到功率模式，實現更高的分辨率和更智能的檢測，最高模式，在該模式下，所有事件數據的輸出接口都完全流向應用處理器?！霸赱最高和最低功耗模式]之間，我們可以在這些功率模式之間循環(huán)，這取決于場景中發(fā)生的情況。

這些模式使用一種稱為全局對比度檢測器 (GCD) 的新功能，該功能可檢測移動、進入或離開視野的物體。像素陣列被細分為多個區(qū)域，這些區(qū)域可以小至 4 x 4 像素。Prophesee 使用陣列中每個區(qū)域中光電二極管的光電流總和(以硬件計算)來檢測該區(qū)域中的活動。對于最低功耗模式，有九個檢測區(qū)域;其效果就好像在總共 100,000 個像素中只有 9 個被打開，因此可以節(jié)省大量電量。

RISC-V CPU 還可用于對靈活的感興趣區(qū)域進行編程，最多可同時對 12 個感興趣區(qū)域進行編程。

全局對比度檢測 (GCD) 是一項新功能，可將陣列分解為多個區(qū)域以節(jié)省功耗。這些區(qū)域中的活動檢測可用于喚醒系統(tǒng)的其他部分。

商業(yè)牽引力

GenX320 傳感器已經掌握在 20 多個主要客戶手中進行原型設計。

Zinn Labs 使用 GenX360 開發(fā)了一種用于 AR/VR 眼鏡的基于事件的眼動儀，它產生的數據比全畫幅相機少 100×。這意味著眼動追蹤可以在1 kHz或更高的頻率下完成，比全畫幅相機設置快10×?？焖傺蹌幼粉櫟膽弥皇亲⒁朁c渲染：我們的眼睛不會同時聚焦整個場景，因此，如果我們知道眼睛在看哪里，有選擇地渲染我們正在看的部分可以節(jié)省計算量。Verre表示，Zinn Labs正在與客戶合作，明年開始大規(guī)模生產Prophesee GenX320傳感器。

英國初創(chuàng)公司 Ultraleap 一直在將 GenX320 用于用于非接觸式人機界面的手部跟蹤系統(tǒng)。Verre說，照明條件對于這種應用來說可能具有挑戰(zhàn)性，但Prophesee傳感器具有高動態(tài)范圍(高于120 dB)。

消費電子公司Xperi已經擁有使用Prophesee上一代傳感器的駕駛員監(jiān)控系統(tǒng)，現在它正在考慮將GenX360用于智能設備和家用電器。臺灣原始設備制造商 YunX 計劃明年推出一款保護隱私的 GenX320 跌倒檢測系統(tǒng)。

Verre表示，Prophesee將在未來幾周內展示GenX320和用于邊緣AI的STM32微控制器，隨后將推出更多具有不同類型處理器的參考設計。GenX320的產量將在明年上半年增加。

審核編輯：彭菁