如何克服邊緣視覺的帶寬限制？

在追求更高像素、幀率和空間分辨率的視覺行業(yè)，邊緣視覺與圖像采集面臨巨大挑戰(zhàn)。其中，1GigE相機輸出已不足，傳輸問題有待解決。與此同時，圖像傳感器的快速發(fā)展也使接口帶寬成為瓶頸。

虹科提出創(chuàng)新解決方案，通過圖像采集卡實現(xiàn)壓縮和預處理，滿足高帶寬、低延遲需求。開放的FPGA支持快速算法開發(fā)。虹科-Gidel FantoVision 40小型計算機是我們的杰作。這款產品連接多相機實現(xiàn)高效圖像采集和處理，將打開視覺應用新篇章。

01

邊緣視覺與圖像采集挑戰(zhàn)

邊緣視覺是指將相機連接到邊緣計算機或嵌入式計算機，并在云端進行處理或存儲。此外，它也在一些機器控制方面發(fā)揮著重要作用。我們收到了客戶的反饋，對于1GigE相機的輸出已經不足以滿足需求，因此只能將其連接到PLC。為了解決這一問題，我們需要相機的第二個1 GigE的輸出通道，以便能夠將圖像數(shù)據傳輸?shù)皆品掌鳌?/p>

圖1 邊緣視覺的過程

機器視覺行業(yè)開始不斷追求更多像素、更高幀率以及更高的空間和時間分辨率。正如圖中所示，你能看到許多圖像傳感器（棕色點）。它們通過連接線連接到典型的接口，藍線代表PCIe 3.0，紅線代表CoaXPress v2 x4。然而，當圖像傳感器的帶寬超過某條線時，接口的帶寬已經不足以傳輸數(shù)據。

圖2 不同圖像傳感器的參數(shù)對比

事實上，許多圖像傳感器的帶寬比10GigE和CoaXPressv1更快，甚至比100GigE接口還要快。這表明圖像傳感器取得了巨大進步，能夠提供高幀率、高像素和快速傳輸。盡管我們在接口方面也取得了一些進步，帶寬速度不斷提高，但仍面臨挑戰(zhàn)，特別是要與傳感器的發(fā)展速度匹配，以及解決GPU和CPU性能不足的問題。

在面對高分辨率高速傳感器的解決方案時，我們同時面臨著多個瓶頸，例如攝像頭接口、GPU和CPU橋接接口，以及CPU的負載和處理能力。實際上，計算機上送云端的帶寬最好情況下也只有1G。

而如果有多個攝像頭，情況會變得更復雜。想象一下有多個10GigE、CoaXPress或100 GigE相機，以100 GigE相機為例，速度每秒96千兆比特乘以攝像機的數(shù)量。然而，大多數(shù)情況下，電腦最大帶寬接口PCIe 3.0只有48千兆比特每秒，這成為了一個關鍵的瓶頸。

02

解決方案

為了解決這些問題，我們提出了一種解決方案，即在多攝像頭和CPU架構之間放置圖像采集卡，從而實現(xiàn)壓縮和預處理。圖像采集設備能夠提取感興趣區(qū)域（ROI），進而減少總數(shù)據帶寬。因此，我們需要滿足實際應用的需求，包括高帶寬相機接口、多相機接口、超高精度同步和可定制的IOs用于控制外圍設備。在處理過程中，還需要低延遲、大DRAM以支持計算復雜的算法，因此需要多個千兆比特每秒的內存訪問帶寬。實時壓縮和ROI選擇是解決這些問題的有效方法。

圖3 圖像采集卡的作用

圖4 圖像采集卡的作用

考慮到開發(fā)人員的需求，便捷的開發(fā)也是一個關鍵因素。我們采用了開放的FPGA，使得軟件工程師可以在圖像采集卡上放置特定的IP，并利用FPGA集成開發(fā)環(huán)境快速實現(xiàn)算法和方案開發(fā)。這要求圖像采集卡在靈活性和易用性方面也要表現(xiàn)出色。

最后，關于系統(tǒng)集成，我們考慮到若有PCI 3.0 x8或x16接口能夠獲得最大性能，并且具備小尺寸和被動冷卻性能，我們未來或許可以考慮將圖像采集卡和計算機合二為一。

03

虹科產品與解決方案

基于上文的發(fā)展背景，虹科推出了一款名為虹科-Gidel FantoVision 40的開創(chuàng)性小型計算機。這款計算機可以連接高達4臺10GigE Vision或4臺CoaXPress 2.0相機，從而實現(xiàn)圖像采集和處理。該計算機的創(chuàng)新架構將高端圖像采集與實時圖像處理和/或壓縮相結合，采用了Nvidia JetsonTM嵌入式計算機，并在Intel Arria 10TM FPGA上進行可選的預處理/壓縮。

圖5 HK-Gidel FantoVision 40產品

此外，虹科-Gidel FantoVision還有一個顯著特點，即其開放式體系結構支持GPU和FPGA上的嵌入式AI/圖像處理。軟件工程師可以利用CUDA C/C++和NVIDIA的庫在GPU上編寫他們的算法。此外，使用新穎的ProcVision套件，在FPGA上開發(fā)和部署可選的預處理塊既簡單又快速。

通過多個虹科-Gidel FantoVision單元的相互連接，我們可以提供獨特且可擴展的拓撲結構。利用InfiniVision開放式框架抓取器流程，我們可以處理多達100個傳感器的同步數(shù)據。

綜上所述，虹科-Gidel FantoVision為高帶寬、低延遲應用提供了一種新型緊湊、經濟高效、可擴展的視覺和成像解決方案。例如，在交通監(jiān)測和面板檢測等應用中，它能夠提取和識別高分辨能夠提取和識別高分辨率圖像中的關鍵信息，如車牌號碼等。這些信息可以通過云端或其他設備進行傳輸，而不需要過多的帶寬。

圖6 應用案例