淺談用于攝像頭中的各種神經(jīng)網(wǎng)絡(luò)

汽車、機(jī)場、火車站、馬路、工廠、電子產(chǎn)品...攝像頭可以說隨處可見。汽車上的攝像頭可以幫我們探測路況，建筑內(nèi)的攝像頭可以保護(hù)我們的安全，自動化工廠內(nèi)的攝像頭可以幫助提高貨物的質(zhì)量和吞吐量。無論是哪種應(yīng)用場景，相機(jī)制造商和發(fā)燒友們都在追求更高的圖像分辨率，也就等同于更貴的鏡頭。

人工智能(AI)算法正在為大家提供一種追求更高分辨率的全新方式。AI算法能夠顯著提高拍攝圖像的清晰度和整體質(zhì)量，而且成本更低。這項技術(shù)適用于所有攝像頭，包括普通相機(jī)、單反、汽車、無人機(jī)、監(jiān)控系統(tǒng)，甚至門鈴和ATM機(jī)。

現(xiàn)在幾乎所有電子系統(tǒng)中都會嵌入攝像頭，那么在攝像頭中引入人工智能技術(shù)無疑是個好消息。今天我們將一起探討用于攝像頭中的各種神經(jīng)網(wǎng)絡(luò)，以及攝像頭、鏡頭與神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)之間應(yīng)該如何匹配以達(dá)到最佳效果。

用于圖像處理的神經(jīng)網(wǎng)絡(luò)

隨著數(shù)字成像技術(shù)的出現(xiàn)，比特和字節(jié)取代了膠片，像素數(shù)成為衡量圖像質(zhì)量的指標(biāo)。圖像中的微小色點越多，圖像分辨率就越高。在傳統(tǒng)相機(jī)上，鏡頭將光聚焦到膠片上，從而形成圖像。而在數(shù)碼相機(jī)中，則由圖像傳感器將光轉(zhuǎn)換為電荷，其中圖像傳感器通常為互補(bǔ)金屬氧化物半導(dǎo)體(CMOS)或電荷耦合器件(CCD)。

CMOS圖像傳感器通常用在智能手機(jī)中，它由彩色濾光片層提供顏色，同時由光電二極管將光轉(zhuǎn)換為電信號，最終形成數(shù)字圖像。在人工視覺和圖像識別等部分應(yīng)用中，CMOS傳感器與片上圖像處理電路配合使用來生成視覺圖像。而CCD圖像傳感器多見于機(jī)器視覺系統(tǒng)中。CCD是集成電路上的晶體管光傳感器，它負(fù)責(zé)整合接收到的光，并將電子轉(zhuǎn)換為電信號，然后由相機(jī)最終以視頻或靜態(tài)圖像格式輸出。

維也納工業(yè)大學(xué)(TU Wien)研發(fā)了一款內(nèi)置神經(jīng)網(wǎng)絡(luò)的超高速圖像傳感器，在經(jīng)過訓(xùn)練后，該傳感器可在幾納秒時間內(nèi)識別某些對象。研發(fā)人員指出，該芯片無需電腦來讀取和處理任何圖像數(shù)據(jù)，因而在科研或其他專業(yè)領(lǐng)域中具有很大的應(yīng)用潛力。目前，神經(jīng)網(wǎng)絡(luò)通常在嵌入式視覺處理器或神經(jīng)處理單元(NPU)上運行，用來改進(jìn)圖像質(zhì)量、面部識別等各種功能。

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)用于多種不同的應(yīng)用：智能揚聲器的語音識別、移動設(shè)備的面部識別、自動駕駛汽車的行人檢測等等。它們的價值在于能夠靈敏地識別數(shù)據(jù)集內(nèi)的模式，而且常常優(yōu)于人工方式。有多種不同類型的神經(jīng)網(wǎng)絡(luò)適用于攝像頭應(yīng)用，借助這些神經(jīng)網(wǎng)絡(luò)，可讓模糊圖像變得清晰，提供更鮮明的色彩，以及消除圖像黑邊。

此外，它還有一個非常先進(jìn)的功能，即可以針對人們感興趣區(qū)域進(jìn)行分隔和自動計算，執(zhí)行特定的任務(wù)，比如，在監(jiān)控系統(tǒng)中，神經(jīng)網(wǎng)絡(luò)能夠生成特征圖，突出顯示圖像的最相關(guān)部分，以及提供人臉的清晰顯示;神經(jīng)網(wǎng)絡(luò)還可以在街景圖像中對行人進(jìn)行計數(shù)，而不會對天空圖像執(zhí)行這一操作。通過僅處理圖像中用戶感興趣的區(qū)域，這些算法可以幫助減少所需的內(nèi)存和計算資源數(shù)量，這也是邊緣應(yīng)用的一項重要考慮因素。

適用于視覺應(yīng)用的幾種主要神經(jīng)網(wǎng)絡(luò)包括：

卷積神經(jīng)網(wǎng)絡(luò)(CNN)：作為最流行的圖像處理算法之一，CNN可以提供高精度的對象分類，其用于學(xué)習(xí)的數(shù)據(jù)集相對較小

循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)：RNN能夠從數(shù)據(jù)序列學(xué)習(xí)非常復(fù)雜的關(guān)系，以此為序列建模，同時可在圖像處理中用于圖像分類

Transformer：Transformer最初用于語音和自然語言處理，能夠通過自注意力機(jī)制，提供出色的視覺結(jié)果;與CNN相比，它能夠更詳盡地提取圖像特征;但是，它們訓(xùn)練所需的數(shù)據(jù)集要大得多(通常在云端)

對于攝像頭應(yīng)用而言，每種神經(jīng)網(wǎng)絡(luò)都各有優(yōu)劣。過去幾年的實踐表明，CNN是最適合大規(guī)模應(yīng)用的神經(jīng)網(wǎng)絡(luò)，特別是在邊緣應(yīng)用中。目前，結(jié)合使用CNN和Transformer神經(jīng)網(wǎng)絡(luò)來處理感興趣區(qū)域的方案可以獲取更準(zhǔn)確的結(jié)果。

在追求質(zhì)量的同時

平衡成本和功耗

決定使用哪種類型的神經(jīng)網(wǎng)絡(luò)，并選擇攝像頭鏡頭，是一個非常復(fù)雜的命題，需要在功耗和成本方面進(jìn)行一些權(quán)衡。

鏡頭價格越貴，提供的分辨率就越高。如今智能手機(jī)可以提供超過100MP+的分辯率，從而為機(jī)器視覺系統(tǒng)提供更高的精度，使其能夠在更遠(yuǎn)距離之外看到更多物體。人工智能也能夠在這個領(lǐng)域發(fā)揮作用。開發(fā)者無需采用成本高昂的100MP+分辯率鏡頭，而是可以選擇成本更低、分辨率更低的鏡頭，再結(jié)合使用神經(jīng)網(wǎng)絡(luò)來提升圖像，從而提高圖像清晰度。

在決定使用哪種神經(jīng)網(wǎng)絡(luò)和鏡頭時，可以先參考下以下幾個比較關(guān)鍵的問題：

對視覺靈敏度的要求有多高?

想要通過哪些方面的提升來放大圖像或者提高圖像的質(zhì)量?

對于最終應(yīng)用來說，低功耗是關(guān)鍵標(biāo)準(zhǔn)嗎?

通常，通過試驗和試錯，以及建模和模擬，開發(fā)者們可以選擇出最適合最終應(yīng)用的神經(jīng)網(wǎng)絡(luò)和鏡頭。

要對神經(jīng)網(wǎng)絡(luò)進(jìn)行功耗估算，首先要了解相關(guān)硬件的性能表現(xiàn)。在這方面，開發(fā)者們可以使用建模，不過要注意，建模必須盡可能接近于最終產(chǎn)品，這一點非常重要。有些開發(fā)者會運用大量的定制和行業(yè)標(biāo)準(zhǔn)算法來了解特定硬件的一系列不同功耗值。

為了更好地了解系統(tǒng)性能，原型和仿真技術(shù)能夠為建模工作提供支持。比如，新思科技的ZeBu仿真系統(tǒng)就可以為運行神經(jīng)網(wǎng)絡(luò)的SoC系統(tǒng)的功耗進(jìn)行精確建模。

神經(jīng)網(wǎng)絡(luò)的復(fù)雜度不斷提高，這些系統(tǒng)的輸入數(shù)據(jù)量也在不斷增加(例如像素數(shù)和色彩分辨率)。為了滿足對更高帶寬、高效數(shù)據(jù)傳輸、大型計算和內(nèi)存陣列的需求，新思科技憑借在人工智能開發(fā)領(lǐng)域的深厚知識，提供了一系列的底層技術(shù)產(chǎn)品組合：

高帶寬傳感器接口，如MIPI IP，以及MIPI的驗證IP

ARCEV嵌入式視覺處理器，完全可編程，有可配置的內(nèi)核，成本和功耗適合嵌入式人工智能應(yīng)用，帶有可選的高性能深度神經(jīng)網(wǎng)絡(luò)(DNN)加速器，適用于CNN和RNN

ARCNPX NPU IP，業(yè)界最領(lǐng)先的NPU IP，計算能力達(dá)到3,500 TOPS，支持高度復(fù)雜的最新神經(jīng)網(wǎng)絡(luò)模型，滿足人工智能應(yīng)用的實時計算和超低功耗要求。

DSO.ai，用于芯片開發(fā)的自主人工智能應(yīng)用程序，可在巨大的求解空間內(nèi)，為復(fù)雜SoC搜索最優(yōu)目標(biāo)，包括那些用于工智能應(yīng)用的SoC。

從能夠拍攝精美人像照片的智能手機(jī)，到能夠密切監(jiān)控路況的汽車，再到視覺敏銳的監(jiān)控系統(tǒng)，以及支持高效生產(chǎn)的自動化工廠，越來越多的應(yīng)用都要使用攝像頭。攝像頭應(yīng)用也在更多地利用人工智能算法來提高圖像質(zhì)量。各種神經(jīng)網(wǎng)絡(luò)相繼問世，以滿足各種嵌入式視覺需求，它們能夠達(dá)到以前只有高成本鏡頭才能提供的高圖像分辨率。除此之外，開發(fā)者們需要在神經(jīng)網(wǎng)絡(luò)類型、攝像頭鏡頭、傳感器、內(nèi)存接口、高效處理器和其他底層技術(shù)之間取得平衡。

人們越來越離不開高分辨率的圖像識別，而開發(fā)者們也在一直為此而努力。通過神經(jīng)網(wǎng)絡(luò)與硬件之間的優(yōu)化組合，用戶最終能夠拍攝的照片會更精美，汽車和建筑可以更安全，自動化工廠內(nèi)的貨物也能更高質(zhì)量地高效生產(chǎn)。

審核編輯：湯梓紅