推動邊緣視覺計算, NPU IP is all you need?

從可視門鈴到現(xiàn)代汽車，依賴攝像頭的應(yīng)用種類不斷增加。對于許多這類系統(tǒng)而言，實時獲得高分辨率圖像正是保障系統(tǒng)有效運行的關(guān)鍵。畢竟，如果門鈴無法清晰地識別偷走門口快遞的小偷，或者汽車無法準(zhǔn)確檢測道路障礙物，它們的價值將大大降低。如今，深度學(xué)習(xí)模型已被越來越多的開發(fā)者用來增強(qiáng)這些產(chǎn)品所需的視覺處理能力。

視覺處理應(yīng)用逐漸開始利用人工智能（AI）來提高圖像質(zhì)量或?qū)崿F(xiàn)物體檢測等高級AI功能。原本，計算機(jī)視覺應(yīng)用僅依靠高級數(shù)字信號來處理操作（DSP），現(xiàn)如今已經(jīng)開始將DSP和AI結(jié)合起來運用。目前，神經(jīng)處理器IP解決方案也已問世，它具有超低功耗和超小尺寸，支持包括Transformer在內(nèi)的最新AI神經(jīng)網(wǎng)絡(luò)，每秒可執(zhí)行高達(dá)2萬億次運算（TOPS）。本文將進(jìn)一步討論新思科技具有1,024個MAC的ARC NPX6-1K NPU處理器IP如何幫助開發(fā)者在芯片設(shè)計中引入更多的智能功能。

AI Transformer + 神經(jīng)網(wǎng)絡(luò) = 令人驚嘆的視覺處理

各類產(chǎn)品對人工智能的需求與日俱增，在計算成像領(lǐng)域尤為明顯。智能手機(jī)已經(jīng)普遍集成了攝像頭，且能夠提供高質(zhì)量的圖像，這也為將攝像頭集成到從門鈴到醫(yī)療設(shè)備等各種產(chǎn)品鋪平了道路。計算成像有兩個分支：

• 計算攝影，涉及使用數(shù)字計算來捕獲和處理圖像。
  

• 計算機(jī)視覺，涉及打造能像人類一樣處理、分析和理解視覺數(shù)據(jù)的數(shù)字系統(tǒng)

事實證明，AI驅(qū)動的計算機(jī)視覺技術(shù)是實時提供準(zhǔn)確、高分辨率圖像的關(guān)鍵技術(shù)。過去，卷積神經(jīng)網(wǎng)絡(luò)（CNN）是計算機(jī)視覺應(yīng)用領(lǐng)域的主流算法。神經(jīng)網(wǎng)絡(luò)一直普遍用于物體檢測，如今在圖像質(zhì)量改進(jìn)方面發(fā)揮著重要作用，接管多項曾經(jīng)由數(shù)字信號處理器完成的任務(wù)。例如，神經(jīng)網(wǎng)絡(luò)可以嵌入關(guān)于什么是優(yōu)質(zhì)圖像的知識，通過超分辨率網(wǎng)絡(luò)將視頻流分辨率提高4倍，并可用于減少噪點和提高弱光性能。AI驅(qū)動的計算機(jī)視覺技術(shù)還擁有包括模糊降低、高動態(tài)范圍和寬動態(tài)范圍等功能。

如今，最高精度的方案是Transformer。該AI模型最初用于自然語言處理，比如翻譯和問答。Transformer基于自注意力機(jī)制，相比CNN，它更擅長學(xué)習(xí)復(fù)雜的模式，實現(xiàn)準(zhǔn)確的物體檢測，也能更好地理解情境。如果結(jié)合使用這兩種深度學(xué)習(xí)模型，可以顯著增強(qiáng)計算機(jī)視覺和圖像處理精度。

將AI驅(qū)動的視覺處理集成到更廣泛的應(yīng)用中

全新ARC NPX6-1K NPU IP具有1,024個MAC，為開發(fā)者提供了一個很好的入口點，讓開發(fā)者能夠為功耗和面積受限的視覺處理設(shè)計添加最新神經(jīng)網(wǎng)絡(luò)（特別是Transformer）的支持。該IP還提供了另一個版本，即ARC NPX-1KFS NPU IP，其中提供了先進(jìn)的硬件安全功能，有助于汽車設(shè)計更快通過ISO 26262認(rèn)證。NPX6-1K和1KFS處理器能夠與新思科技ARC VPX2 DSP處理器IP緊密集成，從而為DSP 和神經(jīng)網(wǎng)絡(luò)Transformer 提供市場上最節(jié)省面積和功耗的AI+DSP 解決方案。NPX6和VPX解決方案組合可以向上擴(kuò)展，并且可以混合和匹配使用不同的配置，從而支持大型DSP+小型AI，或是大型AI+小型DSP等。

具有1,024個MAC的神經(jīng)網(wǎng)絡(luò)處理器支持多種用例。以下是其中一些示例：

• 在攝像頭應(yīng)用中，在圖像信號處理器（ISP）之前處理原始數(shù)據(jù)，以實現(xiàn)更好的降噪，從而提高圖像質(zhì)量，而不是使用ISP處理原始數(shù)據(jù)，然后在后期處理過程中應(yīng)用AI
  

• 通過運行神經(jīng)網(wǎng)絡(luò)算法，可以將顯示的圖像精度提高4倍，同時大幅降低功耗和面積

• 在視覺應(yīng)用中直接處理來自圖像傳感器的流數(shù)據(jù)，從而大幅減少無DRAM架構(gòu)的面積和功耗

• 使用成本較低的攝像頭鏡頭，然后借助神經(jīng)網(wǎng)絡(luò)算法來提高圖像質(zhì)量，或在汽車應(yīng)用中，提高諸如物體檢測等功能的準(zhǔn)確性

• 將AI集成到汽車?yán)走_(dá)和激光雷達(dá)設(shè)計中，以支持物體檢測和自動剎車等應(yīng)用

• 為汽車環(huán)境中使用的虛擬機(jī)提供支持，幫助分隔安全關(guān)鍵型和非安全關(guān)鍵型任務(wù)，并簡化認(rèn)證要求

除上述用例外，還有許多其他使用場景，ARC NPX6-1K等處理器的出現(xiàn)開辟了將AI集成到眾多新應(yīng)用中的可能性。

屢獲殊榮的可擴(kuò)展NPU IP

隨著新成員的加入，ARC NPX NPU IP系列現(xiàn)已從1K擴(kuò)展到96K MAC，并能夠在單個SoC上提供高達(dá)3,500 TOPS的性能。新思科技ARC MetaWare MX開發(fā)工具包提供一站式工具鏈，可加速IP的應(yīng)用開發(fā)，并自動為算法分配MAC資源，以實現(xiàn)高效處理。今年早春的2023年邊緣人工智能與視覺產(chǎn)品年度大獎中，此IP榮獲由邊緣人工智能與視覺聯(lián)盟頒發(fā)的“最佳邊緣人工智能處理器”獎項。