從可視門鈴到現(xiàn)代汽車,依賴攝像頭的應(yīng)用種類不斷增加。對于許多這類系統(tǒng)而言,實時獲得高分辨率圖像正是保障系統(tǒng)有效運行的關(guān)鍵。畢竟,如果門鈴無法清晰地識別偷走門口快遞的小偷,或者汽車無法準(zhǔn)確檢測道路障礙物,它們的價值將大大降低。如今,深度學(xué)習(xí)模型已被越來越多的開發(fā)者用來增強(qiáng)這些產(chǎn)品所需的視覺處理能力。
視覺處理應(yīng)用逐漸開始利用人工智能(AI)來提高圖像質(zhì)量或?qū)崿F(xiàn)物體檢測等高級AI功能。原本,計算機(jī)視覺應(yīng)用僅依靠高級數(shù)字信號來處理操作(DSP),現(xiàn)如今已經(jīng)開始將DSP和AI結(jié)合起來運用。目前,神經(jīng)處理器IP解決方案也已問世,它具有超低功耗和超小尺寸,支持包括Transformer在內(nèi)的最新AI神經(jīng)網(wǎng)絡(luò),每秒可執(zhí)行高達(dá)2萬億次運算(TOPS)。本文將進(jìn)一步討論新思科技具有1,024個MAC的ARC NPX6-1K NPU處理器IP如何幫助開發(fā)者在芯片設(shè)計中引入更多的智能功能。
AI Transformer + 神經(jīng)網(wǎng)絡(luò) = 令人驚嘆的視覺處理
各類產(chǎn)品對人工智能的需求與日俱增,在計算成像領(lǐng)域尤為明顯。智能手機(jī)已經(jīng)普遍集成了攝像頭,且能夠提供高質(zhì)量的圖像,這也為將攝像頭集成到從門鈴到醫(yī)療設(shè)備等各種產(chǎn)品鋪平了道路。計算成像有兩個分支:
計算攝影,涉及使用數(shù)字計算來捕獲和處理圖像。
計算機(jī)視覺,涉及打造能像人類一樣處理、分析和理解視覺數(shù)據(jù)的數(shù)字系統(tǒng)
事實證明,AI驅(qū)動的計算機(jī)視覺技術(shù)是實時提供準(zhǔn)確、高分辨率圖像的關(guān)鍵技術(shù)。過去,卷積神經(jīng)網(wǎng)絡(luò)(CNN)是計算機(jī)視覺應(yīng)用領(lǐng)域的主流算法。神經(jīng)網(wǎng)絡(luò)一直普遍用于物體檢測,如今在圖像質(zhì)量改進(jìn)方面發(fā)揮著重要作用,接管多項曾經(jīng)由數(shù)字信號處理器完成的任務(wù)。例如,神經(jīng)網(wǎng)絡(luò)可以嵌入關(guān)于什么是優(yōu)質(zhì)圖像的知識,通過超分辨率網(wǎng)絡(luò)將視頻流分辨率提高4倍,并可用于減少噪點和提高弱光性能。AI驅(qū)動的計算機(jī)視覺技術(shù)還擁有包括模糊降低、高動態(tài)范圍和寬動態(tài)范圍等功能。
如今,最高精度的方案是Transformer。該AI模型最初用于自然語言處理,比如翻譯和問答。Transformer基于自注意力機(jī)制,相比CNN,它更擅長學(xué)習(xí)復(fù)雜的模式,實現(xiàn)準(zhǔn)確的物體檢測,也能更好地理解情境。如果結(jié)合使用這兩種深度學(xué)習(xí)模型,可以顯著增強(qiáng)計算機(jī)視覺和圖像處理精度。
將AI驅(qū)動的視覺處理集成到更廣泛的應(yīng)用中
全新ARC NPX6-1K NPU IP具有1,024個MAC,為開發(fā)者提供了一個很好的入口點,讓開發(fā)者能夠為功耗和面積受限的視覺處理設(shè)計添加最新神經(jīng)網(wǎng)絡(luò)(特別是Transformer)的支持。該IP還提供了另一個版本,即ARC NPX-1KFS NPU IP,其中提供了先進(jìn)的硬件安全功能,有助于汽車設(shè)計更快通過ISO 26262認(rèn)證。NPX6-1K和1KFS處理器能夠與新思科技ARC VPX2 DSP處理器IP緊密集成,從而為DSP 和神經(jīng)網(wǎng)絡(luò)Transformer 提供市場上最節(jié)省面積和功耗的AI+DSP 解決方案。NPX6和VPX解決方案組合可以向上擴(kuò)展,并且可以混合和匹配使用不同的配置,從而支持大型DSP+小型AI,或是大型AI+小型DSP等。
具有1,024個MAC的神經(jīng)網(wǎng)絡(luò)處理器支持多種用例。以下是其中一些示例:
在攝像頭應(yīng)用中,在圖像信號處理器(ISP)之前處理原始數(shù)據(jù),以實現(xiàn)更好的降噪,從而提高圖像質(zhì)量,而不是使用ISP處理原始數(shù)據(jù),然后在后期處理過程中應(yīng)用AI
通過運行神經(jīng)網(wǎng)絡(luò)算法,可以將顯示的圖像精度提高4倍,同時大幅降低功耗和面積
在視覺應(yīng)用中直接處理來自圖像傳感器的流數(shù)據(jù),從而大幅減少無DRAM架構(gòu)的面積和功耗
使用成本較低的攝像頭鏡頭,然后借助神經(jīng)網(wǎng)絡(luò)算法來提高圖像質(zhì)量,或在汽車應(yīng)用中,提高諸如物體檢測等功能的準(zhǔn)確性
將AI集成到汽車?yán)走_(dá)和激光雷達(dá)設(shè)計中,以支持物體檢測和自動剎車等應(yīng)用
為汽車環(huán)境中使用的虛擬機(jī)提供支持,幫助分隔安全關(guān)鍵型和非安全關(guān)鍵型任務(wù),并簡化認(rèn)證要求
除上述用例外,還有許多其他使用場景,ARC NPX6-1K等處理器的出現(xiàn)開辟了將AI集成到眾多新應(yīng)用中的可能性。
屢獲殊榮的可擴(kuò)展NPU IP
隨著新成員的加入,ARC NPX NPU IP系列現(xiàn)已從1K擴(kuò)展到96K MAC,并能夠在單個SoC上提供高達(dá)3,500 TOPS的性能。新思科技ARC MetaWare MX開發(fā)工具包提供一站式工具鏈,可加速IP的應(yīng)用開發(fā),并自動為算法分配MAC資源,以實現(xiàn)高效處理。今年早春的2023年邊緣人工智能與視覺產(chǎn)品年度大獎中,此IP榮獲由邊緣人工智能與視覺聯(lián)盟頒發(fā)的“最佳邊緣人工智能處理器”獎項。
原文標(biāo)題:推動邊緣視覺計算, NPU IP is all you need?
文章出處:【微信公眾號:新思科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
-
新思科技
+關(guān)注
關(guān)注
5文章
778瀏覽量
50273
原文標(biāo)題:推動邊緣視覺計算, NPU IP is all you need?
文章出處:【微信號:Synopsys_CN,微信公眾號:新思科技】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論