把Transformer大模型部署在端側(cè)，IPC SoC正在普惠AI

電子發(fā)燒友網(wǎng)報道（文/黃晶晶）AI大模型襲卷而來，而如何讓終端產(chǎn)品插上AI的翅膀會是芯片廠商研發(fā)的方向和市場的機會。如今網(wǎng)絡(luò)攝像機作為智慧城市、智能家居等應(yīng)用的主流終端發(fā)展迅速，IPC SoC芯片是其核心之一。最近愛芯元智帶來的兩款I(lǐng)PC SoC新品在黑光全彩處理、適配Transformer大模型等方面表現(xiàn)十分亮眼，愛芯元智副總裁史欣也向媒體分享了公司對IPC SoC高清化、智能化發(fā)展的洞察。

兩款I(lǐng)PC SoC：AX630C和AX620Q

愛芯元智帶來的兩款新產(chǎn)品AX630C和AX620Q都搭載了最新的愛芯智眸AI-ISP4.0圖像處理引擎以及愛芯通元4.0高性能、低功耗的NPU引擎。這些技術(shù)的升級使得這兩款產(chǎn)品在視頻圖像效果、智能業(yè)務(wù)處理和分析等方面均達到了業(yè)界的領(lǐng)先水平。

愛芯智眸AI-ISP4.0對HDR、去噪、demosaic、銳化、去霧等算法做了升級，在暗光下的噪聲處理、色彩還原、運動拖影、清晰度等方面較上一代產(chǎn)品更優(yōu)秀，通過AI賦能ISP Pipeline里的關(guān)鍵模塊，在各種復(fù)雜應(yīng)用場景中全面提升成像效果，為后期智能處理提供高質(zhì)量的圖像、視頻素材。

愛芯通元混合精度NPU則通過減少數(shù)據(jù)搬運，在一定程度上減小了內(nèi)存墻和功耗墻的阻礙，提高整個NPU的效率，從而在端側(cè)邊緣側(cè)面積、功耗受限的情況下，以更高的有效算力支持更多的智能算法。

愛芯元智的“真黑光”技術(shù)，則是通過愛芯智眸AI-ISP將畫面真實還原，后續(xù)再通過NPU進行優(yōu)化，進行更加準確的圖像處理，在極低照度下獲得超越人眼所見的黑光全彩效果。

AX630C具有高算力的特征，其CPU采用雙核A53@1.2G，配合3.2T@INT8的NPU以及硬化的CV算子模塊，可以對4K圖像進行實時的智能處理，提高客戶智能算法處理的精度和性能。同時，AX630C新一代的NPU引擎支持主流的Transformer網(wǎng)絡(luò)如ViT/DeiT/Swin/SwinV2/DETR等，可以解決訓(xùn)練數(shù)據(jù)集不足引起的算法精度下降，以及長尾場景下算法的泛化性問題。

據(jù)介紹，AX630C是愛芯元智面向智慧城市行業(yè)前端IPC市場推出的超高清智能SoC，可支持4K@30fps實時真黑光；AX620Q是愛芯元智面向模組與渠道行業(yè)前端IPC市場推出的高清智能SoC，可支持5Mp實時、4K非實時的真黑光。

從細節(jié)上看，為了實現(xiàn)黑光全彩的效果，愛芯智眸AI-ISP4.0集中對四個關(guān)鍵模塊進行了算法升級。史欣分析，傳統(tǒng)ISP由十幾個模塊組成，在算力足夠大的時候若不考慮成本可以用AI模型去增加每一個模塊。而愛芯元智結(jié)合了客戶的痛點需求和成本因素，對pipeline模塊中HDR、3DNR、RLTM、Demosaic等進行了增強，達到了色彩飽和度高、運動圖像無拖尾，以及噪聲、銳化、清晰度等效果的顯著提高。后續(xù)，愛芯元智還將針對防抖、3A等模塊進行優(yōu)化。

這其中的另一個問題是AI的算力消耗，本質(zhì)上來說盡可能將模塊的精確度提高就能更少的消費算力。史欣舉例說，例如做人臉處理是對整個區(qū)域或者部分區(qū)域做降噪，消費的算力不一樣。原來在400萬分辨率的情況下需要1T做整個AI-ISP的處理，現(xiàn)在愛芯元智的第三、四代產(chǎn)品已經(jīng)降到了0.6甚至0.5T，接下來可以做到0.2T就可以完成3DNR降噪的算力消耗，既能降低芯片成本，又可以留出更多的算力讓客戶開發(fā)更多可能。

Transformer在智慧城市中的應(yīng)用

“Transformer應(yīng)用的一個典型場景是對信息特征的檢索，從最早期的后端處理、服務(wù)器處理，算法上云，到目前開始進入算法在邊緣側(cè)的部署等等，但始終沒有解決端側(cè)部署的問題。大的廠商能夠根據(jù)行業(yè)應(yīng)用來適配模型大小，而Transformer興起之后將帶來更多具象化的信息，使得檢索更容易、并縮減檢索的時間?！笔沸勒f道。

愛芯元智能夠幫助客戶把在服務(wù)器、云端訓(xùn)練好的算法在裁剪之后在端側(cè)部署。這里既有部署性包括帶寬、功耗、成本等的考慮，也有精度的要求。愛芯元智通過幾年來在NPU和算法工具鏈的迭代，IPC SoC能夠支持算法的快速部署、保證精度，具備端側(cè)部署的軟硬件條件。



不僅是Transformer大模型，愛芯元智還在適配國內(nèi)的DINOv2大模型，愛芯元智依托硬件NPU、軟件算法等技術(shù)并與合作伙伴共同推出算法部署國產(chǎn)化。

普惠AI

我們看到愛芯元智有一個非常明確的發(fā)展理念，即是普惠AI。AI不應(yīng)只在云端，更應(yīng)該讓消費、智慧城市、汽車等各個行業(yè)受惠。史欣談到，客戶希望能夠從To G或者To大B的業(yè)務(wù)部署向To小B，甚至To C的業(yè)務(wù)上進行部署。即便是家用攝像頭這個普及型消費電子產(chǎn)品，也需要AI-ISP加持，那么更需要像愛芯元智這樣具備軟硬件能力的廠商通過產(chǎn)品技術(shù)、性價比等去擁抱市場。

對于AI芯片的發(fā)展趨勢，史總給出預(yù)判，他認為端側(cè)AI的小型化將越來越多的落地，同時其性能要有前瞻性和較高的性價比。同時產(chǎn)品的易用性加強，芯片廠商的方案交付要更簡單。同時除了自身掌握關(guān)鍵技術(shù)之外，也需要生態(tài)合作伙伴做更豐富的算法和軟件，如此才能加快AI的普惠化，助力智能化產(chǎn)業(yè)升級。