愛芯智眸AI-ISP架構(gòu)打破傳統(tǒng)ISP成像的‘天花板’

2023年7月19-21日，第五屆世界半導(dǎo)體大會(huì)暨南京國際半導(dǎo)體博覽會(huì)順利舉行。19日下午，“2023年長三角集成電路產(chǎn)業(yè)創(chuàng)新發(fā)展論壇”在大會(huì)同期平行舉辦，愛芯元智高級(jí)總監(jiān)張興出席論壇，并發(fā)表了《AI-ISP和端側(cè)AI的發(fā)展》的主題演講。

本屆大會(huì)由江蘇省工業(yè)和信息化廳、南京江北新區(qū)管理委員會(huì)聯(lián)合主辦，以“芯紐帶，新未來”為主題，旨在向全球業(yè)界呈現(xiàn)一場集行業(yè)交流、渠道聯(lián)動(dòng)、資源聚合為一體的產(chǎn)業(yè)頂尖盛會(huì)。

在長三角集成電路產(chǎn)業(yè)創(chuàng)新發(fā)展論壇上，張興就愛芯智眸AI-ISP的架構(gòu)創(chuàng)新展開了介紹：“目前，愛芯智眸AI-ISP是通過AI賦能ISP Pipeline里最關(guān)鍵的四個(gè)模塊——HDR、3DNR、RLTM和Demosaic，即通過AI訓(xùn)練的方式不斷提升這四大模塊的性能，打破傳統(tǒng)ISP成像的‘天花板’。”

在實(shí)際應(yīng)用中，愛芯智眸AI-ISP通過迭代軟件模型即可提升性能，快速實(shí)現(xiàn)芯片產(chǎn)品畫質(zhì)的升級(jí)換代。這意味著，愛芯元智用一顆芯片就能實(shí)現(xiàn)對(duì)不同場景、不同市場的覆蓋，這既能降低AI綜合應(yīng)用成本，也是對(duì)生產(chǎn)力的極大提升。

當(dāng)前，愛芯元智不僅在繼續(xù)優(yōu)化和迭代HDR、3DNR、RLTM和Demosaic相關(guān)的AI算法，也在探索將傳統(tǒng)ISP Pipeline上的其他模塊進(jìn)行提升以及AI化。此外，愛芯元智另一大核心自研技術(shù)：愛芯通元混合精度NPU，則在算力層面表現(xiàn)優(yōu)異，進(jìn)一步加快了AI開發(fā)的落地效率。

今年以來，大模型的火熱帶領(lǐng)AI發(fā)展步入新階段，愛芯元智認(rèn)為，基于圖像處理的實(shí)時(shí)性、可靠性的高要求，以及隱私保護(hù)、安全的需求，未來AI將從云端逐漸落地到端側(cè)邊緣側(cè)，這也將對(duì)端邊算力提出更高要求。

愛芯元智第三代、第四代芯片所搭載的愛芯通元混合精度NPU都支持Transformer大模型。隨著大模型的發(fā)展，愛芯元智也在積極探索通過大模型實(shí)現(xiàn)更好的AI-ISP效果，以技術(shù)創(chuàng)新解決低照和高動(dòng)態(tài)的行業(yè)核心痛點(diǎn)，愛芯智眸AI-ISP打造的黑光全彩相機(jī)等新品類，也正在為人們解鎖更多視界，未來或?qū)⒁I(lǐng)一個(gè)全新成像時(shí)代的到來。
責(zé)任編輯：彭菁