愛芯元智的AI ISP夢想 幫助更多人解決邊緣側高清視頻優(yōu)化的難題

很多玩直播的人、或是看直播可能會有切身的體會。咱們在看直播的時候，如果是視頻效果稍有不佳，就會有著隨時切換直播間的念頭。咱們自己在做直播的時候，一覺得自己的直播間視頻沒有別家好，就會想著提升自己的裝備，例如增加補光燈、配備更好的相機鏡頭，或是換一臺更強大功能的智能手機，來做直播?？傊?，視頻直播黨漸漸地都變成了裝備黨。

目前我所用過的很多旗艦手機，在夜景或強光下，拍照效果還是很不錯，但視頻的時候噪點太多，畫面時好時壞，或是人臉的膚色失真，自己都對自己不滿意，主動給視頻后期師加雞腿。但是直播中加雞腿給攝影師也沒有用，裝備不給力，攝影師也只能說，“臣妾也做不到”。

由此看來，這一塊用戶需求很剛，但智能手機廠商也是有力使不上。畢竟，關于視頻AI優(yōu)化的技術，遠比圖像AI優(yōu)化的難度大。再加上這種特別的需求，目前也就在中國需求最廣最強。因為中國的美圖優(yōu)化好多年以來，已經(jīng)寵壞了用戶。不加美顏給美女帥哥拍照，那簡直是不懂禮節(jié)，不P圖就發(fā)朋友圈，完全是不講武德。

還好，咱們手機廠商、拍照直播類APP廠商，也是很懂用戶需求的。手機大廠這些年，也不知道是雷總還是余總帶的頭，都是特別寵粉。所以粉絲提的需求，都是一律都不遺力的支持。這不風水轉到了視頻優(yōu)化這個階段了，誰能先上個邊緣側的AI ISP，明顯提升視頻優(yōu)化的算力與算法，那誰就有可能獨得粉絲的寵愛。

與之類似的，關于視頻AI算法能力的需求，推廣到智慧城市、智慧社區(qū)、自動駕駛或是智能制造等領域，對于高清視頻ISP的算法優(yōu)化上，其需求現(xiàn)在看，技術天花板也都看不到上限。

電子發(fā)燒友網(wǎng)記者日前專訪了國內(nèi)專門做AI ISP芯片的初創(chuàng)公司愛芯元智半導體（上海）有限公司 創(chuàng)始人兼首席執(zhí)行官仇肖莘，她從多個角度深入地解答了我們的問題。訪談中我們了解到，目前做視頻處理的芯片公司中，愛芯元智的獨門AI絕技，可能還遠不止于消費級應用的藍海級市場。下面是電子發(fā)燒友網(wǎng)的采訪報道。

2021年9月，AI視覺芯片研發(fā)及基礎算力平臺初創(chuàng)公司愛芯科技正式更名為愛芯元智半導體（上海）有限公司（簡稱為“愛芯元智”），并宣布完成品牌升級。愛芯元智成立于2019年5月，專注于打造高性能、低功耗的人工智能視覺處理器芯片。核心技術產(chǎn)品支持多種AI視覺任務，廣泛適用于智慧城市、智能社區(qū)、智能駕駛、智慧零售、智能家居、智能穿戴等多個領域。愛芯元智自主研發(fā)的第一顆AI視覺處理芯片AX630A已在2020年12月實現(xiàn)量產(chǎn)，第二顆芯片AX620A也已經(jīng)于2021年7月成功點亮，即將開始正式的客戶推廣。

仇肖莘博士本身就是一個手機通信行業(yè)的高級技術與管理人才，有著非常傳奇的個人職業(yè)經(jīng)歷。

下面是電子發(fā)燒友摘選愛芯元智公司的對外宣傳資料。

仇肖莘博士1991年畢業(yè)于清華大學自動化專業(yè)，并獲得碩士學位，隨后前往美國南加州大學完成電子工程博士學位。先后擔任美國博通公司副總裁，紫光展銳首席技術官。

2019年5月創(chuàng)立并擔任愛芯元智半導體（上海）有限公司（原愛芯科技）首席執(zhí)行官，作為公司最高負責人，領導研發(fā)AI SoC芯片——能夠廣泛應用于智慧城市、智能社區(qū)、智能駕駛、智慧零售、智能家居、智能穿戴等多個領域。

仇博士在Fortune 500 公司有20年以上研發(fā)及管理經(jīng)驗，曾擔任重要崗位負責人，帶領過大型國際化團隊。精通公司業(yè)務發(fā)展戰(zhàn)略，兼具極強的研發(fā)及團隊、項目管理能力，對公司業(yè)績做出過突出貢獻。其在SoC芯片研發(fā)、系統(tǒng)架構，及整體技術平臺解決方案方面具有極強的專業(yè)知識和豐富的經(jīng)驗。

2008年仇肖莘博士當選美國博通公司杰出工程師（在研發(fā)人員中占比小于0.5%），被Broadcom內(nèi)部人才管理體系評為“頂級明星”；曾作為Broadcom CEO及其管理團隊的技術顧問，深度參與技術路線制定，M&A項目的技術調(diào)研。

Featured engineer in National Academy of Engineering’s Celebration of Women Engineering.

AT&T Labs - Research(前身貝爾實驗室) 研究卓越獎。

正是因為有在博通和紫光展銳的手機SoC芯片部門的研發(fā)與管理經(jīng)驗，仇總對于手機廠商的硬件需求特別熟悉。所以愛芯元智可以在一年左右的時間就一次性成功流片高端的AI SoC，并且獲得了晶圓廠的產(chǎn)能支持。

仇總介紹，愛芯元智（原愛芯科技）是一個AI視覺芯片研發(fā)及基礎算力平臺公司。其產(chǎn)品策略跟國內(nèi)眾多的視頻處理器公司或ISP公司不同的是，公司第一顆芯片就是做行業(yè)最強最高的芯片技術，匹配市場中的高端應用。由于眾所周知的原因，智慧城市、智能交通等市場，出現(xiàn)了供貨的真空期。面對如此巨大的市場，有多家芯片公司都在發(fā)力，但大多數(shù)公司，由于技術歷史的原因，例如做平板、電視或顯示器的企業(yè)，公司之前的技術積累主要在視頻編解碼，或圖像顯示端，或者說是GPU的能力很強，但ISP端并沒有太發(fā)力。而愛芯元智從團隊搭建開始，就是構建視頻的ISP算法團隊、NPU團隊，并且重點在邊緣側，而不是云端。避免跟大算力大功耗的CPU和NPU競爭。

仇總表示，愛芯元智專注于高性能、低功耗的人工智能處理器芯片研發(fā)，并自主研發(fā)面向推理加速的神經(jīng)網(wǎng)絡處理器IP （NPU IP）。

目前，愛芯內(nèi)部負責芯片設計、AI算法和應用開發(fā)的研發(fā)員工人數(shù)，已近公司總人數(shù)的85%。隨著AX630A的量產(chǎn)，研發(fā)團隊已經(jīng)開始跟頭部首波客戶一起合作，盡快做進客戶的產(chǎn)品中，一起推到市場。

在頭波客戶需求成熟對接的同時，仇總和團隊也在同步開發(fā)匹配市場主流應用定位的產(chǎn)品，從上往下做，把量做大業(yè)績做大。同時為產(chǎn)品找到更多的應用市場，例如我們在文章開頭所說的手機上的ISP視頻AI優(yōu)化的應用。

公開資料顯示，愛芯元智通過神經(jīng)網(wǎng)絡提升畫質，支持多種視覺任務開發(fā)。愛芯元智核心技術產(chǎn)品廣泛適用于智慧城市、智能社區(qū)、智能駕駛、智慧零售、智能家居、智能穿戴等多個領域?；谒惴ā⑿酒?、產(chǎn)品的垂直整合，愛芯元智為合作伙伴提供全棧式解決方案，幫助客戶實現(xiàn)最新技術的快速落地。與此同時，公司制定了完善的產(chǎn)品路線圖，覆蓋高中低端市場，以滿足客戶不同場景的產(chǎn)品需求。

而智能手機或智能相機這類消費級的需求，愛芯元智既可以在后面推出更加靈活的合作方案例如IP級的合作，或是更低成本定制化的芯片。

在ISP方面，愛芯元智還引入了一位ISP行業(yè)的牛人張興。張興現(xiàn)在是愛芯元智半導體（上海）有限公司 ISP負責人、系統(tǒng)架構師。他的工作經(jīng)驗專注在ISP多年。據(jù)資料顯示，張興 自2013年開始，從事芯片及設備上ISP/camera相關設計經(jīng)驗，曾在多家世界500強的公司及tier-1芯片公司從事camera和ISP的系統(tǒng)設計工作；他具有豐富的算法設計經(jīng)驗，曾進行多個業(yè)界先進算法和方案的設計和改進，在camera領域有多項專利；他還是知名公眾號“大話成像”創(chuàng)始人之一。

當然，我們不能說國內(nèi)其他公司的ISP算法團隊技術就不強。只是過去很多年，視頻ISP的技術大牛國內(nèi)并不多，而一些特別強大的團隊在日本、歐洲等地。既要有AI NPU卷積的算法能力，也還要結合客戶需求來不斷推理訓練。

愛芯元智第一顆芯片AX630A的實際亮眼表現(xiàn) 愛芯元智的AI芯片AX630A的特點是算法協(xié)同設計，每秒處理幀數(shù)可以達到 1356，遠超市場水平。 在功耗方面，AX630A的算力是57.6TOPS@800MHz 2w4的功耗是3W左右。下一代的AX620A算力28.8TOPS@800MHz 2w4的功耗低于1W。

真實案例表現(xiàn) 1：夜間視頻效果（人物已做面部隱私保護處理） 真實案例表現(xiàn)2：大規(guī)模智能分析檢測識別能力 真實案例表現(xiàn)3：多路視頻結構化智能分析能力
從案例3中可以看出，AX630A其實可以當作多路視頻后端分析。

總結

目前來看，智慧城市市場確實屬于芯片供應真空期，市場需求有AX630A這樣的芯片，來支持相關的廠商。但作為一個曾經(jīng)在博通、展銳這樣的大公司SoC部門管理操盤過的大咖來說，能夠做到更多的應用市場，尤其是智能手機、相機這樣的海量市場，公司的前景會遠超人們的預期。

文章開頭是一個由電子發(fā)燒友網(wǎng)記者本人開啟的話題，相信未來很快會有愛芯元智或別的公司進入來打開視頻ISP的更廣的應用空間。畢竟視頻直播已經(jīng)從娛樂級應用提升為生產(chǎn)力工具的級別，也就是說從柔性需求，上升到市場剛需。

今年市場上索尼用于直播的幾款相機漲價缺貨，也是直播業(yè)者的剛需猛漲。相信很多廠商已經(jīng)看到了商機，無論是從手機端來改進，還是單獨的可用于直播的相機品類的開發(fā)，都離不開ISP技術廠商的支持。電子發(fā)燒友網(wǎng)編輯會持續(xù)關注和報道這個賽道。