自研ISP芯片背后：手機廠商的目光在影像之外

互聯(lián)網(wǎng)界最熱鬧的大會——世界互聯(lián)網(wǎng)大會在今天開幕，想要了解整個互聯(lián)網(wǎng)最新的變化和趨勢，大家伙這幾天可別錯過了。今天比較值得看的環(huán)節(jié)之一就是“全球科技成果發(fā)展風向標”的年度領先科技成果獎頒布，這些獎項基本上是本年度最能代表前沿優(yōu)質技術成果的展現(xiàn)。本次評選是從全球多個國家的300余項成果中挑選，涉及5G、量子計算、高端芯片、高性能計算機、網(wǎng)絡架構等多個領域，最終選出14項領先的互聯(lián)網(wǎng)科技成果。

筆者注意到今年有個“全球首個開源神經(jīng)網(wǎng)絡處理器指令集架構（NPU ISA）”的成果獲得殊榮。在半導體領域內，安謀科技作為行業(yè)領頭羊之一是媒體和行業(yè)關注的重點對象，憑借在智能計算芯片行業(yè)的創(chuàng)新，與合作伙伴推出全球首個開源神經(jīng)網(wǎng)絡處理器指令集架構（NPU ISA），再次摘得“世界互聯(lián)網(wǎng)領先科技成果”獎。該NPU ISA在中國首發(fā)、全球開源，是人工智能領域第一個開放的ISA，可以向AIoT、自動駕駛、智能制造等應用場景提供可定制化的智能計算芯片。

看完互聯(lián)網(wǎng)大會的頒獎內容，回到半導體領域的學習中，對于時刻需要關注前沿科技信息的碼字工來說，必須要有幾個好一點的優(yōu)質信源，極術社區(qū)是我們碼字工最常逛的科技社區(qū)之一了。在里面瀏覽一番半導體的信息，總會get到新知，收獲一些靈感，在社區(qū)人工智能板塊有XPU、NPU、AI芯片、ISP等多種芯片分類內容，受到ISP分區(qū)內容的啟發(fā)，今天就先從ISP芯片聊起。

讀者朋友們可以發(fā)現(xiàn)，近日國內好幾個一線手機廠商發(fā)布的新品手機比如小米和ov，其中拍攝功能宣傳的要點中都提及了搭載自家設計的ISP芯片，此前很多廠商都是以購買第三方高通、聯(lián)發(fā)科等廠商芯片為主，現(xiàn)在國內一線廠商都開始走自研之路。是什么原因驅動一線手機廠商紛紛自研？做ISP是廠商選擇自研SoC的開始嗎？ISP芯片目前市場的競爭態(tài)勢和未來趨勢是什么樣式？這是本文想要討論回答的核心。

自研ISP考量的價值

ISP（Image Signal Processor，圖像處理器）是手機芯片系統(tǒng)中的重要組成部分，負責圖像處理部分。ISP芯片一直是作為SoC芯片內置的模塊存在，與CPU、GPU等單元集成在系統(tǒng)里一起出售，基本上可以滿足大部分場景使用。隨著消費者的需求變更與廠家差異化打法的變化，很多廠商發(fā)現(xiàn)將ISP作為獨立單元進行圖像的處理，可以實現(xiàn)自主可控。

此前大家都在高通和聯(lián)發(fā)科這些芯片廠商制定的參數(shù)規(guī)則里面游走，只能在集成的ISP模塊特性進行適配和調整，此外ISP性能也受芯片整體升級規(guī)律的限制，更新的頻率不高，影像性能的參數(shù)在同一個框架下的結果就是其手機影像變化和功能日趨同質化。

對于消費者來說，除了在屏幕、快充以及整機性能外，影像功能可謂是選擇手機的重要影響因素之一。在硬件和算法沒有什么大的進步情況下，在ISP影像方面上面進行手機影像性能的提升和創(chuàng)意是廠商們一致的想法。舉例來說，想要提升手機照片的成像質量，搭載安謀科技中國本土團隊自研的“玲瓏” i3/i5 ISP芯片，就可以在一些極端場景比如逆光、暗室等寬動態(tài)環(huán)境，對明暗區(qū)域進行很好地記錄，從而在寬動態(tài)范圍、低光降噪等方面最終獲得不錯的成像。

拍照功能與視頻圖像等質量是決定消費者體驗的重要參數(shù)，我們也在各大手機品牌的新品宣傳中見識到對其自家拍攝性能的極盡展示，如何以差異化功能獲取用戶是每家手機廠商睜開眼睛就要思考的問題。想要實現(xiàn)性能和體驗的差異最大的問題就是要打破被ISP制約的情形。而蘋果、三星、華為等自研芯片的手機廠商以自己差異化功能的市場表現(xiàn)贏得高端市場用戶的青睞，這也給其他國內手機廠商啟示與強心劑：自研芯片是難而正確具有長遠價值的事情，必須要去做。

小米、ov等廠商無論是在新產品中搭載自家設計的ISP芯片還是在新聞中不斷宣傳造ISP芯，都在向市場釋放自研ISP手機芯片的決心，驅動手機廠商選擇自研ISP手機芯片主要有這四方面的價值考量：

1、手機廠商可以發(fā)揮的差異化空間增大，ISP芯片的性能決定了手機影像功能的差異化。相對于芯片廠商高通與聯(lián)發(fā)科等，手機廠商距離消費端更近，對功能場景與趨勢易把控，手機廠商自研ISP芯片可以與市場的需求變化調整同頻，其影像功能也就不再限于芯片廠商的芯片性能，手機廠商可以根據(jù)市場情況發(fā)揮差異化性能的優(yōu)勢。

2、避免供應鏈的風險。華為手機市場份額的減少是其他一線手機廠商不想再經(jīng)歷的風險，無論是貿易摩擦還是地緣政治、黑天鵝疫情等風險，自研ISP芯片的選擇讓手機廠商可以減少一些被不確定因素扼制的風險。

3、成本的優(yōu)勢，手機廠商的出貨量動輒數(shù)十萬、百萬，自研ISP芯片的話可以繞過其他芯片廠商的定價權，減少芯片成本的支出。

4、 ISP相比SoC來說，技術的實現(xiàn)難度相對較低，花費的精力時間等成本更低，更容易實現(xiàn)。

手機廠商選擇自研ISP芯片無論是出于成本還是產品功能方面的考慮，都是讓自身在這個白熱化競爭的市場能有更好的表現(xiàn)，市場中有便宜好用的ISP芯片，而商家花費心血時間去自研ISP芯片也不僅僅是革新影像功能的目的，廠商們在積累芯片技術的前提下，更多的是戰(zhàn)略層面的考慮：未來可能向手機的心臟器件——SoC芯片進擊，從ISP芯片的突破口中逐步切入到SoC的研制中去。

從ISP循序漸進到SoC

自研ISP芯片只是手機廠商的打樣，野心家的目光在影像功能外，對于手機來說，核心的核心就是芯片，一旦出現(xiàn)任何不確定因素被卡喉嚨，企業(yè)就面臨生死存亡，因為貿易摩擦帶來的芯片卡喉，所有廠商都有危機感，自研芯片是需要戰(zhàn)略層面的出擊、布局。

小米早在2014年就開始布局自研芯片，成立專注手機芯片研發(fā)設計的松果電子子公司以服務手機SoC芯片，在2017年發(fā)布了首款手機SoC澎湃S1，在小米5C手機中落地，但S1在性能、功耗等方面都有明顯不足。

在SoC芯片的折戟讓小米更加務實，在2019年小米開始研發(fā)ISP芯片，今年3月發(fā)布的旗艦機小米折疊屏手機MIX FOLD搭載了小米自研的ISP芯片澎湃C1，能夠實現(xiàn)更好的3A（自動對焦，自動白平衡，自動曝光）處理，自研ISP+自研算法成為這款旗艦手機宣傳的賣點之一。小米的SoC芯片研發(fā)之路滿途坎坷，松果電子最終也重新進行了組織架構的調整，一部分團隊繼續(xù)保留，一部分團隊分拆出去進行IOT芯片的研發(fā)。但澎湃C1對小米來說的是一個新的轉折，小米的ISP芯片架構師左坤隆博士此前在采訪中表示ISP的研發(fā)只是起點，小米還是要回到手機心臟器件SoC的研發(fā)中，而這也是小米對手機芯片的未來戰(zhàn)略規(guī)劃。

一線手機廠商ov也不甘人后，分別在自研芯片道路上開始重金投入。9月6日消息，vivo率先發(fā)布自家自研的ISP芯片V1，這是vivo自研的首款影像芯片，團隊300人經(jīng)過兩年的研發(fā)ISP芯片才得以面世。在2019年vivo也曾與三星聯(lián)合研發(fā)了Exynos 980 5G SoC，無論是自研ISP還是與三星聯(lián)合研發(fā)SoC，vivo都開始在芯片技術積累的道路上鋪墊，至于未來是否向SoC進發(fā)vivo表示還不能確定，但芯片技術先行的趨勢，多手準備總是沒有錯的。

OPPO在芯片研發(fā)方面，于2019年就成立子公司ZEKU，據(jù)悉現(xiàn)下團隊人數(shù)已經(jīng)兩千人，部分員工來自華為海思、紫光展銳和一些臺灣半導體企業(yè)。2020 年 2 月 OPPO 內部發(fā)文《對打造核心技術的一些思考》，首次提到芯片計劃的代號——“馬里亞納計劃”。OPPO將手機核心的芯片作為未來戰(zhàn)略思考的方向，只研制相對SoC來說簡單點的ISP芯片還是有點浪費這些資金人力的投入，OPPO的野心不止如此。成立兩年的子公司ZEKU也有做出成績，其ISP芯片據(jù)傳已經(jīng)在今年初流片，未來可能會搭載2022年發(fā)布的Find X5 手機上。除了ISP芯片外，OPPO方面也在同步推進研發(fā)SoC的計劃，以掌握手機核心技術未來或替代部分高通和聯(lián)發(fā)科芯片。

ISP芯片向SoC芯片進發(fā)的路坎坷難行，兩者從技術的維度上是數(shù)量級的差距，ISP只是單一的圖像管理單元，而SoC芯片會集成CPU、GPU、NPU、ISP通信基帶等模塊，模塊的設計與模塊之間的適配涉及的技術很復雜。從時間的維度上來看，我們可以發(fā)現(xiàn)ISP芯片從無到有的實現(xiàn)基本上是兩年多的時間，新進入的手機廠商就可以拿出成品進行部分投放使用，但是SoC芯片的誕生到使用跨越的時間就需要新手十年起步的嘗試。SoC芯片的打磨可謂是跟攀登高海拔的雪山一般，一步步的腳印和一級級的臺階才能攀頂成功，沒有跳躍發(fā)展一口氣吃成胖子的可能。

雖然SoC的研發(fā)之路坎坷，參照海思的成功發(fā)展至少需要十年的時間耕耘，但是后發(fā)的手機廠商也在積累技術的道路上開始耕耘。無論是當下ISP芯片的自研，還是未來向著SoC芯片進軍，都需要時間的加持，芯片自研是一場曠日持久的戰(zhàn)斗，資金、人才、技術、市場等因素缺一不可。

ISP芯片的競爭勢態(tài)

在ISP產業(yè)版圖中，除了現(xiàn)在正在崛起的自研ISP手機廠商蘋果、華為、三星等，主要有三類競爭勢力，一種是高通這類SoC芯片供應商，ISP模組已經(jīng)被打包入內進行銷售，一類是ARM這類提供IP授權的供應商，還有一種ISP模組設計服務提供商。

現(xiàn)下，ISP芯片市場仍然是以高通三星聯(lián)發(fā)科占據(jù)大部分市場份額為主，手機廠商們的自研芯片只是初嘗試給整個市場并沒有帶來大的沖擊，但是未來等到手機廠商的技術日趨成熟，開始廣泛應用到自家的產品，還是會給產業(yè)鏈造成一些影響：

1、手機廠商在自研芯片方面，主要是在芯片制造的前端進行研發(fā)，比如IP和設計端的再研發(fā)，未來的發(fā)展會將占據(jù)一部分芯片廠商的ISP市場份額。

2、芯片廠商在IP方面擁有專利特權，自研芯片的手機廠商在一些IP專利上面無法繞過去，仍然會依賴芯片廠商，呈現(xiàn)雙方共同競爭但雙方分別占據(jù)市場的局面，因為芯片廠商的先發(fā)優(yōu)勢，市場份額還是芯片廠商占據(jù)較大為主。

3、手機芯片的自研給芯片廠商帶來革新意識，激發(fā)芯片廠商對于手機芯片的研發(fā)創(chuàng)新和護城河的拓寬，無論是芯片的性能還是價格都會因為這個趨勢有新的變化。

未來ISP的競爭有無大的市場變化，還要看這些自研ISP手機廠商的技術發(fā)展，幾乎包攬整個手機市場的一線廠商出貨量不容小覷，雖然現(xiàn)在大家已經(jīng)有自家的ISP芯片，但也只是小劑量的嘗試以展示肌肉，并沒有進行大規(guī)模的應用，規(guī)模使用產生的量變才會給整個ISP芯片市場帶來影響的質變。在對ISP市場的梳理過程中，我們也發(fā)現(xiàn)ISP芯片的未來走向趨勢，與AI視覺處理技術進一步地結合協(xié)同發(fā)展。

手機市場同質化的競爭白熱化到不能再白熱化，其影像功能的像素已經(jīng)突破億級，硬件與算法短期內沒有大的浪花兒翻騰，手機廠商無論是從ISP開始突破還是未來逐步切入到SoC的深海，都釋放出新的信號和思考變化：開始回歸到手機的本質核心技術，如何構建底層的核心能力是未來大家贏得市場競爭的關鍵砝碼?，F(xiàn)在投入的數(shù)億級資金，成百上千的高端人才等成本都是為提升未來競爭力，盡早卡位未來的市場。

手機作為消費電子的代表領域，這個下海芯片的豪賭競爭勢態(tài)也不斷反映出現(xiàn)下廠商在這個焦慮下的市場中想要通過抓住核心技術去變革，手機廠商的產品、商業(yè)模式、組織架構都會隨之迎來一些新的調整。無論最終的結局走向如何，這個路途艱難的選擇未來都會改變手機、芯片領域的市場格局。對于消費者來說，充分的市場競爭帶給我們豐富的產品，我們也會跟著享受越來越多各有特色的電子產品。