麒麟9000全球首創(chuàng)ISP+NPU 融合架構(gòu)背后的難度

【影像飛躍：麒麟9000彪悍的另一面】

這兩年，手機(jī)SoC領(lǐng)域群雄逐鹿、精彩紛呈，2020年我們陸續(xù)見(jiàn)證了華為麒麟9000、蘋(píng)果A14、高通驍龍888等一眾“好漢”的輪番登場(chǎng)，其中華為麒麟9000可以說(shuō)是最特殊，也是最值得研究的一個(gè)。

作為全球第一款5nm工藝的5G SoC完整解決方案，麒麟9000在性能、連接、AI、影像、安全等各個(gè)方面都實(shí)現(xiàn)了創(chuàng)新式的突破，尤其是在影像領(lǐng)域大殺四方，其賦能的華為Mate 40 Pro+、Mate 40 Pro兩款手機(jī)在DxOMark榜單上分別以139分、136分傲居第一、第二！

不過(guò)，以往談?wù)撘豢钍謾C(jī)影像能力的高低，我們往往會(huì)把目光都集中在CMOS傳感器、攝像頭的配置上，卻很容易忽視在幕后默默貢獻(xiàn)的ISP（圖像信號(hào)處理器）。事實(shí)上在手機(jī)影像系統(tǒng)中，ISP在很多場(chǎng)景的重要性更甚于攝像頭。

打個(gè)形象的比方，如果把攝像頭視作能打仗的士兵，ISP就是指揮戰(zhàn)斗和戰(zhàn)爭(zhēng)的軍官——沒(méi)有合理的指揮，再?gòu)?qiáng)的士兵也是無(wú)頭蒼蠅；如果攝像頭是看清世界的“眼睛”，ISP就是掌控一切的“大腦”。

而在另一方面，我們剛才一直說(shuō)“影像”而非“拍照”，是因?yàn)橛脩糇非笤絹?lái)越多的，不僅僅是要把照片拍好，更要把視頻拍好，畢竟這是一個(gè)視頻的時(shí)代，動(dòng)起來(lái)才更精彩。

麒麟9000其中一項(xiàng)獨(dú)到之處，恰恰就是將ISP提升到了一個(gè)全新的層次，尤其是業(yè)界首次實(shí)現(xiàn)ISP+NPU的融合架構(gòu)，不但拍照強(qiáng)悍無(wú)與倫比，更讓視頻捕捉煥然一新。

比如超強(qiáng)的細(xì)節(jié)還原，比如顯著的降噪能力，比如極高的能效，尤其是在暗光環(huán)境下堪稱升級(jí)版的“夜視儀”，再次走在了時(shí)代的最前沿，只留給友商一個(gè)遠(yuǎn)去的背影。

正是有了這樣強(qiáng)悍的根基，華為Mate 40 Pro系列不但拍照水平一騎絕塵，視頻捕捉更是獨(dú)領(lǐng)風(fēng)騷，雙雙霸占DxOMark榜單前兩名。

【低調(diào)的勞模：ISP要干的事兒太多了】

要想理解麒麟9000 ISP+NPU融合架構(gòu)的精妙之處，我們需要把時(shí)鐘往回?fù)芤幌拢攘私鈳讉€(gè)基本概念術(shù)語(yǔ)，看看ISP是多么不容易。

眾所周知，圖像傳感器（Image Sensor）是數(shù)碼相機(jī)、智能手機(jī)拍照、拍視頻的“眼睛”（相機(jī)里是CCD/手機(jī)里是CMOS），最終呈現(xiàn)的色彩、細(xì)節(jié)都取決于它，其原理是通過(guò)一個(gè)一個(gè)的感光點(diǎn)，對(duì)光進(jìn)行采樣和量化。

但很多人可能并不知道，圖像傳感器其實(shí)是“色盲”，如果只用它拍出來(lái)的照片就是黑白的，需要搭配色彩濾波器（CFA）才能獲得色彩信息。

1976年，柯達(dá)的拜耳發(fā)明了RGB CFA，也就是色彩濾波器 ，如上圖可理解為雙層結(jié)構(gòu)：上層紅（R）綠（G）藍(lán)（B）三色的色塊就是色彩濾波器，白光透過(guò)濾波器后分離出紅綠藍(lán)三原色；下層灰色的色塊則是感光光電二極管（PD）部分，負(fù)責(zé)將濾波器送來(lái)的光信號(hào)轉(zhuǎn)換為電信號(hào)，再由后續(xù)各種算法進(jìn)一步處理，并最終成像。

可以說(shuō)，濾波器的表現(xiàn)如何，是照片、視頻色彩、細(xì)節(jié)還原的基礎(chǔ)。

當(dāng)然，從濾波器濾出的RGB色彩，到最終照片上的精彩，需要經(jīng)過(guò)各種復(fù)雜算法、技術(shù)的處理，這其中有三個(gè)是起著決定性因素的。

一是Demosaic插值算法。

RGB拜耳陣列中的每一個(gè)像素只能采集一個(gè)顏色通道信息，另外兩種顏色信息需要通過(guò)插值算法，結(jié)合相鄰其他顏色的像素信息計(jì)算出來(lái)，這樣一個(gè)像素的色彩才是完整的。

這個(gè)過(guò)程有點(diǎn)“去馬賽克”的味道。

二是自動(dòng)白平衡（AWB）。

由于色溫的影響，白色并不是一直純白無(wú)瑕，在低色溫下會(huì)偏黃，高色溫下則會(huì)偏藍(lán)。如果不進(jìn)行校準(zhǔn)使之恢復(fù)平衡，色彩就會(huì)完全混亂，畢竟白色是三原色和任何色彩的基礎(chǔ)。

于是就有了白平衡，可以讓任何色溫下白色物體的RGB三原色比例關(guān)系都是標(biāo)準(zhǔn)的1:1：1，呈現(xiàn)準(zhǔn)確的白色。

白平衡算法很多，最常見(jiàn)得有灰度世界算法、完美反射算法、動(dòng)態(tài)閾值算法這么三種。

三是色彩校正矩陣（CCM）。

相機(jī)或者說(shuō)圖像傳感器是機(jī)械式的，而人眼是生物式的，二者的感光曲線截然不同，或者說(shuō)RGB響應(yīng)曲線并不一致。

白平衡只能處理白色，其他顏色的準(zhǔn)確度則需要CCM來(lái)校準(zhǔn)，也可以用來(lái)調(diào)節(jié)色彩風(fēng)格，就是各種不同的“濾鏡”。

CCM的原理和過(guò)程很復(fù)雜，這里就不展開(kāi)了，具體算法大致可以分為模型法、經(jīng)驗(yàn)法這么兩類。

說(shuō)了這么多，其實(shí)無(wú)論插值算法還是AWB、CCM，都需要一顆強(qiáng)大、優(yōu)秀的ISP，才能越做越好，讓最終呈現(xiàn)的色彩更貼近大自然，或者看起來(lái)更養(yǎng)眼。

【麒麟990系列：ISP+NPU初步聯(lián)手、RYYB物盡其用】

多年來(lái)，華為一直在全力提升手機(jī)的影像水平，尤其是近幾年始終處于行業(yè)最前列，這其中不僅有攝像頭的貢獻(xiàn)，更有ISP層面的創(chuàng)新。

2015年，華為第一次完成自研ISP，應(yīng)用于麒麟950，此后每一代都經(jīng)歷一次蛻變，逐漸成為華為手機(jī)拍照登頂世界的根基。

到了麒麟990系列，已經(jīng)內(nèi)置全新ISP 5.0，吞吐率提升15％，能效提升15％，照片和視頻降噪能力提升30％、20％，手機(jī)端首發(fā)單反級(jí)降噪技術(shù)BM3D，全球首發(fā)雙域聯(lián)合視頻降噪技術(shù)。

同時(shí)還有創(chuàng)新的華為自研達(dá)芬奇架構(gòu)NPU（神經(jīng)處理單元），兩個(gè)大核加一個(gè)微核的特殊架構(gòu)，兼顧高性能與高能效，并且ISP、NPU已經(jīng)開(kāi)始初步聯(lián)合，探索全新的AI攝影。

而基于麒麟990 5G的華為P30系列創(chuàng)新引入了RYYB CFA超感光圖像傳感器，其中Y代表黃色，取代傳統(tǒng)的RGGB格式中的G綠色，光譜響應(yīng)更寬、光譜覆蓋更廣、能感應(yīng)更多光子，總體進(jìn)光量因此提升了30-40％，暗光場(chǎng)景信噪比更佳，夜拍效果更上一層樓。

不過(guò)，RYYB作為新生事物并不容易駕馭，傳統(tǒng)ISP的插值算法、AWB、CCM很難處理Y黃色像素的豐富色彩信息，精準(zhǔn)還原難度非常大。

為此，華為一方面在后續(xù)的Mate 30系列上采用了RYYB、RGGB相搭配平衡的設(shè)計(jì)，另一方面引入基于AI神經(jīng)網(wǎng)絡(luò)的插值算法、AWB、CCM，并整合在麒麟990 ISP流水線的圖像處理過(guò)程中，為傳統(tǒng)ISP流程增加了計(jì)算攝影處理，再經(jīng)過(guò)大量的RYYB傳感器RAW數(shù)據(jù)訓(xùn)練之后，可以有效找到物體細(xì)節(jié)、色彩分量之間的復(fù)雜映射關(guān)系。

可以說(shuō)，如果只是單純地變革圖像傳感器，而不能在硬件、算法上同步革新，不但不能提升手機(jī)的影像水平，反而會(huì)陷入混亂。

麒麟990正是憑借強(qiáng)勁的NPU性能，逐步完善了對(duì)于全新復(fù)雜RYYB CFA的支持，釋放了其對(duì)色彩處理的強(qiáng)大潛力，尤其是在視頻實(shí)時(shí)處理方面邁出了一大步，提升了4K視頻的暗光細(xì)節(jié)表現(xiàn)、色彩還原效果。

【麒麟9000：ISP+NPU深度融合、超越人眼極限】

在最新一代的麒麟9000處理器上，華為更進(jìn)一步，全球首創(chuàng)實(shí)現(xiàn)了ISP+NPU的融合架構(gòu)，沒(méi)有像友商那樣單純地追求堆積更多ISP，而是通過(guò)精密設(shè)計(jì)的融合架構(gòu)，將ISP處理流水線、NPU矩陣計(jì)算有機(jī)地融合在一起，不但拍照更加游刃有余，更是實(shí)現(xiàn)了實(shí)時(shí)視頻的像素級(jí)處理。

這樣的融合架構(gòu)對(duì)于靜態(tài)照片處理已經(jīng)不費(fèi)吹灰之力，這里不再贅述，重點(diǎn)看看視頻處理。

畢竟，照片都是單獨(dú)的一幀，視頻則是連續(xù)變化的靜態(tài)幀組成的，處理24FPS的視頻相當(dāng)于每秒處理24張照片，而對(duì)視頻進(jìn)行像素級(jí)的實(shí)時(shí)處理，無(wú)論對(duì)于硬件設(shè)計(jì)還是軟件算法都提出了空前的考驗(yàn)。

在傳統(tǒng)的ISP視頻流處理過(guò)程中，受制于ISP性能有限、硬件模塊相互隔離、處理帶寬不充分等因素，ISP只能老老實(shí)實(shí)地逐幀處理，一切排隊(duì)進(jìn)行。

加入NPU助力之后，可以加速處理這一過(guò)程，但處理過(guò)程中以幀為單位，依然需要排隊(duì)。比如當(dāng)ISP處理第一幀時(shí)，NPU需要等待ISP處理完成后才能接替。

麒麟9000改變了這一切，不但集成最新的ISP 6.0，還支持四流水線并行，吞吐量提升50％，視頻降噪能力提升48％，3A（自動(dòng)對(duì)焦/自動(dòng)曝光/自動(dòng)白平衡）處理能力提升100％，而最大亮點(diǎn)當(dāng)屬首創(chuàng)了ISP+NPU融合架構(gòu)。

ISP+NPU融合后，直接將數(shù)據(jù)、信息完全打通，使用硬件直連的方式，將原本獨(dú)立的NPU計(jì)算直接融合ISP的處理流水線中，再結(jié)合大容量、高帶寬的智能緩存SmartCache 2.0，使得輸入數(shù)據(jù)流、輸出數(shù)據(jù)流都連續(xù)不斷，整個(gè)過(guò)程中沒(méi)有任何停頓和等待，數(shù)據(jù)可以無(wú)縫緩沖、實(shí)時(shí)處理，效率提高了不止一個(gè)檔次。

同時(shí)，ISP+NPU融合架構(gòu)改變了逐幀排隊(duì)處理的傳統(tǒng)方式，對(duì)每一幀進(jìn)行切片（Slice），也就是拆分成更小的單元，處理的基本單元不再是一整幀，而是一個(gè)個(gè)小的切片，從而將每一幀內(nèi)部、不同幀之間完全打通，加速數(shù)據(jù)的傳輸與處理。

這樣一來(lái)，ISP+NPU聯(lián)合就實(shí)現(xiàn)了基于幀內(nèi)分塊的視頻流智能處理。

如上圖，假設(shè)每個(gè)視頻幀都拆分成四個(gè)切片，ISP可以先處理其中兩個(gè)切片，快速處理完之后交給NPU進(jìn)一步加工，此時(shí)ISP就可以同時(shí)處理該幀的剩余兩個(gè)切片，以及下一幀的頭兩個(gè)切片，如此往復(fù)循環(huán)，從而大大縮短等待時(shí)間，提高處理效率。

當(dāng)然，每個(gè)視頻幀拆分成幾個(gè)切片、NPU/ISP每次處理幾個(gè)切片，都是極其靈活的，可以根據(jù)每一幀的不同數(shù)據(jù)量、處理難度來(lái)智能切割，還可以在同一幀內(nèi)應(yīng)用多種不同算法，流水線效率不可同日而語(yǔ)的同時(shí)，還可以得到更豐富的處理效果。

很自然的，這種聯(lián)合處理對(duì)于ISP、NPU的協(xié)同效率提出了極高的要求，畢竟稍有不慎反而會(huì)影響整個(gè)流程的順暢性。麒麟9000憑借豐富的ISP研發(fā)經(jīng)驗(yàn)、自研華為達(dá)芬奇架構(gòu)2.0 NPU的強(qiáng)勁AI算力，一切都搭配得天衣無(wú)縫。

數(shù)據(jù)顯示，麒麟9000在處理器4K視頻的時(shí)候，可以在33毫秒甚至更低的時(shí)間間隔內(nèi)完成計(jì)算任務(wù)，尤其是在夜景等會(huì)產(chǎn)生海量數(shù)據(jù)的復(fù)雜環(huán)境下，可以充分發(fā)揮ISP+NPU融合架構(gòu)的極高處理效率，實(shí)現(xiàn)豐富細(xì)節(jié)的精準(zhǔn)色彩還原。

如果你覺(jué)得這些理論分析有些難以理解，這里我們來(lái)看一個(gè)實(shí)際例子，感受下ISP+NPU融合架構(gòu)的神奇魅力。

如上動(dòng)圖，圓圈中的愿景物體是一個(gè)迷你風(fēng)車(chē)，四個(gè)葉片又長(zhǎng)又細(xì)還是深色調(diào)，又處在偏暗的環(huán)境中，一般情況下即便只是拍照，也很難清晰捕捉到其色彩細(xì)節(jié)，甚至可能根本就看不清對(duì)象本身，更不用說(shuō)拍視頻。

但是在麒麟9000平臺(tái)上，得益于ISP+NPU融合架構(gòu)一整套方案的智能化處理，可以看到在捕捉的視頻中，風(fēng)車(chē)扇葉異常清晰，色彩清晰，銜接過(guò)渡自然，和背景區(qū)分明顯，運(yùn)轉(zhuǎn)動(dòng)作也是如行云流水一般的順暢，甚至連扇葉頭部、尾部因?yàn)檫\(yùn)動(dòng)快慢不同而導(dǎo)致的模糊程度不同，都展現(xiàn)得淋漓盡致，可能連人眼都捕捉不到這么逼真、翔實(shí)的細(xì)節(jié)。

【ISP+NPU融合：干活更多 功耗控制更好】

那么，ISP+NPU融合架構(gòu)之后，要干的活兒更多了，會(huì)不會(huì)更加耗電？這里就體現(xiàn)了融合架構(gòu)的另一個(gè)好處，計(jì)算性能上去了，功耗還能很好地得到控制，更好地完成更多任務(wù)。

眾所周知，手機(jī)拍攝視頻的時(shí)候是相當(dāng)耗電的，遠(yuǎn)高于靜態(tài)拍照，但是麒麟9000經(jīng)過(guò)多重努力，實(shí)現(xiàn)了“馬兒跑得快、馬兒不多吃”的神奇效果。

一是針對(duì)大量數(shù)據(jù)輸入場(chǎng)景進(jìn)行智能切塊處理，從而大幅降低網(wǎng)絡(luò)中間層對(duì)計(jì)算內(nèi)存的需求；

二是切片級(jí)的數(shù)據(jù)交互，有效控制算法時(shí)延，再結(jié)合SmartCache緩存，有效控制視頻場(chǎng)景的功耗。

【融合架構(gòu)背后的難度 超出你的想象】

你可能會(huì)說(shuō)，這一切看起來(lái)似乎也沒(méi)什么難的，但是芯片層面的創(chuàng)新，從來(lái)和簡(jiǎn)單二字無(wú)關(guān)，ISP+NPU融合的難度和技術(shù)挑戰(zhàn)也是常人難以想象的，簡(jiǎn)單來(lái)說(shuō)主要是如何達(dá)成算法效果、計(jì)算性能、計(jì)算能耗三者的平衡。

為此，在設(shè)計(jì)硬件融合架構(gòu)的同時(shí)，為了釋放硬件潛力，華為也在軟件算法上花費(fèi)了大量心思，做出了大量創(chuàng)新，比如說(shuō)IPS鏈路的像素級(jí)別（pixel level）的AI算法，搭檔算力強(qiáng)悍的AI芯片，實(shí)現(xiàn)高能效的端側(cè)軟硬結(jié)合完整方案。

同時(shí)，如今的影像場(chǎng)景下，數(shù)據(jù)處理都是海量級(jí)別的，而且極為復(fù)雜，這就需要整個(gè)流程方案具備很強(qiáng)的魯棒性（穩(wěn)健性），而且為了提高處理大數(shù)據(jù)量的效率，模型結(jié)構(gòu)也要滿足一定的計(jì)算約束，必須利用網(wǎng)絡(luò)結(jié)構(gòu)搜索、混合量化等技術(shù)，讓模型結(jié)構(gòu)與加速硬件高效配合。

特別是在4K超清分辨率下捕捉視頻，流水線中的圖像數(shù)據(jù)量比以往多了幾個(gè)數(shù)量級(jí)，畢竟單幀4K圖像處理就已經(jīng)對(duì)AI提出了很高的要求，更何況視頻場(chǎng)景下需要實(shí)時(shí)進(jìn)行多幀處理。

舉例來(lái)說(shuō)，4K 30fps的視頻捕捉場(chǎng)景下，整個(gè)ISP鏈路必須在33ms內(nèi)完成單個(gè)幀的計(jì)算工作，其中留給AI算法進(jìn)行計(jì)算處理的時(shí)間就更短，真正的電光火石之間就要處理到位，而一旦計(jì)算效率、性能不能滿足，視頻處理過(guò)程的效率就會(huì)急劇下降，反應(yīng)在用戶體驗(yàn)上就是嚴(yán)重的卡頓，這自然是無(wú)論如何不能接受的。

另外，任何硬件設(shè)計(jì)、算法設(shè)計(jì)都要考慮功耗，必須在可控范圍內(nèi)，否則就會(huì)導(dǎo)致明顯的手機(jī)發(fā)熱。相信大家都有感觸，日常連續(xù)拍照、拍視頻的時(shí)候，手機(jī)會(huì)明顯發(fā)熱，更何況加入如此復(fù)雜的計(jì)算流程。

因此，為了達(dá)成最佳的影像效果和用戶體驗(yàn)，突破性的算法效果、快速高效的計(jì)算性能、優(yōu)秀可控的計(jì)算能耗，三者是缺一不可的，而麒麟9000 ISP+NPU融合架構(gòu)，恰恰幾乎完美地做到了這一點(diǎn)，才有了最終呈現(xiàn)在我們眼中的精彩影像。

【一路坐強(qiáng)的麒麟：未來(lái)可期】

總的來(lái)說(shuō)，華為手機(jī)這幾年在影像能力上持續(xù)穩(wěn)居世界最前列，拿第一拿到手軟，坐榜首坐到寂寞，不但來(lái)自于精妙的攝像頭系統(tǒng)，更離不開(kāi)麒麟芯片、ISP處理器、NPU神經(jīng)處理單元的鼎力支持。

正是源于這持續(xù)不斷的革新，我們才通過(guò)小小的手機(jī)，越發(fā)清晰地看清、記錄整個(gè)世界的精彩，留下那一個(gè)個(gè)令人難以忘懷的瞬間。

從整個(gè)行業(yè)來(lái)看，目前做到從芯到端協(xié)同升級(jí)的，也只有蘋(píng)果、華為這兩家頂級(jí)巨頭，而蘋(píng)果陶醉在自己的封閉生態(tài)內(nèi)，華為則呈現(xiàn)的是一個(gè)開(kāi)放的世界。

眼下，華為麒麟的發(fā)展遇到了前所未有的桎梏，原本無(wú)限光明的前景蒙上了厚厚的陰影，但打鐵還需自身硬，經(jīng)過(guò)多年來(lái)的一步步穩(wěn)扎穩(wěn)打，相信華為麒麟有實(shí)力面對(duì)任何艱難險(xiǎn)阻。

期待麒麟的下一站更精彩！

責(zé)任編輯：PSY