馬里亞納 MariSilicon X芯片或?qū)⑹装l(fā)搭載Find X系列手機(jī)

火熱的芯片市場(chǎng)又迎來(lái)了一個(gè)新玩家。12月，OPPO在主題為“致善·前行”的OPPO 2021年度未來(lái)科技大會(huì)（OPPO INNO DAY 2021）上正式發(fā)布了其首款影像專用NPU——馬里亞納 MariSilicon X芯片。該芯片采用了DSA架構(gòu)和臺(tái)積電的6nm工藝，算力和能效比十分均衡，同時(shí)還融合了OPPO積累多年的影像處理技術(shù)，將計(jì)算影像推向了4K+20bit RAW+AI+Ultra HDR的新極限。

據(jù)悉，在新NPU的支持下，夜景視頻將會(huì)有新的突破，搭載馬里亞納 MariSilicon X的手機(jī)將可以在4K AI HDR視頻中實(shí)現(xiàn)超清夜景照片的清晰畫質(zhì)，讓視頻的每一幀都是一張好照片。那么，MariSilicon X是如何實(shí)現(xiàn)夜景視頻的優(yōu)秀性能的呢？讓我們看看這顆芯片到底有何過(guò)人之處。

MariSilicon X芯片的主要架構(gòu)和核心參數(shù)

馬里亞納 MariSilicon X采用的是DSA（Domain Specific Architecture）新黃金架構(gòu)理念，里面包括了兩大核心IP：MariNeuro AI計(jì)算單元和MariLumi影像處理單元。還有專為MariNeuro AI計(jì)算單元配置的雙層存儲(chǔ)架構(gòu)，包括萬(wàn)億比特每秒（Tb/s）讀寫速度的片上內(nèi)存子系統(tǒng)，以及8.5GB/s的獨(dú)立DDR帶寬，為AI的高效運(yùn)算提供充足的內(nèi)存讀寫支持。

所謂的DSA架構(gòu)，就是一種更加以應(yīng)用場(chǎng)景為中心的設(shè)計(jì)思路，通過(guò)特殊的計(jì)算架構(gòu)，為解決特定領(lǐng)域的問(wèn)題提供強(qiáng)大且高效的性能。DSA架構(gòu)尤其適用于AI領(lǐng)域。通俗地講，就是專芯專用，設(shè)計(jì)出來(lái)的芯片不是解決所有問(wèn)題，而是解決特定的一類問(wèn)題，從而滿足對(duì)效率的需求。

也就是說(shuō)，馬里亞納 MariSilicon X就是一顆專為影像而生的NPU芯片，它只做一件事，那就是把影像做到極致。它的具體核心配置可以參考表1。

專芯專用，跨越算力鴻溝

OPPO芯片產(chǎn)品高級(jí)總監(jiān)姜波表示，基于DSA的設(shè)計(jì)理念，OPPO將專用的AI算法進(jìn)行了芯片化，在芯片的底層硬件中，直接嵌入了適合這一算法的算子。MariNeuro AI計(jì)算單元就是專門用來(lái)實(shí)現(xiàn)像素級(jí)圖像處理的，它的有效算力高達(dá)18TOPS，每秒可以進(jìn)行18萬(wàn)億次的運(yùn)算。

眾所周知，算力是一切計(jì)算的基礎(chǔ)，而在手機(jī)影像的應(yīng)用中，算力一般分為四個(gè)等級(jí)，分別是場(chǎng)景感知、場(chǎng)景重構(gòu)、像素級(jí)處理和多維度立體圖像處理。AI在影像領(lǐng)域的不同的應(yīng)用場(chǎng)景中，對(duì)算力有著不同的需求。

傳統(tǒng)的計(jì)算攝影由于算力的限制，只能做到場(chǎng)景重構(gòu)這一層級(jí)，比如大部分手機(jī)目前對(duì)于人像處理時(shí)采用的人臉檢測(cè)和美顏的計(jì)算。想要更進(jìn)一步，逐個(gè)像素對(duì)圖像進(jìn)行處理，乃至未來(lái)對(duì)AR/VR的三維圖像進(jìn)行實(shí)時(shí)處理，高算力是必不可少的?！案鶕?jù)OPPO的測(cè)試經(jīng)驗(yàn)，實(shí)現(xiàn)像素級(jí)的圖像處理至少需要10-50TOPS級(jí)別的算力。”姜波表示。

他同時(shí)強(qiáng)調(diào)，堆砌算力并非重點(diǎn)。算力往往可以通過(guò)提升計(jì)算主頻或者增加計(jì)算核心數(shù)量來(lái)粗暴地實(shí)現(xiàn)，而更具挑戰(zhàn)的是在手機(jī)的功耗發(fā)熱約束之下依然能夠?qū)崿F(xiàn)高算力，這就是能效比的重要性。

馬里亞納 MariSilicon X 的能效比就達(dá)到了11.6 TOPS/W，這也是手機(jī)AI能效罕見(jiàn)地實(shí)現(xiàn)了雙位數(shù)的每瓦性能，是手機(jī)NPU芯片AI能效新的里程碑。

在OPPO的實(shí)際測(cè)試中，采用了OPPO自研的AI降噪算法（這一算法目前已經(jīng)應(yīng)用在了Find X3 Pro的夜景拍照中）。在實(shí)際的測(cè)試中，這樣的算法加載在Find X3 Pro上，AI的性能只能做到2fps，而功耗則接近1.7W；這樣的幀率，完全不夠視頻最低的30fps的要求。而1.7W的功耗，也遠(yuǎn)遠(yuǎn)超出了手機(jī)對(duì)視頻處理的最高功耗要求。

而同樣的模型加載在馬里亞納 MariSilicon X的時(shí)候，可以做到40fps的運(yùn)行速度，同時(shí)功耗只有不到0.8W，這樣的性能是20倍的提升，功耗則不到之前的一半?！霸綄Ｓ?，越高效，在這組實(shí)測(cè)數(shù)據(jù)中得到了最好的體現(xiàn)。”姜波分享說(shuō)。

除了算力，AI神經(jīng)網(wǎng)絡(luò)的處理速度還受限于內(nèi)存的容量和讀寫速度，也就是行業(yè)常說(shuō)的馮·諾依曼“內(nèi)存墻”瓶頸。計(jì)算單元的運(yùn)算速度和傳輸速度就像一個(gè)木桶中的不同木板，最短的那個(gè)限制了計(jì)算單元的能力。

為了更好地發(fā)揮馬里亞納 MariSilicon X的運(yùn)算能力，OPPO非常奢侈地集成了雙層存儲(chǔ)架構(gòu)，包括萬(wàn)億比特每秒（Tb/s）級(jí)讀寫速度的片上內(nèi)存子系統(tǒng)，以及8.5GB/s的獨(dú)立DDR帶寬，為AI的高效運(yùn)算提供充足的內(nèi)存讀寫支持。

片上內(nèi)存子系統(tǒng)集成在AI計(jì)算單元MariNeuro上，只服務(wù)于與AI運(yùn)算相關(guān)的數(shù)據(jù)吞吐，最高可以提供數(shù)十倍于目前手機(jī)中最先進(jìn)的LPDDR5的數(shù)據(jù)傳輸速度，極大程度地降低數(shù)據(jù)在存儲(chǔ)與計(jì)算兩個(gè)單元的繁復(fù)讀寫，讓AI數(shù)據(jù)在計(jì)算的時(shí)候不需要離開AI計(jì)算單元，這就能大幅降低計(jì)算時(shí)的功耗。

不僅如此，馬里亞納 MariSilicon X獨(dú)立的DDR帶寬專門為芯片內(nèi)的各個(gè)IP提供獨(dú)立帶寬，也在SoC的基礎(chǔ)上，增加了17%的系統(tǒng)總帶寬。

此外，OPPO還為內(nèi)存子系統(tǒng)和獨(dú)立DDR帶寬設(shè)計(jì)了分層結(jié)構(gòu)與多行并行流程，保證圖像數(shù)據(jù)在MariLumi影像處理單元與MariNeuro AI計(jì)算單元間的輸入與輸出可以實(shí)現(xiàn)最低的時(shí)延，降低因反復(fù)讀寫數(shù)據(jù)造成的功耗，令視頻處理更快更高效。

AI降噪算法前置，帶來(lái)更優(yōu)畫質(zhì)

馬里亞納 MariSilicon X里面另外一個(gè)重要的自研IP——MariLumi 影像處理單元，它針對(duì)視頻流趨勢(shì)進(jìn)行了獨(dú)特設(shè)計(jì)，能夠流暢地面向4K規(guī)格的視頻數(shù)據(jù)量進(jìn)行計(jì)算。像素級(jí)的處理速度也讓智能HDR融合算法可以在這顆單元的前端運(yùn)行，最終令畫面動(dòng)態(tài)范圍達(dá)到了20bit 120db（20 stops），相比Find X3 Pro提升4倍，達(dá)到20bit Ultra HDR超級(jí)動(dòng)態(tài)范圍。20bit-120dB意味著對(duì)于一張圖片而言，最暗和最亮的部分相差100萬(wàn)倍。

姜波指出，OPPO通過(guò)該芯片的HDR能力，可以將原來(lái)只屬于白天的動(dòng)態(tài)范圍，首次拓展到在夜間視頻上。相比Find X3的方案來(lái)看，馬里亞納 MariSilicon X處理后的視頻畫面更自然，動(dòng)態(tài)范圍達(dá)到人眼可分辨的極限。

其實(shí)，從鏡頭到最終存儲(chǔ)的影像，是一個(gè)數(shù)據(jù)不斷壓縮的過(guò)程。具體來(lái)看，影像處理過(guò)程中涉及3個(gè)空間，RAW-RGB-YUV，數(shù)據(jù)每經(jīng)過(guò)一次轉(zhuǎn)換，就會(huì)受到一定損失。

RAW是原始數(shù)據(jù)的空間，這里承接的是從傳感器光電轉(zhuǎn)換得來(lái)的所有無(wú)損數(shù)據(jù)，有著更豐富的信息量和更大的數(shù)據(jù)量。但RAW域的圖像信息是無(wú)法直接觀看的，必須在RGB域“上色”，再輸出到Y(jié)UV域進(jìn)行格式轉(zhuǎn)化，最后生成JPEG/HEIF等可在屏幕上觀看的格式。

RAW有一個(gè)好處就是它的線性度、色彩比較好，有更原始的信息，所以在RAW上處理，可以得到更好的處理效果。但算法復(fù)雜度、實(shí)際相應(yīng)的硬件投入都會(huì)更多。因此，傳統(tǒng)的HDR都選擇在YUV里合成。

而馬里亞納 MariSilicon X將傳統(tǒng)在后端的處理前置到了RAW域，并且因?yàn)閺?qiáng)大的算力，最高可以支持20bit位寬的RAW數(shù)據(jù)處理。而且是基于更先進(jìn)的AI算法和20bit HDR融合的計(jì)算，對(duì)每個(gè)像素做實(shí)時(shí)的計(jì)算。

通過(guò)算法前置，MariSilicon X能夠?yàn)檎麄€(gè)鏈路帶來(lái)最多8dB的信噪比提升，這意味著在YUV等待計(jì)算的通用平臺(tái)，拿到的也是更優(yōu)質(zhì)的圖像信息，就能夠在后處理，比如色調(diào)映射、3A校準(zhǔn)等基礎(chǔ)計(jì)算實(shí)現(xiàn)更高質(zhì)量的表現(xiàn)。

打破影像的不可能三角

人工智能的三要素是數(shù)據(jù)、算力和算法，對(duì)應(yīng)到計(jì)算影像上來(lái)說(shuō)就是傳感器、芯片和AI算法，這三者環(huán)環(huán)相扣，缺一不可。但行業(yè)主要面臨的問(wèn)題，就是傳感器、芯片和算法的技術(shù)發(fā)展不同步。一般來(lái)說(shuō)，芯片的開發(fā)周期基本需要兩年以上，傳感器則是一年一代更新迭代，而算法開發(fā)和訓(xùn)練所需的時(shí)間則更短，這就意味著很難有廠商可以將三者在一個(gè)時(shí)間節(jié)點(diǎn)上完美調(diào)優(yōu)。

此外，在傳統(tǒng)的技術(shù)生態(tài)中，傳感器、芯片和影像算法會(huì)由產(chǎn)業(yè)鏈中不同領(lǐng)域的公司負(fù)責(zé)。假設(shè)有企業(yè)要做一顆芯片，通常的做法是去找專業(yè)的算法公司來(lái)購(gòu)買算法，再找一個(gè)前端公司做芯片的邏輯設(shè)計(jì)，很少有公司會(huì)負(fù)責(zé)所有部分。這樣做在公司運(yùn)營(yíng)和成本方面好處有很多，但也帶來(lái)了用戶體驗(yàn)上的問(wèn)題——無(wú)法耦合各個(gè)模塊，也就無(wú)法將指標(biāo)做到最優(yōu)。

完美打通算法、芯片和傳感器是行業(yè)中長(zhǎng)期以來(lái)都無(wú)法解決的問(wèn)題，“我們稱之為手機(jī)影像的「不可能三角」?！苯ń忉尫Q。

如今，OPPO通過(guò)自己在影像領(lǐng)域的技術(shù)和算法積累，再加上近年來(lái)逐步建構(gòu)起的芯片設(shè)計(jì)能力，通過(guò)自研芯片和自研算法的整合，自研芯片和深度定制傳感器的配合，以及自研芯片和通用平臺(tái)的打通，打破手機(jī)影像的不可能三角。

RGBW Pro模式就是打破手機(jī)影像的不可能三角最好的例證。通過(guò)雙通路設(shè)計(jì)，馬里亞納 MariSilicon X實(shí)現(xiàn)了對(duì)RGB和W像素的分隔處理，最大化利用每一種像素特性，釋放出RGBW陣列的全部潛力。馬里亞納 MariSilicon X的RGBW Pro模式帶來(lái)了8.6dB的信噪比提升，以及1.7倍的解析力提升，在傳感器尺寸規(guī)格都沒(méi)有變化的前提下實(shí)現(xiàn)大幅的影像效果增強(qiáng)。

四項(xiàng)能力突破，解決夜景視頻畫質(zhì)問(wèn)題

得益于前面提到的技術(shù)，馬里亞納 MariSilicon X獲得了四項(xiàng)關(guān)鍵的技術(shù)能力，即（1）強(qiáng)大的AI計(jì)算能效；（2）領(lǐng)先行業(yè)的Ultra HDR；（3）無(wú)損的實(shí)時(shí)RAW計(jì)算；（4）最大化傳感器能力的RGBW Pro。而這思想能力的突破，讓OPPO可以解決手機(jī)影像長(zhǎng)期尚未解決的難題——夜景視頻畫質(zhì)的問(wèn)題。

在全新標(biāo)準(zhǔn)之下，安卓影像第一次有能力同時(shí)支持4K + 20bit RAW + AI + Ultra HDR的極限規(guī)格。最終的結(jié)果，就是夜景視頻的畫質(zhì)得到了質(zhì)的提升。

從1080P到4K：傳統(tǒng)弱光下的視頻拍攝，只要打開AI視頻增強(qiáng)，由于算力所限，畫質(zhì)被限制在1080P。馬里亞納 MariSilicon X超強(qiáng)AI性能將分辨率提升了4倍，首次讓AI計(jì)算夜景視頻達(dá)到4K規(guī)格。

從有損到無(wú)損：相較于傳統(tǒng)計(jì)算影像都發(fā)生在YUV域的有損后處理，馬里亞納 MariSilicon X將復(fù)雜的計(jì)算前置在RAW域，為整體影像鏈路輸出更高質(zhì)量的原始圖像信息。

從AI拍照到AI視頻：馬里亞納 MariSilicon X也讓原本只能用于拍照的AI降噪算法，首次拓展到了視頻應(yīng)用，為視頻的每一幀帶來(lái)極高的純凈度。

從18bit HDR到20bit Ultra HDR：馬里亞納 MariSilicon X支持的畫面動(dòng)態(tài)范圍達(dá)到了20bit Ultra HDR，是目前主流平臺(tái)18bit的4倍（2的20次方與2的18次方相比），信噪比達(dá)到120db，讓視頻的每一幀都擁有和人眼一致的動(dòng)態(tài)范圍。

結(jié)語(yǔ)

總的來(lái)說(shuō)，馬里亞納 MariSilicon X是一顆極致功耗的NPU，結(jié)合20bit的HDR，RAW處理、以及RGBW傳感器的耦合，加上OPPO多年來(lái)在影像技術(shù)方面的探索和影像算法方面的積累，將視頻拍攝推向了一個(gè)新的高度。

以前，手機(jī)上只能做YUV的1080p的AI降噪處理，有了馬里亞納 MariSilicon X的助力后，4K的AI在RAW上實(shí)現(xiàn)了可能，讓用戶體驗(yàn)有了4倍的提升。也就是說(shuō)，有了馬里亞納 MariSilicon X后，不論是拍照，還是錄視頻；也不論是拍夜景，還是錄夜景視頻，用戶都將得心應(yīng)手。

一般來(lái)說(shuō)，消費(fèi)類電子產(chǎn)品使用的芯片是一年一升級(jí)，明年的馬里亞納 MariSilicon X是否會(huì)推出其第二代產(chǎn)品呢？姜波回應(yīng)稱，對(duì)于下一代產(chǎn)品，目前已經(jīng)在探索中了。

最后，姜波透露說(shuō)，馬里亞納 MariSilicon X芯片將會(huì)首先搭載在Find X系列手機(jī)上，預(yù)計(jì)明年一季度就可以與廣大用戶見(jiàn)面，請(qǐng)大家拭目以待。

原文標(biāo)題：OPPO造芯，首推6nm影像專用NPU芯片劍指夜景視頻

文章出處：【微信公眾號(hào)：電子發(fā)燒友網(wǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。