小米夜梟算法團隊獲大眾評審和攝影師評審兩項世界冠軍

不久前，小米相機部迎來好消息

小米夜梟算法團隊在被譽為“影像算法奧林匹克”的CVPR NTIRE 夜景渲染比賽中，獲得了大眾評審和攝影師評審的兩項世界冠軍。消息一出，公司上下，米粉及影像圈內(nèi)外投來了驚喜、驚嘆以及稱贊的目光。

于是，這不，活兒就應運而生了。我被委任了一項光榮任務，要和夜梟算法團隊的技術(shù)專家聊聊，“夜梟”這項技術(shù)到底咋（duo）回（niu） 事 （bi） 。文科女孩不怕困難，在肝了2周，流下一些含有技術(shù)含量的淚水后，終于，肝出來了！

頂級盛會天花板

夜梟團隊雙奪冠

首先，來隆重介紹一下有“影像算法奧林匹克”之稱的CVPR NTIRE 系列賽。

CVPR，是計算機視覺領(lǐng)域全球最具影響力、內(nèi)容最全面的頂級學術(shù)會議。說得具象一點，與我們耳熟能詳?shù)腘ature 、Science的學術(shù)影響力可等量齊觀。NTIRE，是 CVPR中關(guān)于影像恢復與增強相關(guān)任務的專題研討會，是世界規(guī)模最大、水平最高的圖像恢復與增強的研討會和比賽。

NTIRE 提出業(yè)界前沿困難任務，用競賽形式吸引全球?qū)＜覍W者參與挑戰(zhàn)，而競賽中提出的解決方案也常被學術(shù)圈和工業(yè)界所借鑒，因而備受關(guān)注。今年是第七屆NTIRE 比賽，吸引了南開大學、米蘭大學、華為等眾多國內(nèi)外頂尖大學、研究機構(gòu)和公司參加。

小米夜梟團隊本次參加的是NTIRE首次提出的比賽賽道，大賽提供單張夜景原始RAW圖，參賽者通過研發(fā)夜景渲染解決方案，生成夜景視覺效果圖像。（RAW圖，可以理解為圖片的原始檔案，是沒有被加工，也沒有任何損失的一種格式圖。）

為兼顧專業(yè)性與大眾性，最終夜景效果圖由大眾評審和攝影師評審共同投票評定。這次小米夜梟團隊獲得的雙冠軍，可以說是來自專業(yè)人士與普通用戶的雙重肯定。

與 NTIRE 的其他賽道相比，夜景渲染挑戰(zhàn)需要參賽者自發(fā)摸索和定義目標效果，相當于開放性考試，不僅考驗團隊的技術(shù)能力，也考驗“技術(shù)審美”，難度更大，更具挑戰(zhàn)性。

夜梟算法有多牛

背后技術(shù)是一流

首先，來為大家科普一下「夜梟算法」。算法是用計算機解決問題的方法、步驟。解決不同的問題，需要不同的算法。夜梟算法是聚焦于暗光場景，小米自研的深度學習AI拍照算法，用于提升手機相機拍照和視頻的畫質(zhì)效果。

引用米粉的描述，小米手機+夜梟算法≈小米“夜視儀”。即在黑暗條件下，手機相機在夜梟算法加持下，突破手機相機感光下限，讓照片煥發(fā)「光彩」的技術(shù)。

打個比方，當原始夜景照遇上夜梟算法，立刻碰撞出火花。照片將在不到3秒的時間里，經(jīng)歷去噪、提亮、色彩還原等環(huán)節(jié)，最終恢復出一張細節(jié)清晰、顏色真實、畫面干凈的夜景照片。

經(jīng)過夜梟算法處理的照片，背后調(diào)用了數(shù)十個核心算法，包括AI噪聲估計，AI去噪、AI細節(jié)增強、AI顏色還原、AI提亮、AI夜景深度估計、AI場景分割、AI選幀、AI對齊等。

那么讓夜景照越夜越美，夜梟算法是如何做的呢？

1 夜太黑，「去噪」辨是非

在伸手不見五指的黑夜，未經(jīng)算法處理的照片，自然是漆黑一片。

當對照片進行一點提亮，將得到一張噪聲很大的照片。噪聲，指一切不規(guī)則的信號，體現(xiàn)在照片里的即為圖片噪聲。肉眼看，噪聲大的照片有“糊”的感覺，有時候甚至看不到具體的東西。

造成圖片噪聲的原因有很多，比如夜晚亮度低，燈光復雜，導致采集圖像存在噪聲。以及圖像在手機設(shè)備內(nèi)傳輸成像的過程，也會產(chǎn)生噪聲。

噪聲對圖像是一種“破壞”，去噪則可理解為去除圖像污染，恢復和重建圖像數(shù)據(jù)的過程。小米夜梟算法，通過自主研發(fā)夜晚場景噪聲標定系統(tǒng)，對夜晚場景噪聲的分布和形態(tài)進行數(shù)學建模，在干凈的圖像上同樣添加噪聲，從而補充大量模擬噪聲數(shù)據(jù)，提升訓練數(shù)據(jù)的豐富度，讓去噪更有針對性。

與此同時，小米夜梟算法還自主研發(fā)了極暗光數(shù)據(jù)采集系統(tǒng)，使用多種真實相機進行數(shù)據(jù)采集，補充的數(shù)據(jù)能讓去噪效果更好。

萬事開頭難，圖像去噪是算法處理照片的重中之重，是起點也是重點。

2 夜太美，更需要「完美」的細節(jié)

暗光情況下，拍張好看的人像照不容易。有米粉曾提出疑問，小米 11Ultra 在夜晚拍攝人像時，怎么做到把發(fā)絲、睫毛拍攝的絲絲分明的？

這其實本質(zhì)是一個如何在有效去除圖像噪聲的同時，恢復出更多圖像細節(jié)的問題。從算法原理上看，需要更好地對齊。

打個比方，當你在夜晚舉起手機拍一張夜景照，小米相機里的“算法小機靈鬼”已準備就緒。

當你按下快門，算法其實拍攝了多張照片，它們緊鑼密鼓地進行多張照片的畫面對齊，并分析每張照片特征，擇優(yōu)錄取「真實」的畫面部分，從而融合出一張優(yōu)秀的夜景作品。

通俗解釋容易，背后的技術(shù)不簡單。小米算法團隊首次提出自引導的多尺度融合AI去噪算法，當多幀原圖輸入時，進行亞像素特征對齊和特征級別信息融合，降低拍攝手抖的影響，實現(xiàn)多幀信息的互相補充。

當單幀原圖輸入時，進行多尺度的特征重建，實現(xiàn)單幀內(nèi)信息充分利用。結(jié)合噪聲指導圖，還可以引導算法對不同區(qū)域進行不同程度的融合去噪，指導局部信息殘缺的區(qū)域?qū)崿F(xiàn)細節(jié)恢復，在獲得更好去噪效果的同時，恢復更加豐富的細節(jié)信息。

當我們看到恢復了更多細節(jié)的照片，在視覺上能感受到干凈、舒服。因為算法區(qū)分出了細節(jié)和噪聲，并保留好細節(jié)，比如紋理、發(fā)絲、睫毛，而不是直接抹掉。

如果用解一道難題來比喻，夜梟算法相當于在解決暗光拍照這道考題時，發(fā)現(xiàn)了8種解題思路，并通過深度學習，融合不同思路的完美之處，最終提交了一個近似“圓滿”的答案。

3 夜太深，明暗色彩要分明

夜晚拍攝，由于燈光比較多，發(fā)出的光線不均勻，動態(tài)范圍大?！皠討B(tài)范圍大”就是亮度信息太多，從最亮到最暗的幅度大。此時用手機拍攝，可能出現(xiàn)高光的地方很亮但丟失細節(jié)，稍微暗點的地方則只剩黑暗。

為處理多種光源混合的情況，夜梟算法提出了基于內(nèi)容自適應的AI提亮模型。通過對圖像中不同的區(qū)域進行不同程度提亮，在保證圖像對比度同時，保留亮區(qū)和暗區(qū)的信息，實現(xiàn)讓亮度過渡區(qū)域更平滑、自然。

圖像明暗過渡絲滑后，要想獲得更真的“夜感”，還需要準確地還原夜景的顏色。

還原夜色，需要精準的白平衡估計。白平衡就是白色的平衡，我們看到物體的顏色，會隨著環(huán)境光線出現(xiàn)偏差。夜晚光源較多，比如一只白色的狗在黃色的路燈下會偏黃，出現(xiàn)顏色失真。精確的白平衡估計，是讓照片更真實的必要條件。

Xiaomi 12 Pro 夜梟2.0 VS 友商

為讓夜景顏色更準確，小米夜梟團隊使用deepAWB來實現(xiàn)多光源的白平衡估計，并首提AI色彩還原模型，通過提取圖像中有效內(nèi)容，讓不同區(qū)域有不同的計算權(quán)重，避免受到過亮和過暗區(qū)域干擾造成混合光源顏色失真，提升了夜梟算法對環(huán)境的自適應能力。

Xiaomi 12 Pro 夜梟2.0 VS 友商

也就是說，夜梟算法中的AI提亮模型和顏色矯正模塊，能根據(jù)不同環(huán)境的亮度和場景中的內(nèi)容，實現(xiàn)不同程度的亮度提升和色彩還原，最終得出清晰、明亮的圖像。

哪些坑

可以不踩

和夜梟算法專家雷老師聊完，我基本對夜梟算法從云里霧里到了五體投地的地步。優(yōu)秀算法的關(guān)鍵，源自優(yōu)秀頭腦的寫就，是一群優(yōu)秀工程師的技術(shù)理想。

夜梟團隊已成立近3年，成員多為熱愛研究技術(shù)的年輕工程師。他們主要負責結(jié)合AI 深度學習技術(shù)，提升手機相機拍照和視頻的畫質(zhì)效果，研究方向包括去噪、高動態(tài)、顏色增強等，已經(jīng)交付了不少深受用戶喜愛的研究成果，比如AI大片、夜梟極暗光拍照、夜梟視頻、夜景抓拍等多個有自主知識產(chǎn)權(quán)的核心算法。

夜梟算法最初籌備時，并非是備受關(guān)注的熱門項目。當時為解決夜景拍攝的技術(shù)難題，5位算法工程師憑借對技術(shù)的執(zhí)著、癡迷，以及對待工作的全力以赴，利用不到半年的時間創(chuàng)造出了夜梟算法1.0。夜梟算法更像是一次技術(shù)探索中，意外收獲的驚喜。

夜梟算法推出后，很快得到了多方肯定，并從幕后走到臺前，登上了發(fā)布會。團隊的小伙伴們既興奮又緊張，期待著用戶使用后的反饋。一段時間里，工程師們泡在微博、B站等社交媒體平臺上，聽用戶的反饋，有時候聽得很高興，有時候也會有點小失落?！暗珜Ω倪M有用的，還是會認真看的?！?/p>

這個年輕的團隊始終活力十足，成長速度越來越快，規(guī)模也日漸擴大。

當我問算法專家雷老師，能否提供夜景拍攝的技巧時，這其實并不在工程師的射程范圍內(nèi)。對于夜梟算法的專家來說，相比于拍出一張好看的照片，他們更在意的是底層算法的準確性，以及算法對色彩、場景還原的真實性。“準”與“真”是工程師相信的標準。

但他也從算法的邏輯角度，提出了3個小建議

1/ 穩(wěn)住，才有贏的機會該穩(wěn)定既是情緒上的穩(wěn)定，還有就是手要穩(wěn)，這可以讓算法進行更好地對齊。雖然算法已經(jīng)在一定程度上降低了手抖的影響，但如果拍攝中，手如帕金森般劇烈抖動或者大幅動彈，對于拍攝將毫無益處，穩(wěn)住，贏的幾率更大。

如果你天生手抖，建議可以配一個三腳架或者其他固定工具，用來保持畫面的穩(wěn)定。如果不想配三腳架，也可以把手機放在可以倚靠的固定地方，比如欄桿，或者也可以邀請手部穩(wěn)定同伴幫忙。

2/ 避免拍攝“亮瞎眼”強光源強光源，不是指光頭，而是指光線比較強的物體，當你試圖拍強光源或者強光源下的人時，由于光線進入手機相機鏡頭內(nèi)，發(fā)生了多次的折射與反射，會讓畫面出現(xiàn)難以預測的意外，以及也可能會讓光線跑偏，當然最直接的可能就是被拍攝人打。

3/ 擁有一臺夜拍神器最后，要想得到一個細節(jié)豐富、純凈度好的照片，最好的辦法是擁有一臺配置了夜梟算法的小米手機。目前夜梟算法已經(jīng)應用到小米11 Ultra、小米12 Pro 等小米旗艦手機上，將助力你拍出更美的夜色。

每一次手機影像上的進步，背后都離不開寶藏工程師們。在工程師眼中，代碼是語言，是表達的工具，是創(chuàng)新的力量。未來，伴隨手機硬件和算法的不斷提升，相信小米的工程師們將為手機影像的發(fā)展帶來更多新的體驗。

提到未來的展望，夜梟算法專家雷老師說，手機影像算法不僅會朝著拍照更快、更清晰、顏色更準確、動態(tài)范圍更高的方向發(fā)展，還會根據(jù)用戶更多元的需求，不斷攻堅與創(chuàng)新，為米粉們帶來更好的拍照體驗。

雖然距離「最好」，還有很長的路要走，但務實的工程師們相信，只要鉆研，耐心用時間去實踐，總能開創(chuàng)出遠大前程。