Google的算法原理,Google是怎樣訓(xùn)練神經(jīng)網(wǎng)絡(luò)的？

雖然雙攝手機(jī)已經(jīng)在市場(chǎng)上普及，其所帶來的人像模式、多倍變焦也成為了不少智能手機(jī)的「標(biāo)配」，但仍然有廠商依然堅(jiān)持用一個(gè)攝像頭的配置。

比如以軟件著稱的 Google，從 Pixel 手機(jī)的初代到今天的 Pixel 3 / 3XL，在往今的兩年時(shí)間里（初代 Pixel 于 2016 年發(fā)布），他們?nèi)詧?jiān)持采用單攝配置。

有意思的是，Pixel 不但是 DxOMark 榜單前列的?？停咕氨憩F(xiàn)長期吊打各旗艦， 而且還帶來了比雙攝出品更優(yōu)秀的人像模式出品。

這些其實(shí)都是要?dú)w功于軟件算法和 AI 神經(jīng)網(wǎng)絡(luò)。昨天，Google 就在他們的 Google AI Blog 上解析了 Pixel 3「人像模式」（Portrait Mode）的算法原理。實(shí)際上，他們?cè)谶@套算法上下了不少功夫。

Google 的算法原理

如果你對(duì) Google 的相機(jī)算法陌生，不妨先來了解一下 Pixel 2 的人像算法原理。

去年，Google 通過 AI（神經(jīng)網(wǎng)絡(luò)）算法，讓 Pixel 2 / 2XL 在僅一顆攝像頭的硬件條件下，拍出能與雙攝手機(jī)媲美的人像背景虛化照片。

▲ 圖片來自：Google

通過去年 Google公布的這組對(duì)比圖，我們能快速區(qū)分出左邊的 HDR+ 樣張和右邊 Portrait Mode「人像模式」下的樣張?jiān)诒尘疤摶系牟煌?/p>

正如你所見那樣，在「人像模式」下，人像后的背景被進(jìn)行了軟件虛化處理，與正常 HDR+ 對(duì)比看上去視覺沖擊更強(qiáng)，同時(shí)也避免了背景對(duì)拍攝主體的視覺干擾。

拍攝一張 HDR+ 照片

根據(jù) Google 去年在 AI Blog 的介紹，Pixel 2 的相機(jī)會(huì)先拍攝一組 HDR+ 照片，通過多幀合成，從而提升最終成片的動(dòng)態(tài)范圍、細(xì)節(jié)保留、高光表現(xiàn)。

通過下面這組 HDR+ 的對(duì)比圖，我們能看到該功能在開啟前后的區(qū)別（注意右上角遠(yuǎn)景曝光及地板線條細(xì)節(jié)）。

▲ 左：HDR+ 前；右：HDR+ 后 圖片來自：Google

分割遠(yuǎn)近景

如果你想拍攝一張「人像模式」照片，那么在得到一張 HDR+ 成片后，相機(jī)會(huì)使用 TensorFlow 的 AI 神經(jīng)網(wǎng)絡(luò)將人物像素點(diǎn)、物體的像素點(diǎn)、遠(yuǎn)近物的像素點(diǎn)篩選出來。

Google 在 AI Blog 給出的這組對(duì)比圖能看到更直觀的展示效果：

左邊是 HDR+ 拍攝的原圖，右邊黑色部分是 AI 識(shí)別出來的背景部分，白色部分是被識(shí)別出來的主體人物輪廓（包括人物五官細(xì)節(jié)以及在該輪廓內(nèi)的物體）。

有意思的是，從最終成片中我們能看到，桌上的餅干在 AI 識(shí)別下是屬于「非人」部分，但最終這部分沒有被虛化。這是因?yàn)橄到y(tǒng)除了將主體和背景識(shí)別出來以外，還識(shí)別出了主體周邊的物體，因此 AI 最終沒有將人物下方的物體虛化。因?yàn)檫@部分雖然不屬于對(duì)焦主體，屬于近景，但是這種效果還不是最完美的。

得到深度優(yōu)化圖并合成最終成片

雖然去年的 Pixel 2 和今年的 Pixel 3 系列都沒有配置雙攝像頭，但 Google 似乎一直都不是以硬件取勝的公司，他們更擅長于用軟件和算法去解決問題。

▲ 圖片來自：Google

盡管沒有硬件上的雙攝，但 Pixel 的相機(jī)都配備了 PDAF 雙核相位對(duì)焦技術(shù)，Google 便可以通過像素點(diǎn)劃分將一顆攝像頭「一分為二」：

鏡頭左側(cè)拍攝到的畫面會(huì)和右側(cè)的畫面約有 1mm 的不同視覺間距，如果是在縱向拍攝下，鏡頭則是分為上下兩部分排列。

在拍攝后，系統(tǒng)會(huì)并排兩側(cè)鏡頭拍攝到的像素。通過 Google 自家的 Jump Assembler 算法去得出立體演算的深度優(yōu)化圖，利用雙向求解器將深度圖轉(zhuǎn)變成高解析度。

▲ 圖 1 、2 為上半部分、下半部分相機(jī)拍攝，圖 3 動(dòng)圖為前面兩圖區(qū)別 圖片來自：Google

上圖左邊是通過 PDAF 拍攝并演算得到的深度圖，白色部分越深，代表與鏡頭距離越近；右邊是決定像素模糊程度，黑色部分為「不需模糊」范圍，紅色部分為「需模糊范圍」，通過紅色的深淺，系統(tǒng)會(huì)自動(dòng)判斷出背景虛化的力度。

▲ 最終效果圖

最后系統(tǒng)會(huì)將第 2 步驟分割出的背景圖和第 3 步驟得出的深度圖合并。在 AI 物體的判別下，系統(tǒng)能估算出近景的餅干和瓷盤到對(duì)焦（人物）主體的距離，并進(jìn)行虛化。最終得到了比步驟 2 的初級(jí)處理更全面和自然的人像照片。

對(duì)比步驟 2 和步驟 3 最終的效果圖，你能看到位于近景的餅干也被適當(dāng)虛化了。通過軟件算法，我們能將虛化范圍「捏造」成任何形狀。

Google 是怎樣訓(xùn)練神經(jīng)網(wǎng)絡(luò)的？

了解了 Pixel 2 的人像模式原理，那么 Pixel 3 的優(yōu)化就不難理解了。

通過軟件算法，相機(jī)系統(tǒng)可大致估算出對(duì)焦主體和背景的距離，并對(duì)遠(yuǎn)景進(jìn)行虛化。但在手持拍攝時(shí)，手機(jī)難免會(huì)出現(xiàn)輕微的抖動(dòng)，因而影響到最終虛化效果。正是如此，此前有不少用戶在 Pixel 2 系列上遇到了景深識(shí)別錯(cuò)誤的問題。

據(jù) Google AI Blog 的介紹，基于神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的特性，在 Pixel 3 上，Google 正通過增加對(duì) AI 系統(tǒng)的識(shí)別提示和訓(xùn)練 AI 神經(jīng)網(wǎng)絡(luò)的算法，去修復(fù)「人像模式」中的識(shí)別誤差問題。

例如，通過像素點(diǎn)數(shù)量去判斷物體與鏡頭的遠(yuǎn)近距離，得出給 AI 更精準(zhǔn)的距離判斷結(jié)果；或者通過對(duì)焦點(diǎn)內(nèi)外的清晰情況，給 AI 提供散焦提示。

Franken Phone」是 Google 用于訓(xùn)練由 TensorFlow 編寫的神經(jīng)網(wǎng)絡(luò)系統(tǒng)的裝置，這套裝置由 5 臺(tái) Pixel 3 和 WiFi 組成。

在測(cè)試時(shí)，Google 會(huì)用 Franken Phone 里的 5 臺(tái)手機(jī)在不同的角度同時(shí)拍攝，最終得出一張由多個(gè)角度、和立體算法合成的動(dòng)態(tài)深度圖。從而達(dá)到模擬拍攝動(dòng)態(tài)、在復(fù)雜場(chǎng)景下訓(xùn)練神經(jīng)網(wǎng)絡(luò)精準(zhǔn)識(shí)別出人物（近景）和背景（遠(yuǎn)景）的目的。

▲ 圖一為 Google Franken Phone。圖片來自：Google

當(dāng)然，如果您對(duì) Google 這套算法感興趣，也可以自己動(dòng)手去親自研究他們。Google AI Blog表示，在使用 Google Camera App 6.1 版本的「人像模式」拍攝后，通過 Google Photos 能查看照片的深度圖了。

或者，您也可以通過第三方軟件提取深度圖，去看看在 AI 神經(jīng)網(wǎng)絡(luò)優(yōu)化下識(shí)別方式。