曠視科技是如何做FaceID的？

“刷臉”曾一度是人們互相調(diào)侃時(shí)的用語(yǔ)，如今早已深深地融入我們的生活。從可以人臉解鎖的手機(jī)，到人臉識(shí)別打卡機(jī)，甚至地鐵“刷臉”進(jìn)站……

人臉識(shí)別技術(shù)越來(lái)越多地應(yīng)用在了各種身份驗(yàn)證場(chǎng)景，在這種看起來(lái)發(fā)生在電光火石之間的應(yīng)用背后，又有哪些不易察覺(jué)的技術(shù)在做精準(zhǔn)判別？算法又是通過(guò)何種方式來(lái)抵御各種欺詐式攻擊？

我們近期邀請(qǐng)到曠視科技產(chǎn)品總監(jiān)彭建宏，他負(fù)責(zé) FaceID 在線身份驗(yàn)證云服務(wù)的產(chǎn)品設(shè)計(jì)。在本次公開(kāi)課上，他講述了深度學(xué)習(xí)在互聯(lián)網(wǎng)身份驗(yàn)證服務(wù)中的應(yīng)用以及人臉識(shí)別活體檢測(cè)（動(dòng)作、炫彩、視頻、靜默）技術(shù)應(yīng)用場(chǎng)景及實(shí)現(xiàn)方式。

以下為彭建宏公開(kāi)課演講內(nèi)容實(shí)錄：

今天我們主要說(shuō)的是 FaceID，它在我們產(chǎn)品矩陣?yán)锔袷且惶捉鉀Q方案，是身份驗(yàn)證的金融級(jí)解決方案。我們?cè)谏钪杏泻芏鄨?chǎng)景是想驗(yàn)證，證明你是你。

基本所有的互聯(lián)網(wǎng)金融公司都會(huì)在我們借貸的時(shí)候要去驗(yàn)證你是你，這就需要做一個(gè)你是你這樣一個(gè)證明，所以如何提供一套可靠的方案去驗(yàn)證你是你這件事情就已經(jīng)變得非常重要，大家可能很容易想到驗(yàn)證的方法有很多，包括之前大量使用的指紋識(shí)別，還有一些電影里邊經(jīng)常出現(xiàn)的虹膜識(shí)別，還有最近特別火的人臉識(shí)別。

下面我說(shuō)一下技術(shù)特點(diǎn)。關(guān)于人臉識(shí)別，大家很容易想到第一個(gè)特點(diǎn)就是體驗(yàn)非常好，非常自然、便利，但它的缺點(diǎn)也很多，首先隱私性更差，我們要想獲得別人的指紋和虹膜的代價(jià)非常大，但是要獲得別人面部的照片這個(gè)代價(jià)就非常的小了。第二是由于光照、年齡、胡須、還有眼鏡等等因素，人臉識(shí)別的穩(wěn)定性會(huì)比較低。第三是指紋識(shí)別、虹膜識(shí)別都有主動(dòng)性，人臉識(shí)別具有被動(dòng)性，這也是之前 iPhoneX 剛出來(lái)的時(shí)候，很多人擔(dān)心不經(jīng)意被人錯(cuò)刷，或者去誤刷支付或者檢索等等——弱陰私性，弱穩(wěn)定性還有被動(dòng)性，就對(duì)人臉識(shí)別的商業(yè)化應(yīng)用提出了更高的技術(shù)要求。

深度學(xué)習(xí)技術(shù)的迅猛發(fā)展，使得圖像識(shí)別、分類跟檢測(cè)的準(zhǔn)確率大幅提高，但真正要做成一套金融級(jí)解決方案還不是那么簡(jiǎn)單的，這張圖就展示了一個(gè)整體的 FaceID 提供的金融級(jí)整體的解決方案。

在這個(gè)架構(gòu)圖中，我們可以看到，F(xiàn)aceID 的用戶提供了多種產(chǎn)品形態(tài)，包括移動(dòng)端的 SDK，H5，微信/小程序、第三方渠道 APP 以及 PC 端。從功能上來(lái)說(shuō)呢，我們的產(chǎn)品包括身份證的質(zhì)量檢測(cè)、身份證 OCR 識(shí)別、活體檢測(cè)、攻擊檢測(cè)以及人臉比對(duì)，整個(gè)解決方案可以看出是建立在云跟端兩個(gè)基礎(chǔ)上，我們?cè)诙松咸峁┝?UI 解決方案，就提供 UI 界面可以方便集成，如果覺(jué)得我們的 UI 做得不符合大家的要求，也可以去做一些定制化開(kāi)發(fā)，整個(gè)核心功能里有活體檢測(cè)，在端上跟云上分別有自己的實(shí)現(xiàn)。

同時(shí)針對(duì)不同的活體攻擊方案，還會(huì)采用不同的活體策略。我們?cè)诂F(xiàn)實(shí)中的活體檢測(cè)中，線上運(yùn)營(yíng)會(huì)實(shí)時(shí)收集各種圖片做標(biāo)注，及時(shí)把算法進(jìn)行更新，可以確保最新的攻擊可以在第一時(shí)間內(nèi)進(jìn)行響應(yīng)和返饋，這也是為我們整個(gè)深度學(xué)習(xí)算法不斷注入新血液。

▌身份證采集

整個(gè)流程是這樣的，用戶會(huì)先進(jìn)行身份證采集，系統(tǒng)其實(shí)會(huì)要求用戶先去拍一張身份證的正面跟反面，這個(gè)過(guò)程是在端上進(jìn)行完成的。拍攝以后，我們會(huì)在云上進(jìn)行，OCR 識(shí)別是在云上完成的，我們不僅會(huì)去識(shí)別身份證上面的信息，還會(huì)去識(shí)別這個(gè)身份證的一些分類。由于不同的業(yè)務(wù)場(chǎng)景不同，這個(gè)分類信息會(huì)反饋給用戶，用戶來(lái)判斷是否接受。在很多嚴(yán)肅的場(chǎng)景下，很多客戶可能只能接受身份證原件，識(shí)別出來(lái)的文字我們也會(huì)根據(jù)用戶的業(yè)務(wù)不同做相應(yīng)不同的處理，因?yàn)橛行┛蛻艟鸵覀冏R(shí)別出來(lái)的文字，用戶是不能去修改身份證號(hào)和姓名的。

我們?cè)?OCR 里面還加入了很多邏輯判斷，例如大家知道在身份證號(hào)里面是可以看出來(lái)用戶生日還有性別信息，如果我們發(fā)現(xiàn)身份證上的生日跟身份證號(hào)判斷出來(lái)的信息不一樣，我們就會(huì)在 API 的結(jié)果里面給用戶返回邏輯錯(cuò)誤，這是用戶可以根據(jù)業(yè)務(wù)邏輯可以自行進(jìn)行處理的。

這個(gè)展示就是我們身份證采集以及身份證 OCR 的一些場(chǎng)景。先通過(guò)手機(jī)的攝像頭去采集，在我們的云端去完成 OCR 識(shí)別以及物體分類，可以去判斷是不是真實(shí)的身份證。有一個(gè)需要討論的問(wèn)題是，為什么我們把 OCR 放在了云端，而不是放在手機(jī)的 SDK 端呢？這個(gè)主要是安全方面的考慮，如果信息被黑客攻破，這在端上是相當(dāng)危險(xiǎn)的事。

▌活體攻擊檢測(cè)方案

下面我們來(lái)去討論一下最重要的活體攻擊。在我們的產(chǎn)品里面提供了多種活體攻擊的檢測(cè)方案，包括隨機(jī)、動(dòng)態(tài)的活體，包括視頻活體、炫彩活體等等?；铙w檢測(cè)是我們整個(gè) Face ID 最重要的一環(huán)，也是我們最重要的核心優(yōu)勢(shì)。這個(gè) PPT 展示的是我們的動(dòng)作活體，用戶可以根據(jù)我們的 UI 提示進(jìn)行點(diǎn)頭、搖頭這樣的隨機(jī)動(dòng)作，所以我們每次隨機(jī)動(dòng)作都是 Serves 端去發(fā)出的，這樣也保證我們整個(gè)動(dòng)作的安全性。這里面有些技術(shù)細(xì)節(jié)，包括人臉質(zhì)量檢測(cè)，人臉關(guān)鍵點(diǎn)的感測(cè)跟跟蹤，臉部的 3D 姿態(tài)的檢測(cè)。這是我們整個(gè)技術(shù)的一些核心競(jìng)爭(zhēng)力。然后我們會(huì)幫助用戶定義一套 UI 界面，如果用戶覺(jué)得我們 UI 界面不好也可以直接去修改。

我們提供一種叫炫彩活體的檢測(cè)方法，這個(gè)是 Face++ 獨(dú)特獨(dú)創(chuàng)的一種根據(jù)反射光三維成像的原理進(jìn)行活體檢測(cè)，從原理上杜絕了各種用 3D 軟件合成的視頻、屏幕翻拍等等的攻擊。從產(chǎn)品形態(tài)上來(lái)說(shuō)本身又是一個(gè)視頻，現(xiàn)在可能看不到，就是屏幕會(huì)發(fā)出一種特定圖案進(jìn)行活體判斷。

現(xiàn)在活體有一個(gè)比較大的問(wèn)題是當(dāng)在強(qiáng)光下它的質(zhì)量檢測(cè)方法，效果不太好，我們?cè)谧詈髸?huì)配合一個(gè)簡(jiǎn)單的點(diǎn)圖動(dòng)作，這樣就提高了整個(gè)攻擊的門檻，然后針對(duì)移動(dòng) H5 的場(chǎng)景我們主要推出了一個(gè)視頻活體的檢測(cè)方法，用戶會(huì)根據(jù) UI 提供的一個(gè)數(shù)字去讀這樣一個(gè)四位數(shù)字，同時(shí)我們會(huì)去判斷，不僅會(huì)去做云方面的識(shí)別，還會(huì)做傳統(tǒng)方面的識(shí)別，以及兩者之間的語(yǔ)音跟聲音同步檢測(cè)。

這樣通過(guò)這三種方案去判斷就是活體檢測(cè)，除了剛才我們介紹的一些比較典型的方法之外，我們也在去嘗試一些新的包括雙角度活體跟靜默活體。雙角度活體是用戶拍一張正臉的自拍照與側(cè)面自拍照，通過(guò)這種 3D 建模重建的方式來(lái)判斷是不是真人，我們的雙角度活體，靜默活體，為用戶提供一種非常好的用戶體驗(yàn)，相當(dāng)于用戶拍一個(gè)兩秒鐘的視頻。

我們會(huì)將這個(gè)視頻傳到云端，這樣我們不僅會(huì)去做單幀的活體檢測(cè)，還會(huì)去做多幀之間的這種關(guān)聯(lián)性活體檢測(cè)，這樣通過(guò)兩種動(dòng)靜結(jié)合的方法去判斷受測(cè)人是不是真人。

除了活體檢測(cè)之外，我們還提供了一套叫做 FMP 的攻擊檢測(cè)，可以有效去識(shí)別翻拍，面具攻擊，這是在我們的云端完成的。這是我們基于大量的人臉數(shù)據(jù)訓(xùn)練出一套叫 FMP 的深度神經(jīng)網(wǎng)絡(luò)，并且根據(jù)線上的數(shù)據(jù)進(jìn)行實(shí)時(shí)返回和調(diào)整，不斷去識(shí)別準(zhǔn)確率，這也是我們整個(gè)活體檢測(cè)里一個(gè)最重要的技術(shù)難點(diǎn)。

▌人臉比對(duì)

活體檢驗(yàn)之后，我們就可以進(jìn)行人臉比對(duì)的環(huán)節(jié)。我先簡(jiǎn)單跟大家介紹一下人臉識(shí)別的一個(gè)基本原理：首先我們會(huì)從一幅圖片里面去做人臉檢測(cè)并做出標(biāo)識(shí)，相當(dāng)于在一張圖片里面找到這張人臉，并且表示出整個(gè)人臉上的一些基本關(guān)鍵點(diǎn)，如眼睛、眉毛等等。

下面要做的是將一些人臉關(guān)鍵點(diǎn)進(jìn)行對(duì)齊，作用是為之后的人臉識(shí)別算法提供數(shù)據(jù)預(yù)處理，可以提高整個(gè)算法準(zhǔn)確度。然后，我們會(huì)把整個(gè)人臉的那部分摳出來(lái)，這樣就可以避免周圍物體對(duì)它的影響，摳完之后的人臉會(huì)經(jīng)過(guò)深度學(xué)習(xí)網(wǎng)絡(luò)，最終生成一個(gè)叫做表示的東西，可以把表示理解為這張圖片生成的一張向量，認(rèn)為是在機(jī)器認(rèn)知里面這張圖片就是通過(guò)這樣的向量來(lái)進(jìn)行表示的。但這個(gè)怎么樣去衡量這個(gè)標(biāo)識(shí)能夠真實(shí)的刻畫(huà)出這張真實(shí)的人臉？

我們現(xiàn)在有個(gè)原則：如果同一個(gè)人，我們希望表示之間的距離要盡量的近，如果是不同的人，我們希望表示的距離盡量的遠(yuǎn)，這就是我們?nèi)ピu(píng)價(jià)一個(gè)深度學(xué)習(xí)出來(lái)的一個(gè)表示好壞。然后基于這樣的表示，在人臉識(shí)別里邊有兩個(gè)比較大的應(yīng)用，我們分別叫做 1：1 與 1：N 的識(shí)別。

前者主要是比較兩張人臉識(shí)別是不是同一個(gè)人，它的原理是我們?nèi)ビ?jì)算兩張人臉表示的距離，如果這個(gè)距離小于一個(gè)域值，我們就會(huì)認(rèn)為這個(gè)是同一個(gè)人，如果是大于某一域值，我們就認(rèn)為它不是同一個(gè)人，在不同的誤識(shí)率下，我們會(huì)提供不同的域值。第二個(gè) 1：N 的應(yīng)用，主要應(yīng)用場(chǎng)景是安防，也就是說(shuō)我們提供一張人臉照片，在數(shù)據(jù)庫(kù)里面去查找已知，最相似的這樣一個(gè)人臉是 1：7 的應(yīng)用，F(xiàn)aceID 主要應(yīng)用的技術(shù)場(chǎng)景是 1：1。

當(dāng)我們通過(guò) OCR 去識(shí)別出來(lái)用戶姓名、身份證號(hào)，并通過(guò)活體檢測(cè)之后，我們會(huì)從公安部的權(quán)威數(shù)據(jù)庫(kù)里面去獲得一張權(quán)威照片，會(huì)跟用戶視頻采集到的一張高質(zhì)量照片進(jìn)行比對(duì)，會(huì)返回給用戶是不是一致，當(dāng)然我們不會(huì)去直接告訴用戶是不是一致，而是會(huì)通過(guò)這種近似度的方式告知。

大家可以看一下左側(cè)的這張表，然后這邊的返回值里面提供了千分之一、萬(wàn)分之一、十萬(wàn)分之一不同的近似度，這些表示的是誤識(shí)率，在不同的誤識(shí)率下會(huì)有一個(gè)域值，假設(shè)我們認(rèn)為在千分之一誤識(shí)率下，如果分?jǐn)?shù)大于 60 分，我們就會(huì)認(rèn)為是同一個(gè)人，所以這兩張照片，我發(fā)現(xiàn)他們的這個(gè)近似度是 75，我們會(huì)說(shuō)在萬(wàn)分之一的誤識(shí)率下是同一個(gè)人，但是在十萬(wàn)分之一這種誤識(shí)率下可能他們不是同一個(gè)人。

這里有一個(gè)細(xì)節(jié)是我們的照片數(shù)據(jù)源可能會(huì)提供不同的整個(gè)時(shí)間造成不同的障礙，正常的話，我們會(huì)有一個(gè)不同的這種紋理圖案，但是有時(shí)我們會(huì)獲得一張空白照片，或者獲得一張黑白照片，這也需要我們?nèi)プ鲆恍┖笈_(tái)方面的處理。

所以總結(jié)一下就是 Face ID 會(huì)為大家提供一整套的這種身份驗(yàn)證解決方案，整個(gè)方案涵蓋了質(zhì)量檢測(cè)、身份證識(shí)別、活體檢測(cè)、攻擊檢測(cè)和人臉比對(duì)等一系列的功能，其中在活體檢測(cè)方面，我們采用了云加端的這種聯(lián)合防范方式，通過(guò)不同的活體檢測(cè)方案，包括動(dòng)作活體、視頻活體、靜默活體等一系列的檢測(cè)方法，可以有效的預(yù)防假臉攻擊。

在線上我們每天都會(huì)遇到各種各樣的攻擊方式，整個(gè)人臉驗(yàn)證的方案是一套長(zhǎng)期攻防戰(zhàn)，我們現(xiàn)在通過(guò)線上運(yùn)營(yíng)的方式不斷去收集攻擊的異常數(shù)據(jù)，進(jìn)行人工標(biāo)注、訓(xùn)練、分析，然后可以不斷提升整個(gè)模型的防范能力，在這方面我們已經(jīng)形成了一套閉環(huán)系統(tǒng)，發(fā)現(xiàn)任何的攻擊我們都可以在很短的時(shí)間內(nèi)去更新線上的一些模型，做到充分防范。

▌工業(yè)化AI算法生產(chǎn)

下面我簡(jiǎn)單介紹一下整個(gè)工業(yè)化 AI 算法的一個(gè)產(chǎn)生過(guò)程，其實(shí)整個(gè)流程可以看成是數(shù)據(jù)驅(qū)動(dòng)，包括數(shù)據(jù)采集、清洗、標(biāo)注，包括數(shù)據(jù)增廣、數(shù)據(jù)的域訓(xùn)練模型、時(shí)間管理，還有 SDK 封裝等等。

介紹一些核心關(guān)鍵點(diǎn)，第一個(gè)是數(shù)據(jù)采集，我們是通過(guò)一個(gè)叫做 Data++ 的 Team 去負(fù)責(zé)數(shù)據(jù)采集跟標(biāo)注，我們會(huì)通過(guò)線下采集，或者是通過(guò)重包標(biāo)注和網(wǎng)絡(luò)爬蟲(chóng)幾種方式去獲取整個(gè)的 AI 訓(xùn)練原材料。

有了數(shù)據(jù)之后，我們一個(gè)叫 Brain++的平臺(tái)可以把它看成是整個(gè) AI 芯片的一個(gè)煉丹爐，它會(huì)提供整個(gè)計(jì)算存儲(chǔ)網(wǎng)絡(luò)等 IaaS 層的一些管理，這樣我們整個(gè)算法工程師訓(xùn)練的時(shí)候相當(dāng)于在單機(jī)上面去跑，但在不同分布式的底層調(diào)度是在多臺(tái)機(jī)器上面，已經(jīng)通過(guò) Brain++ 的平臺(tái)把我們屏蔽掉了，所以如果我們可以去寫(xiě)類似于的語(yǔ)句，需要 20 個(gè) CPU、 4 個(gè) GPU、8G 的內(nèi)存去跑這樣一個(gè)訓(xùn)練腳本，底下是通過(guò)分布式方法去訓(xùn)練的，但我們提供單向運(yùn)行腳本就可以了。

然后除了數(shù)據(jù)，IaaS 層的這種資源，我們研發(fā)了一套類似于 TensorFlow 的并行計(jì)算框架和引擎 Megbrain，跟 TensorFlow 相比，很多地方都做了不同優(yōu)化。

下面說(shuō)一下我們的域訓(xùn)練模型，我們的團(tuán)隊(duì)去訓(xùn)練出成千上萬(wàn)這種域訓(xùn)練的模型，這張圖展示的部分域訓(xùn)練模型，后面這張圖的每個(gè)點(diǎn)都是一次實(shí)驗(yàn)，如果是好的實(shí)驗(yàn)，我們就會(huì)放在一個(gè)網(wǎng)站上供其他算法工程師使用，我們希望通過(guò)一套時(shí)間管理的平臺(tái)去幫他們?nèi)フ碚麄€(gè)時(shí)間思路，以及整個(gè)實(shí)驗(yàn)的循環(huán)關(guān)系。

有了前面的這些 FaceModel， IaaS 層資源，還有數(shù)據(jù)、時(shí)間管理，剩下的就要發(fā)揮各個(gè)算法工程師的想象力了，大家每天都會(huì)去讀各種 Paper，去想各種復(fù)雜精要的這種網(wǎng)絡(luò)設(shè)計(jì)的方案，從而創(chuàng)造出性能非常好的網(wǎng)絡(luò)模型。所以工業(yè)化的 AI 生產(chǎn)現(xiàn)在已經(jīng)是團(tuán)體作戰(zhàn)了，我們會(huì)有各種的體系支持，大家去這些已有資源上面去創(chuàng)作，生成一套完整的 AI 體系。