人臉識別產(chǎn)品設(shè)計，AI產(chǎn)品經(jīng)理需要了解的實戰(zhàn)干貨

圖像獲取

圖像獲取是人臉識別的第一步，人臉圖像主要來源為各類相機，圖像質(zhì)量很大程度會影響人臉識別的準(zhǔn)確率。圖像質(zhì)量與采集設(shè)備和采集環(huán)境密不可分，我們從獲取圖像的方式、相機選擇與架設(shè)、相機接入三個主題展開討論，撰寫圖像獲取的相關(guān)要點。

一、獲取圖像的方式

獲取圖像的方式有兩種，第一種是直接從源頭獲取，通過對接前端各類相機、NVR錄像存儲等設(shè)備。第二種是間接獲取，包含網(wǎng)上的開源數(shù)據(jù)集、第三方企業(yè)單位提供、用戶上傳、產(chǎn)品或項目積累。

無論是何種獲取方式，圖像歸根結(jié)底是通過各類相機產(chǎn)生的。目前安防、商業(yè)類項目主要使用各類監(jiān)控相機，相機選型、架設(shè)、調(diào)試及與平臺的對接是前期圖像獲取的關(guān)鍵。

二、相機的選型與架設(shè)

1、選擇合適的相機

相機的性能決定了圖片質(zhì)量的上限，選擇相機需考慮到產(chǎn)品使用場景，并結(jié)合相機的功能、性能指標(biāo)進行綜合考慮。

1）監(jiān)控一體機和人臉抓拍機

使用場景在室外的，相機需具備防雨、防雷、防霧、逆光調(diào)節(jié)、補光、夜視等功能，這種專門用于戶外的相機叫做監(jiān)控一體機。室內(nèi)場景下，相機則不需要考慮防雨、防霧、逆光、極端天氣等問題。

監(jiān)控一體機

如果項目對人臉抓拍率、人臉識別的準(zhǔn)確率要求較高，建議選擇專業(yè)的人臉抓拍機，如圖3，人臉抓拍機內(nèi)嵌智能人臉算法，能夠自動捕獲進入檢測區(qū)域內(nèi)的人臉并進行追蹤及人臉抓拍。

人臉抓拍機

相較于普通監(jiān)控相機，其優(yōu)點是可直接輸出人臉圖片流，不需要在服務(wù)器端進行人臉檢測，降低服務(wù)器計算的壓力，同時具有出色的人臉曝光效果，增強了逆光環(huán)境下人臉的檢測和抓拍效果，缺點是價格較高，一般是普通相機價格的1.5倍以上，所以需要考慮到成本問題。

2）常用的功能指標(biāo)

智能分析功能（是否具有絆線、雙絆線、周界、物品遺留、物品遺失、徘徊等分析功能）

智能報警功能（遮擋報警、IP沖突、MAC沖突、存儲器滿、存儲器異常）

支持的網(wǎng)絡(luò)協(xié)議（常用的TCP /HTTP/ FTP / RTSP/ONVI/28181是否支持，是否可定制協(xié)議）

圖像處理（是否支持圖像增強、背光補償、透霧、走廊模式、圖像風(fēng)格可選）

彩轉(zhuǎn)黑（是否支持內(nèi)同步、報警同步、黑白、彩色、定時設(shè)置）

是否支持強光抑制、背光補償

是否支持本地SD卡儲存

是否支持斷網(wǎng)續(xù)傳

3）常用的性能指標(biāo)

像素：200萬以上為宜

圖像分辨率：主碼流最高分辨率需要不低于1080p（1920×1080）

寬動態(tài)：室外場景需大于120dB

最低照度：彩色≤0.001 Lux(F1.2,AGC ON)黑白≤0.0001 Lux(F1.2,AGC ON)越低性能越好

防護等級：戶外IP65以上、防雷、防浪涌

功耗：一般在10w以內(nèi)

工作溫度：室外在-30℃～60℃為宜

鏡頭：鏡頭選擇見下文

2、鏡頭選擇

相機鏡頭可分為變焦和固定焦距兩種。變焦鏡頭的焦距是可以手動調(diào)節(jié)的，所以變焦鏡頭識別距離更廣，也具有更高的適用性。

焦距決定了相機的成像距離，需要根據(jù)項目對人臉識別距離要求來選擇最合適的焦距，下圖展示了焦距大小與最佳人臉識別距離之間的關(guān)系。

3、相機的架設(shè)

即使選擇了效果最佳的相機和鏡頭，也需要架設(shè)得當(dāng)才能發(fā)揮其最佳效果。于是我們需要事先計算出最合適的架設(shè)高度和俯視角。

從上圖不同角度拍攝的人臉效果對比可知，不同的拍攝角度獲取的人臉效果互有差異，而按照人臉采集的慣例，通常是采用水平拍攝的方式最大程度獲取目標(biāo)人員的正臉，如身份證照片的采集。

1）俯仰角

人臉攝像機在安裝時要求水平面上位于通道中軸線上（水平無偏轉(zhuǎn)），并垂直面上有一定的俯視角度以照顧不同高矮人員經(jīng)過時能正常抓拍，避免一前一后通過抓拍區(qū)域時后方人臉被遮擋，俯視角度α要求保持在 10°±3°。

2）架設(shè)高度

如圖所示，推薦俯視角α為10°，攝像機視角中軸線延伸到人臉下頜位置，保證人臉處于畫面中心區(qū)域，取成年人下頜以下的平均高度為1.5m（頭部長0.2m），可得:

L=tan(10°±3°)×D (4)·1

H=L+1.5=tan(10°±3°) ×D+1.5 (5)

例：室內(nèi)相機可視距離為6m，則算得H為2.5m，即相機應(yīng)該架設(shè)的高度為2.5米，如下圖所示。

3）架設(shè)環(huán)境

攝像機鏡頭至人員通道出入口中間空曠、無遮擋；

聚焦清晰，光照均勻，特別注意避免逆光、側(cè)光，必要時進行補光；

人臉大小80像素以上(雙眼距離大于30像素)；

人臉的俯仰角度在15度以內(nèi)，左右角度在30度以內(nèi)。

4）畫面調(diào)整

調(diào)整鏡頭的目是獲得合適的觀察寬度。攝像機像素的大小決定了設(shè)備可觀察畫面寬度的范圍，觀察寬度過大會導(dǎo)致人臉抓拍圖片模糊，所以一個合適的觀察寬度十分重要，人臉寬度像素宜大于120，瞳距像素宜大于40。

如下表格，統(tǒng)計了不同像素的最佳觀察寬度：

例：按照人像識別要求，人臉橫向像素點宜在 120以上，1080P 攝像機全幅畫面橫向像素點為 1920，成年人臉的橫向平均寬度為0.16 m，場景寬度（V）計算公式為：

三、相機的對接

大部分人臉識別的場景，是建立在對實時視頻流（圖片流）分析的基礎(chǔ)之上，例如你想檢測一個攝像機實時畫面中的人臉，平臺就需要先獲取相機的實時視頻流（圖片流），這就涉及到了平臺與相機等設(shè)備對接的問題。前端相機與平臺之間是通過網(wǎng)絡(luò)連接的，如果想實現(xiàn)對接，就需要平臺滿足相應(yīng)的網(wǎng)絡(luò)協(xié)議。

1、什么是網(wǎng)絡(luò)協(xié)議？

網(wǎng)絡(luò)協(xié)議為計算機網(wǎng)絡(luò)中進行數(shù)據(jù)交換而建立的規(guī)則、標(biāo)準(zhǔn)或約定的集合。例如，網(wǎng)絡(luò)中一個微機用戶和一個大型主機的操作員進行通信，由于這兩個數(shù)據(jù)終端所用字符集不同，因此操作員所輸入的命令彼此不認識。為了能進行通信，規(guī)定每個終端都要將各自字符集中的字符先變換為標(biāo)準(zhǔn)字符集的字符后，才進入網(wǎng)絡(luò)傳送，到達目的終端之后，再變換為該終端字符集的字符。

2、網(wǎng)絡(luò)協(xié)議的結(jié)構(gòu)

網(wǎng)絡(luò)協(xié)議分為很多種，例如TCP/IP協(xié)議、IPX/SPX協(xié)議、NetBEUI協(xié)議等。相機對接用到的是基于TCP/IP的四層網(wǎng)絡(luò)，下三層由網(wǎng)卡、驅(qū)動、操作系統(tǒng)實現(xiàn)，研發(fā)只需要依據(jù)設(shè)備的用途開發(fā)應(yīng)用層的協(xié)議。

3、通過協(xié)議接入相機

平臺對接相機的目的是獲取相機的實時視頻流（普通相機）或圖片流（人臉抓拍相機），所以需要開發(fā)相應(yīng)的流媒體服務(wù)協(xié)議，常用的視頻流媒體協(xié)議有RTP、RTSP、RTCP等，一般相機通用的協(xié)議為RTSP，人臉抓拍機一般支持FTP，國內(nèi)政府公安類項目，安全級別比較高，會用到ONVIF/28181協(xié)議。

- 2 -

人臉庫

人臉庫是人臉識別的基礎(chǔ)，建立人臉庫往往是人臉項目的首要任務(wù)，接下來會介紹什么是人臉庫、如何建立人臉庫，特別還包含14個常見的人臉數(shù)據(jù)集，供大家實戰(zhàn)使用。

一、什么是人臉庫

簡單來講，人臉庫就是人臉數(shù)據(jù)的儲存管理中心，能夠為人臉識別提供比對模板，為抓拍人臉數(shù)據(jù)提供管理空間，為人臉?biāo)惴z測提供測試樣本。人臉識別項目是建立在人臉庫的基礎(chǔ)之上，所以人臉識別的首要任務(wù)便是是建立人臉庫。

人臉庫按照用途可分為人臉比對庫、人臉抓拍庫、人臉數(shù)據(jù)集，不同類型人臉庫的組成、結(jié)構(gòu)、作用也有所不同，下面將會依次介紹，本文重點討論人臉比對庫。

1、人臉比對庫

人臉比對庫主要用于人臉1:N識別，如下圖，人臉1:N是將人臉抓拍照片的人臉特征與人臉庫中所有人臉特征進行逐一比對。

人臉比對庫主要由人臉庫管理、人臉數(shù)據(jù)、人臉庫屬性描述三部分組成，如下圖：

人臉比對庫按照應(yīng)用場景又可分為四類，分別是黑名單庫、白名單庫、紅名單庫和灰名單庫。

1）黑名單庫：黑名單指需要重點管控、關(guān)注的人員，一般由在逃犯、慣犯、水客、異常行為或是想要重點關(guān)注的人員構(gòu)成。比中黑名單中會產(chǎn)生報警提示，常用于公安追逃；

2）白名單庫：白名單一般指可信人員，常用于商業(yè)領(lǐng)域中的通行管理，白名單中的人員容許進入通過。例如在樓宇內(nèi)設(shè)置人臉識別門禁，只容許公司內(nèi)部人員進入，于是可將公司員工設(shè)置成白名單，白名單一般不會觸發(fā)報警；

3）紅名單庫：紅名屬于白名單的拓展應(yīng)用，用于白名單中需要重點關(guān)注展現(xiàn)的人群，如VIP客戶、領(lǐng)導(dǎo)人等，可在識別后進一步分析該人群的行為特點和活動范圍；

4）灰名單：介于白名單和黑名單之間，是一類具有異常行為的可疑人員，還需要通過更多數(shù)據(jù)分析他們是否是黃牛、小偷、罪犯同伙等。

2、人臉抓拍庫

人臉抓拍庫是管理人臉抓拍數(shù)據(jù)的地方，在視頻流或圖片流中凡是能被算法檢測到的人臉，都會經(jīng)過圖像處理形成一張張人臉的抓拍照片及對應(yīng)的場景照，再將抓拍照片進行數(shù)據(jù)結(jié)構(gòu)化并與其場景照一同保留至人臉抓拍庫中。抓拍庫的人臉照片會具有性別、年齡、戴眼鏡、胡須、表情、是否戴帽子、是否有遮擋等圖片描述，方便抓拍照片的檢索及深層次人臉數(shù)據(jù)應(yīng)用。

人臉數(shù)據(jù)分為結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，人臉結(jié)構(gòu)化數(shù)據(jù)指將原始采集數(shù)據(jù)按照規(guī)則處理，形成具有統(tǒng)一格式，并用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)，如上圖，抓拍庫儲存的是結(jié)構(gòu)化數(shù)據(jù)，人臉結(jié)構(gòu)化數(shù)據(jù)指原始人臉數(shù)據(jù)經(jīng)過程序分析和過濾，形成具有統(tǒng)一格式和描述的數(shù)據(jù)儲存在數(shù)據(jù)庫中。

3、人臉數(shù)據(jù)集

人臉數(shù)據(jù)集就是用于檢測人臉?biāo)惴ㄐЧ陀?xùn)練算法的數(shù)據(jù)庫，網(wǎng)上有很多公開的人臉數(shù)據(jù)集可為模型訓(xùn)練提供數(shù)據(jù)來源。

常見的人臉數(shù)據(jù)集可見下表：

1）人臉識別

2）人臉檢測

3）人臉表情

4）人臉年齡/性別

二、如何建立人臉庫

人臉庫中人臉比對庫的建立最為復(fù)雜，這里只討論人臉比對庫的建立過程。

1、梳理入庫流程

人臉入庫流程見下圖，人臉數(shù)據(jù)包含人臉特征向量、人臉信息兩部分，它們儲存在數(shù)據(jù)庫不同的表中，注意在刪除人臉庫照片時一定要刪除它對應(yīng)的特征向量。如果照片質(zhì)量未達到要求，且沒有更好的照片，可以有強制入庫的選項。

2、制定入庫規(guī)則

人臉數(shù)據(jù)的質(zhì)量關(guān)系到人臉比對的效果，盡可能將人臉清晰、正臉、本人近期的人臉照片入庫。在人臉入庫時，產(chǎn)品經(jīng)理需要制定入庫規(guī)則來過濾質(zhì)量不佳、格式不規(guī)范的人臉數(shù)據(jù)。

入庫規(guī)則應(yīng)該包含：

圖片的顏色：可支持彩色及灰度的圖片，最低要求256灰度圖片；

圖片的格式：各類主流圖片格式，例如 bmp/jpg/png等，圖片命名格式統(tǒng)一，如常用的命名“姓名_證件號”；

圖片像素：雙眼中心之間的距離大于30像素；

圖片尺寸：尺寸大于70X80以上；

人臉角度：人臉左右偏轉(zhuǎn)30度以內(nèi)，上下偏轉(zhuǎn)20度以內(nèi)；

圖片大?。航ㄗh幾十KB~一百KB之間為宜，但也不能太大，超過500k，會影響入庫速度。

3、設(shè)計人臉庫功能及界面

人臉庫應(yīng)包含人臉信息的增、刪、改、查等基本功能，必要的人臉字段需要根據(jù)用戶需求來定，人臉庫界面可參見下圖的樣式：

人臉信息可以從客戶端批量導(dǎo)入，客戶端需要提供人臉批量導(dǎo)入模板，批量導(dǎo)入適合小規(guī)模格式統(tǒng)一的數(shù)據(jù)。

當(dāng)人臉項目中需要入庫數(shù)萬以上的人臉信息，并且人臉數(shù)據(jù)格式并不統(tǒng)一，整理起來很麻煩，這時就需要設(shè)計批量入庫工具。

新建的人臉庫需要設(shè)定人臉規(guī)模，一般分為＜1W、1W-100W、100W-1000W、>1000W四個范圍，大庫容進行人臉比對需要更高配置服務(wù)器，服務(wù)器配置與圖像處理能力的關(guān)系將會在后續(xù)文章中詳細討論。

4、采集人臉庫數(shù)據(jù)

如果想通過人臉識別技術(shù)識別某人，就需要先獲取到該人的人臉數(shù)據(jù)，并錄入人臉庫中作為比對模板，那么如何采集人臉庫數(shù)據(jù)呢？采集方式依據(jù)使用場景而定。

公安類項目，人臉數(shù)據(jù)提供方是公安，公安內(nèi)部有大量的人臉數(shù)據(jù)，可通過對接公安信息資源庫來獲取人臉數(shù)據(jù)，如下圖為八大公安信息資源庫。公安的信息資源庫是嚴禁外泄的，對產(chǎn)品的網(wǎng)絡(luò)安全及數(shù)據(jù)保密性要求頗為嚴格，在產(chǎn)品設(shè)計時需要考慮到相關(guān)問題。

刷臉通行或新零售類項目，一般是用戶配合式采集人臉信息，需要設(shè)計人臉信息采集入口，用戶可在微信公眾號、手機app或PC端進行注冊時上傳人臉信息。

大型商業(yè)類或平安城市項目中，需要設(shè)計非配合式采集人臉信息。一般會通過在主要出入口、通道、走廊等地部署的人臉抓拍機，抓拍路人人臉，自動建立該人檔案庫，這里需要用到一人一檔，作者會在后期文章詳細討論。

- 3 -

人臉比對

一、人臉比對類型

人臉比對類型可分為四種，分別是人臉1:1、人臉1:n、人臉1:N、人臉M:N，人臉識別應(yīng)用無非就是圍繞著這四種比對方式展開，下面將依次介紹各種比對類型。

1、人臉1:1

人臉1:1一般用于人證核驗，可以簡單理解為證明你就是你。例如在乘坐火車、飛機，出入境，銀行辦卡，通常需要驗證本人與其持有身份證是否為同一個人。如下圖，系統(tǒng)只需讀取二代身份證中的人臉照片，與現(xiàn)場抓拍的本人照片做比對即可。

人臉1:1又稱為靜態(tài)人臉比對，同時具有配合式的特點，完成比對需要用戶攜帶身份證并主動配合采集人臉。

2、人臉1:n

人臉1:n是將一張人臉照片與人臉庫中的多張人臉進行一一比對，人臉庫有多少人臉就需要比對多少次。平臺采集了“我”的一張照片之后，從海量的人像數(shù)據(jù)庫中找到與當(dāng)前使用者人臉數(shù)據(jù)相符合的圖像，并進行匹配，找出來“我是誰”。

人臉1:n又稱動態(tài)人臉比對，因為比對照片是從動態(tài)視頻中獲取的，同時具有非配合特點，整個比對過程是無感知的，不需要人為配合。由于這兩個特性使人臉1:n能迅速落地于公安追捕逃犯，但其難度要遠高于人臉1:1，通常會受到光照變化、人臉姿態(tài)的影響，比如側(cè)臉、低頭、逆光現(xiàn)象會大大提升人臉漏報率。

人臉1:n中“n”的大?。ㄈ四槑煺掌臄?shù)量）會影響人臉識別的準(zhǔn)確率和比對速度，所以比對人臉庫規(guī)模會設(shè)置的相對較小。

3、人臉1:N

人臉1:N又稱靜態(tài)大庫檢索，即以人臉圖片、人臉相似度作為檢索條件，在人臉庫中搜索與其相似（相似度大于設(shè)定閾值）的圖片，類似于百度以圖搜圖，檢索過程實際就是進行N次人臉比對并留下比分大于閾值的結(jié)果。

人臉1:N的人臉庫規(guī)模相較于人臉1:n會大很多，最高可支持億級人臉檢索，所以這里的N為大寫。

4、人臉M:N

人臉M:N實際就是兩個人臉庫進行比對，例如：人臉庫A有M個人臉，人臉庫B有N個人臉，如果想查看人臉庫A和B包含多少個相同的人，就需要用人臉庫A中M個人臉逐一與人臉庫B中N個人臉進行比對，相當(dāng)于是M個人臉1:N相加的結(jié)果。

人臉M:N常用于慣犯排查、身份查重。例如辦案人員在處理類似三搶一盜的案件中，由于80%的案件是慣犯所為，于是將線索地點路人庫與慣犯庫進行人臉M:N比對碰撞，可快速排查嫌疑，找出偵查方向。

二、人臉比對的要素

1、人臉數(shù)據(jù)

人工智能算法的演進必須有數(shù)據(jù)作為支撐，使用大量標(biāo)注好的數(shù)據(jù)訓(xùn)練模型，可將識別的準(zhǔn)確率從70%提升到99%水平。客觀、精準(zhǔn)的數(shù)據(jù)是人工智能應(yīng)用必須具備的條件。

獲取人臉數(shù)據(jù)的五種方式：

1）監(jiān)控相機、手機相機等各種類型相機，拍攝的視頻、照片是人臉原始數(shù)據(jù)的主要來源，項目中常通過RTSP、FTP等協(xié)議對接這類相機獲取實時視頻流或圖片流。

2）NVR/DVR等錄像儲存設(shè)備，儲存了大量視頻資源，可通過ONVIF協(xié)議對接這類設(shè)備獲取數(shù)據(jù)。

3）第三方企業(yè)、事業(yè)單位的人員信息庫，例如公安的八大信息資源庫，企業(yè)在職員工信息庫等，獲取這類數(shù)據(jù)難度較大，會涉及到第三方平臺對接，還需考慮到保密、網(wǎng)絡(luò)安全等問題。

4）互聯(lián)網(wǎng)中的開放數(shù)據(jù)集，例如常用的WebFace、FDDB、LFW、YouTube Face等人臉數(shù)據(jù)集，提供了優(yōu)質(zhì)的標(biāo)注數(shù)據(jù)，可用于算法測試及模訓(xùn)練。

5）網(wǎng)絡(luò)爬取，通過編寫或者利用免費網(wǎng)絡(luò)爬蟲程序可自動抓取萬維網(wǎng)中的圖片，它們被廣泛用于互聯(lián)網(wǎng)的數(shù)據(jù)采集中。

2、人臉比對庫

人臉比對庫為人臉識別提供比對模板，人臉1:n、人臉1:N、人臉M:N必須要有人臉比對庫才能進行比對。本文第2小節(jié)已詳細介紹。

3、比對閾值

比對閾值即人臉比對的相似度，人臉比對結(jié)果以相似度值呈現(xiàn)。在人臉比對之前需要設(shè)定一個相似度的門檻值，大于這個門檻則判定兩張照片可能為同一個人。

比對閾值對人臉識別的準(zhǔn)確率、漏報率影響頗大，比對閾值設(shè)置的越高準(zhǔn)確率就越高，漏報率也會隨之升高。比對閾值沒有一個固定的標(biāo)準(zhǔn)，應(yīng)根據(jù)應(yīng)用場景來靈活調(diào)整，例如刷臉支付更關(guān)注比對準(zhǔn)確率，需要調(diào)高閾值，而公安嫌犯人臉布控要求降低漏報，就需要適當(dāng)調(diào)低閾值。

4、芯片

人工智能的三要素是算法、算力和數(shù)據(jù)，芯片決定了算力。深度學(xué)習(xí)工程的兩大關(guān)鍵環(huán)節(jié)training（訓(xùn)練）和inference（推測）需要大量的算力支撐，普通的CPU無法滿足計算要求。相繼推出的高性能GPU、TPU、FPGA、ASIC等加速芯片，大大提升了計算速度，同時也促進了算法的發(fā)展。

GPU在人臉1:n、1:N、M:N比對中是不可或缺的，而部分人臉1:1計算量不大，可以不使用加速芯片。億級人臉檢索在GPU的加速下可以達到秒級返回結(jié)果。

5、人臉?biāo)惴?/p>

人臉?biāo)惴ㄐЧ麤Q定了人臉識別的上限，也是人臉比對最關(guān)鍵的要素，隨著深度學(xué)習(xí)技術(shù)的普及，各大公司的人臉?biāo)惴ㄐЧ罹嘁苍絹碓叫　?/p>

目前主流的人臉識別算法可以分為以下四類：

1）基于人臉特征點的識別算法

2）基于整幅人臉圖像的識別算法

3）基于模板的識別算法

4）利用神經(jīng)網(wǎng)絡(luò)進行識別的算法

2018年11月20日公布的有工業(yè)界黃金標(biāo)準(zhǔn)之稱的全球人臉識別算法測試(FRVT)結(jié)果，如下圖，排名前五的算法被中國包攬。依圖科技(yitu)繼續(xù)保持全球人臉識別競賽冠軍，在千萬分之一誤報下的識別準(zhǔn)確率超過99%，排名第二的算法也來自依圖科技。商湯科技(sensetime)摘得第三名和第四名，中國科學(xué)院深圳先進技術(shù)研究院(siat)排名第五，曠視科技(megvii)排名第八。

人臉?biāo)惴m然在各種數(shù)據(jù)集的測試中準(zhǔn)確率頗高，但還遠沒達到在商業(yè)應(yīng)用中的滿意程度。目前仍然有很多缺陷需要解決，例如：

1）姿態(tài)問題

人臉識別主要依據(jù)人的面部表象特征來進行，如何識別由姿態(tài)引起的面部變化就成了該技術(shù)的難點之一。

姿態(tài)問題涉及頭部在三維垂直坐標(biāo)系中繞三個軸的旋轉(zhuǎn)造成的面部變化，其中垂直于圖像平面的兩個方向的深度旋轉(zhuǎn)會造成面部信息的部分缺失。使得姿態(tài)問題成為人臉識別的一個技術(shù)難題。

針對姿態(tài)的研究相對比較的少，目前多數(shù)的人臉識別算法主要針列正面、準(zhǔn)正面人臉圖像，當(dāng)發(fā)生俯仰或者左右側(cè)而比較厲害的情況下，人臉識別算法的識別率也將會急劇下降。

2）圖像質(zhì)量問題

人臉圖像的來源可能多種多樣，由于采集設(shè)備的不同，得到的人臉圖像質(zhì)量也不一樣，特別是對于那些低分辨率、噪聲大、質(zhì)量差的人臉圖像(如手機攝像頭拍攝的人臉圖片、遠程監(jiān)控拍攝的圖片等)，如何進行有效地人臉識別是個需要關(guān)注的問題。

對于高分辨圖像對人臉識別算法的影響也需要進一步的研究。現(xiàn)在，我們在人臉識別時，一般采用的都是相同尺寸，清晰度很接近的人臉圖片，所以圖像質(zhì)量問題基本可以解決，但是面對現(xiàn)實中更加復(fù)雜的問題，還需要繼續(xù)優(yōu)化處理。

3）遮擋問題

對于非配合情況下的人臉圖像采集，遮擋問題是一個非常嚴重的問題。特別是在監(jiān)控環(huán)境下，往往被監(jiān)控對象都會帶著眼鏡、帽子等飾物，使得被采集出來的人臉圖像有可能不完整，從而影響了后面的特征提取與識別，甚至?xí)?dǎo)致人臉檢測算法的失效。

人臉?biāo)惴ㄔ谌四樜骞俦粨醯那闆r下表現(xiàn)的不是很好，目前對遮擋識別效果較好的DeepID2算法，可穩(wěn)定識別遮擋在20%以內(nèi)，塊大小在30*30以下的人臉。

4）樣本缺乏問題

基于統(tǒng)計學(xué)習(xí)的人臉識別算法是目前人臉識別領(lǐng)域中的主流算法，但是統(tǒng)計學(xué)習(xí)方法需要大量的訓(xùn)練。由于人臉圖像在高維空間中的分布是一個不規(guī)則的流形分布，能得到的樣本只是對人臉圖像空間中的一個極小部分的采樣，如何解決小樣本下的統(tǒng)計學(xué)習(xí)問題有待進一步的研究。

- 4 -

人臉研判

一、什么是人臉研判

系統(tǒng)在人臉識別中會留下了大量優(yōu)質(zhì)的人臉數(shù)據(jù)，可分為人臉抓拍數(shù)據(jù)和人臉比對數(shù)據(jù)兩種類型。目前單純的人臉比對功能已經(jīng)不能滿足項目的需求了，于是對人臉數(shù)據(jù)深層次的分析就孕育而生出人臉研判。

人臉研判就是對人臉數(shù)據(jù)的深層次分析運用。

那么這些數(shù)據(jù)可做哪些運用呢？比如：人臉軌跡分析、出行規(guī)律分析、同行人報警、落腳點分析、人臉碰撞、超時報警、區(qū)域管控等，下面將詳細介紹這些應(yīng)用。

二、人臉研判類型及應(yīng)用

1、人臉軌跡分析

人臉軌跡分析，是從海量路人庫數(shù)據(jù)中，通過人臉識別技術(shù)，尋找到目標(biāo)人的數(shù)據(jù)，利用數(shù)據(jù)中的時間、地點等信息在地圖上繪制出目標(biāo)人的運動軌跡，了解目標(biāo)人員在一段時間內(nèi)，從什么地方出發(fā)，經(jīng)過了那些地方，最終在什么地方停下來，實現(xiàn)目標(biāo)人員歷史動向的還原展示。

為什么要使用人臉識別做軌跡分析？隨著公安加大對平安城市的建設(shè)力度，各種類型的監(jiān)控攝像頭布滿了大街小巷，于是利用監(jiān)控視頻尋找目標(biāo)人便成為了一種有效的手段。從視頻中識別目標(biāo)人可以使用人體識別、人臉識別還有步態(tài)識別三種方法，其中人臉識別的準(zhǔn)確率最高，人臉?biāo)惴òl(fā)展的最為成熟，人臉數(shù)據(jù)也是最容易獲取的。

1）應(yīng)用場景——獲取目標(biāo)人運動軌跡可用于尋找目標(biāo)人及目標(biāo)人運動特點分析，于是就產(chǎn)生了以下四種應(yīng)用場景：

A）人員通行管理：基于歷史通行記錄，值班人員或者監(jiān)控人員按照時間地點查看通行人員情況，發(fā)現(xiàn)可疑人員信息。

B）嫌疑人員行動追蹤：根據(jù)人員通信歷史軌跡，了解重點嫌疑目標(biāo)人員都去了哪、經(jīng)過了什么地方、最后出現(xiàn)的地方等，為刑偵及治安管理人員提供線索依據(jù)。

C）走失老人小孩查找：治安管理人員根據(jù)家人提供的走失人員照片，檢索比對歷史通行記錄，尋找人員走失軌跡，為找到走失人員提供線索。

D）商場超市顧客行為分析：根據(jù)顧客運動軌跡分析顧客對什么類型的商品感興趣，以及什么類型的商品最受青睞，以此制定銷售策略。

2）實現(xiàn)方式

實現(xiàn)條件：目標(biāo)人員人臉照片、人臉抓拍庫、相機位置信息（經(jīng)緯度）

實現(xiàn)流程：

3）實現(xiàn)要點

需要設(shè)置輸入條件：目標(biāo)人臉圖片，時間段，發(fā)生區(qū)域。

目標(biāo)人臉會與設(shè)定范圍內(nèi)的抓拍照片進行比對，篩選出大于比對閾值的人臉照片，再將照片按照抓拍時間順序排列，在地圖上按此順序依次連接抓拍地點，即可生成運動軌跡。

抓拍庫中會存在一個人在短時間內(nèi)被重復(fù)抓拍的現(xiàn)象，即短時間內(nèi)包含同一個人的多張照片，所以需要制定人臉去重規(guī)則，在間隔時間X內(nèi)選取比分最高的那張圖片，如果比分相同，則選擇圖片質(zhì)量分數(shù)較高的。

間隔時間X需要考慮攝像頭間距和行人速度。

2、同行人分析

同行人分析是指通過人臉識別的方法，尋找到目標(biāo)人的同行或尾隨人員，并在地圖中繪制尾隨或同行人員的行走軌跡，實現(xiàn)一人鎖定全體，掌握所有關(guān)聯(lián)人員的目的。

同行人分析常用于公安偵查團伙作案或尾隨作案，是基于人臉軌跡的更深層次數(shù)據(jù)應(yīng)用。

1）應(yīng)用場景

刑偵人員或辦案人員，查詢一段時間內(nèi)，其他人員與目標(biāo)人員行走距離有一定間隔、通過地點多次重合、歷史軌跡相似的人員行為分析。從而找到與案事件或目標(biāo)人員有關(guān)聯(lián)的同伙、蓄意尾隨的人員等，協(xié)助警方采集證據(jù)偵破案件。

2）實現(xiàn)方式

實現(xiàn)條件：目標(biāo)人員人臉照片、人臉抓拍庫、相機位置信息（經(jīng)緯度）、時間間隔和尾隨次數(shù)。

實現(xiàn)流程：

A）繪制目標(biāo)人員在設(shè)定時間段內(nèi)的人臉軌跡；

B）從時間上第一個攝像頭開始，統(tǒng)計目標(biāo)人員經(jīng)過該攝像頭時間節(jié)點前后“時間間隔”內(nèi)經(jīng)過的所有人員人臉一直到最后一個攝像頭；

C）對這些人臉進行聚類分析，同一個人的人臉照片歸在一類里；

D）挑選出現(xiàn)在不同攝像頭下次數(shù)≥2的類型，并繪制這類人臉軌跡。

3）實現(xiàn)要點

制定判定是否為同行人員的規(guī)則：這里引用了兩個參數(shù)X、M，設(shè)定同行人與目標(biāo)人出現(xiàn)在同一個相機畫面中的時間間隔為X秒，及同行人和目標(biāo)人出現(xiàn)在同一個相機下的頻次為M，M≥2。

X的設(shè)置需根據(jù)應(yīng)用場景來，如果是做尾隨分析，在人流量較大的環(huán)境下，建議X設(shè)置在60秒內(nèi)，如果是做同行人分析，人流量不大，可適當(dāng)延長X。

3、落腳點分析

謀人在經(jīng)過某些區(qū)域時，停留的時間較長，則認定該區(qū)域即為此人的落腳點。在地圖上繪制某人的落腳點，可分析出某人經(jīng)常活動的區(qū)域、住所、工作地點等。

1）應(yīng)用場景

針對涉案的人員，通過落腳點分析，可以了解涉案人員經(jīng)常去哪，在哪停留較長，從而為人員抓捕、蹲點堵控提供信息支撐。

2）實現(xiàn)方式

實現(xiàn)條件：目標(biāo)人員人臉照片、落腳時間、人臉抓拍庫、相機位置信息（經(jīng)緯度）

實現(xiàn)流程：

A）繪制在設(shè)置的某段時間某片區(qū)域內(nèi)的人臉軌跡；

B）計算軌跡內(nèi)兩兩攝像頭之間人臉出現(xiàn)時間差（停留時間）：后一個攝像頭抓拍時間減去前一個攝像頭抓拍時間，該時間差可認為是目標(biāo)人在這兩個攝像頭間的停留時間；

C）繪制的軌跡中會有重復(fù)的線段，重復(fù)次數(shù)即為目標(biāo)人在該區(qū)域的出現(xiàn)頻次；

D）篩選出停留時間大于X且出現(xiàn)頻次大于M的線段，并過濾距離較長的線段（線段兩端相機為非鄰近攝像頭）；

E）以篩選出的線段中心為圓心，線段長度為直徑在地圖上畫圓，該圓形區(qū)域即為落腳點。

3）實現(xiàn)要點

統(tǒng)計目標(biāo)人員在“時間段”內(nèi)的人臉軌跡，目標(biāo)人員按照時間順序經(jīng)過的攝像頭及時間點為A、B、C……Z，如果目標(biāo)人員5次經(jīng)過A、B時間，3次時間大于“間隔時間”（1小時），AB攝像頭計“區(qū)域1” 3次；如果目標(biāo)人員10次經(jīng)過B、C時間，6次時間大于“間隔時間”（1小時），BC攝像頭計“區(qū)域2” 6次；一直到最后攝像頭XZ計“區(qū)域Y” N次。

攝像頭無法抓拍每個經(jīng)過的行人人臉，為防止AB攝像頭過遠，需要在查詢之前計算出所有攝像頭鄰近的攝像頭，首先獲知所有攝像頭的經(jīng)緯度，計算A和B、C等所有攝像頭的距離，找出它最近的幾個攝像頭（暫定8個）；計算B和A、C、D等所有攝像頭的距離，找出它最近的幾個攝像頭，一直找到最后一個攝像頭Z最近的幾個攝像頭。在查詢時將行人軌跡中時間相近的兩個攝像頭和以前存儲的表相比，如果屬于攝像頭鄰近探頭，則統(tǒng)計，不屬于鄰近探頭則不統(tǒng)計。

4、人臉碰撞

多個地點不同時間抓拍到人臉進行比對，找到共同出現(xiàn)的人臉。例如地區(qū)A在h1段時間內(nèi)抓拍到M張人臉，地區(qū)B在h2段時間內(nèi)抓拍到N張人臉，地區(qū)C在h3段時間內(nèi)抓拍到P張人臉，將地區(qū)A中M張人臉依次與地區(qū)B中N張人臉進行比對，找出其中相似的人臉，再將上述人臉與地區(qū)C中的P張人臉進行比對，得到A、B、C地區(qū)中共同相似的人臉。

1）應(yīng)用場景

針對案件中犯罪份子多次作案和在一起案件中確認嫌疑人多個出現(xiàn)的地點的情況，可采用碰撞分析鎖定嫌疑人員。

也可用于慣犯排查。辦案人員在處理類似三搶一盜的案件中，80%的案件是慣犯所為，找到經(jīng)過線索地點所有人員和慣犯庫進行比對碰撞，可以快速排查，找出偵查方向。

2）實現(xiàn)方式

實現(xiàn)條件：時間范圍、人臉抓拍庫、相機位置信息（經(jīng)緯度）

實現(xiàn)流程：

A）選擇要碰撞的區(qū)域（即攝像頭），輸入每個區(qū)域要碰撞的時間；

B）以區(qū)域為單位區(qū)域匯總輸入條件的人臉照片；

C）進行區(qū)域間的人臉比對；

D）輸出大于比對閾值的人臉照片。

5、出行規(guī)律分析

分析一段時間內(nèi)指定人員的活動規(guī)律，統(tǒng)計該人員出現(xiàn)在各個地點（攝像頭）的次數(shù)。

1）應(yīng)用場景

辦案人員找到一個嫌疑人線索后，需要知道嫌疑人經(jīng)常在那些地方活動，在這些地點經(jīng)常什么時間出現(xiàn)，為嫌疑人抓捕、掌握嫌疑人更多的作案地點提供信息支持。

2）實現(xiàn)方式

實現(xiàn)條件：目標(biāo)人員人臉照片、人臉抓拍庫、相機位置信息（經(jīng)緯度）

實現(xiàn)流程：

A）輸入目標(biāo)人臉照片及要統(tǒng)計的區(qū)域和時間；

B）篩選出輸入條件下的人臉抓拍照片，與目標(biāo)人臉進行比對；

C）得到大于閾值的人臉抓拍照片；

D）統(tǒng)計上述照片出現(xiàn)在攝像頭下的頻次；

E）按照頻次高低排序并輸出目標(biāo)人出現(xiàn)的攝像頭及出現(xiàn)次數(shù)。