人臉識(shí)別的核心業(yè)務(wù)流程介紹

1、通用流程概述

根據(jù)實(shí)際應(yīng)用場(chǎng)景以及硬件配置，活體檢測(cè)和特征提取可選擇是否采用并行的方式。

如上圖所示，人臉識(shí)別的核心業(yè)務(wù)流程可以分為以下四個(gè)步驟：

a）人臉檢測(cè)：采集視頻幀或靜態(tài)圖，傳入算法進(jìn)行檢測(cè)，輸出人臉數(shù)據(jù)，用于后續(xù)的檢測(cè)。 b）活體檢測(cè)：在人臉識(shí)別過(guò)程中判斷操作用戶(hù)是否為真人，有效防御照片、視頻、紙張等不同類(lèi)型的作弊攻擊，提高業(yè)務(wù)安全性，可根據(jù)應(yīng)用場(chǎng)景選擇是否接入； c）特征提取：對(duì)待比對(duì)的圖像進(jìn)行特征提取、人臉庫(kù)的預(yù)提取，用于之后的比對(duì)； d）人臉識(shí)別：1:1比對(duì)主要是判斷「你是你」，用于核實(shí)身份的真實(shí)性；1:N搜索主要識(shí)別「你是誰(shuí)」，用于明確身份的具體所屬。

虹軟產(chǎn)品：

ArcFace 離線(xiàn)SDK，包含人臉檢測(cè)、性別檢測(cè)、年齡檢測(cè)、人臉識(shí)別、圖像質(zhì)量檢測(cè)、RGB活體檢測(cè)、IR活體檢測(cè)等能力，初次使用時(shí)需聯(lián)網(wǎng)激活，激活后即可在本地?zé)o網(wǎng)絡(luò)環(huán)境下工作，可根據(jù)具體的業(yè)務(wù)需求結(jié)合人臉識(shí)別SDK靈活地進(jìn)行應(yīng)用層開(kāi)發(fā)。

2、ArcFace接入集成及示例

2.1 SDK的獲取

訪(fǎng)問(wèn)ArcSoft AI開(kāi)放平臺(tái)門(mén)戶(hù)：https://ai.arcsoft.com.cn，注冊(cè)開(kāi)發(fā)者賬號(hào)并登錄。

SDK下載

創(chuàng)建對(duì)應(yīng)的應(yīng)用，并選擇需要下載的SDK、對(duì)應(yīng)平臺(tái)以及版本，確認(rèn)后即可下載SDK。

查看APP_ID、SDK_KEY ，點(diǎn)擊下載圖標(biāo)獲取SDK開(kāi)發(fā)包。

2.2 SDK包結(jié)構(gòu)

|---doc
|   |---ARCSOFT_ARC_FACE_JAVA_DEVELOPER'S_GUIDE.pdf   開(kāi)發(fā)說(shuō)明文檔
|---lib
|---|---Win32/x64
|   |---|---libarcsoft_face.dll             算法庫(kù)
|   |---|---libarcsoft_face_engine.dll            引擎庫(kù) 
|   |---|---libarcsoft_face_engine_jni.dll            引擎庫(kù)
|   |---arcsoft-sdk-face-3.0.0.0.jar            java依賴(lài)庫(kù)
|---samplecode
|   |---FaceEngineTest.java                             示例代碼
|---releasenotes.txt                                    說(shuō)明文件

2.3 指標(biāo)

算法檢測(cè)指標(biāo)受硬件配置、圖像數(shù)據(jù)質(zhì)量、測(cè)試方法等因素影響，以下實(shí)驗(yàn)數(shù)據(jù)僅供參考，具體數(shù)據(jù)以實(shí)際應(yīng)用場(chǎng)景測(cè)試結(jié)果為準(zhǔn)。

2.3.1 算法性能

硬件信息：

處理器：Intel Core i5-8500 3.0GHz

安裝內(nèi)存(RAM)：16.0GB(15.9GB可用)

系統(tǒng)類(lèi)型：win10 64位操作系統(tǒng)

分辨率：1280 x 720

不同人臉庫(kù)條件下人臉比對(duì)+RGB活體檢測(cè)全流程體感耗時(shí)

2.3.2 閾值推薦

活體取值范圍為[0~1]，推薦閾值如下，高于此閾值的即可判斷為活體。

RGB 活體：0.5

IR 活體：0.7

人臉比對(duì)取值范圍為[0~1]，推薦閾值如下，高于此閾值的即可判斷為同一人。

用于生活照之間的特征比對(duì)，推薦閾值0.80

用于證件照或生活照與證件照之間的特征比對(duì)，推薦閾值0.82

2.3.3 圖像質(zhì)量要求

建議待檢測(cè)的圖像人臉角度上、下、左、右轉(zhuǎn)向小于30度；

圖片中人臉尺寸不小于50 x 50像素；

圖片大小小于10MB；

圖像清晰；

2.4 在項(xiàng)目中引入 SDK 包

        
            com.arcsoft.face 
            arcsoft-sdk-face 
            3.0.0.0 
            system 
            ${project.basedir}/lib/arcsoft-sdk-face-3.0.0.0.jar
         

2.4.1?簡(jiǎn)要集成示例

package com.arcsoft;


import com.arcsoft.face.*;
import?com.arcsoft.face.enums.ImageFormat;
import javax.imageio.ImageIO;
import java.awt.color.ColorSpace;
import java.awt.image.BufferedImage;
import java.awt.image.ColorConvertOp;
import java.awt.image.DataBufferByte;
import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

public class FaceEngineTest {

    public static void main(String[] args) {
        new FaceEngineTest().faceEngineTest();
    }


    public void faceEngineTest() {
        String appId = "";
????????String?sdkKey?=?"";


        FaceEngine faceEngine = new FaceEngine();
        //激活引擎
        faceEngine.active(appId, sdkKey);
        EngineConfiguration engineConfiguration = EngineConfiguration.builder().functionConfiguration(
                FunctionConfiguration.builder()
                        .supportAge(true)
                        .supportFace3dAngle(true)
                        .supportFaceDetect(true)
                        .supportFaceRecognition(true)
                        .supportGender(true)
                        .supportLiveness(true)
                        .build()).build();
        //初始化引擎
        faceEngine.init(engineConfiguration);


        ImageInfo imageInfo = getRGBData(new File("d:\1.jpg"));
        ImageInfo imageInfo2 = getRGBData(new File("d:\2.jpg"));
        //人臉檢測(cè)
        List faceInfoList = new ArrayList();
        faceEngine.detectFaces(imageInfo.getRgbData(), imageInfo.getWidth(), imageInfo.getHeight(), ImageFormat.CP_PAF_BGR24, faceInfoList);
        
        List faceInfoList2 = new ArrayList();
????????faceEngine.detectFaces(imageInfo.getRgbData(),?imageInfo.getWidth(),?imageInfo.getHeight(),?ImageFormat.CP_PAF_BGR24,?faceInfoList2);


        //提取人臉特征
        FaceFeature faceFeature = new FaceFeature();
        faceEngine.extractFaceFeature(imageInfo.getRgbData(), imageInfo.getWidth(), imageInfo.getHeight(), ImageFormat.CP_PAF_BGR24, faceInfoList.get(0), faceFeature);


        FaceFeature faceFeature2 = new FaceFeature();
        faceEngine.extractFaceFeature(imageInfo2.getRgbData(), imageInfo2.getWidth(), imageInfo2.getHeight(), ImageFormat.CP_PAF_BGR24, faceInfoList2.get(0), faceFeature2);
        //人臉對(duì)比
        FaceFeature targetFaceFeature = new FaceFeature();
        targetFaceFeature.setFeatureData(faceFeature.getFeatureData());


        FaceFeature sourceFaceFeature = new FaceFeature();
        sourceFaceFeature.setFeatureData(faceFeature2.getFeatureData());


        FaceSimilar faceSimilar = new FaceSimilar();
????????faceEngine.compareFaceFeature(targetFaceFeature,?sourceFaceFeature,?faceSimilar);
        int processResult = faceEngine.process(imageInfo.getRgbData(), imageInfo.getWidth(), imageInfo.getHeight(), ImageFormat.CP_PAF_BGR24, faceInfoList, FunctionConfiguration.builder().supportAge(true).supportFace3dAngle(true).supportGender(true).supportLiveness(true).build());
        //性別提取
        List genderInfoList = new ArrayList();
        int genderCode = faceEngine.getGender(genderInfoList);
        //年齡提取
        List ageInfoList = new ArrayList();
        int ageCode = faceEngine.getAge(ageInfoList);
        //3D信息提取
        List face3DAngleList = new ArrayList();
        int face3dCode = faceEngine.getFace3DAngle(face3DAngleList);
        //活體信息
        List livenessInfoList = new ArrayList();
        int livenessCode = faceEngine.getLiveness(livenessInfoList);
        System.out.println();
????}
    public ImageInfo getRGBData(File file) {
        if (file == null)
            return null;
        ImageInfo imageInfo;
        try {
            //將圖片文件加載到內(nèi)存緩沖區(qū)
            BufferedImage image = ImageIO.read(file);
            imageInfo = bufferedImage2ImageInfo(image);
        } catch (IOException e) {
            e.printStackTrace();
            return null;
        }
        return imageInfo;
????}
    private ImageInfo bufferedImage2ImageInfo(BufferedImage image) {
        ImageInfo imageInfo = new ImageInfo();
        int width = image.getWidth();
        int height = image.getHeight();
        // 使圖片居中
        width = width & (~3);
        height = height & (~3);
        imageInfo.setWidth(width);
        imageInfo.setHeight(height);
        //根據(jù)原圖片信息新建一個(gè)圖片緩沖區(qū)
        BufferedImage resultImage = new BufferedImage(width, height, image.getType());
        //得到原圖的rgb像素矩陣
        int[] rgb = image.getRGB(0, 0, width, height, null, 0, width);
        //將像素矩陣 繪制到新的圖片緩沖區(qū)中
        resultImage.setRGB(0, 0, width, height, rgb, 0, width);
        //進(jìn)行數(shù)據(jù)格式化為可用數(shù)據(jù)
        BufferedImage dstImage = new BufferedImage(width, height, BufferedImage.TYPE_3BYTE_BGR);
        if (resultImage.getType() != BufferedImage.TYPE_3BYTE_BGR) {
            ColorSpace cs = ColorSpace.getInstance(ColorSpace.CS_LINEAR_RGB);
            ColorConvertOp colorConvertOp = new ColorConvertOp(cs, dstImage.createGraphics().getRenderingHints());
            colorConvertOp.filter(resultImage, dstImage);
        } else {
            dstImage = resultImage;
        }
        //獲取rgb數(shù)據(jù)
        imageInfo.setRgbData(((DataBufferByte) (dstImage.getRaster().getDataBuffer())).getData());
        return imageInfo;
    }


    class ImageInfo {
        public byte[] rgbData;
        public int width;
????????public?int?height;
        public byte[] getRgbData() {
            return rgbData;
????????}
        public void setRgbData(byte[] rgbData) {
            this.rgbData = rgbData;
????????}
        public int getWidth() {
            return width;
????????}
        public void setWidth(int width) {
            this.width = width;
????????}
        public int getHeight() {
            return height;
????????}
        public void setHeight(int height) {
            this.height = height;
        }
    }
}

參考文獻(xiàn)：https://ai.arcsoft.com.cn/manual/docs

編輯：黃飛