使用 OpenVINO? 工具套件測量購物者情緒

衡量消費(fèi)者情緒是產(chǎn)品、服務(wù)等反饋的重要組成部分。近年來，情緒分析（也稱為意見挖掘）已被證明是提供消費(fèi)者反饋的有用工具。情感分析在社交媒體環(huán)境中使用文本分析和自然語言處理。情緒分析的基本思想是根據(jù)某種形式的交流（例如推文或網(wǎng)站評論）捕捉消費(fèi)者對某個主題的看法。

情緒分析的一種演變是被動地檢測路過貨架并查看產(chǎn)品的消費(fèi)者的情緒。這種類型的情緒分析不僅可以捕獲有關(guān)消費(fèi)者對產(chǎn)品意見的統(tǒng)計(jì)數(shù)據(jù)，還可以進(jìn)行直接交互——例如，如果銷售人員表示有興趣，則通知他們。在此博客中，我們將探討如何使用英特爾? OpenVINO ?工具包的購物者情緒應(yīng)用程序，根據(jù)輸入的面部表情視頻自動推斷購物者在零售店展示時的情緒。

購物者情緒數(shù)據(jù)管道

圖 1顯示了 Shopper Mood 應(yīng)用程序的管道。讓我們仔細(xì)看看這個深度學(xué)習(xí)應(yīng)用程序中發(fā)生了什么。

圖 1：購物者情緒推斷管道圖說明了 OpenVINO? 工具包的此應(yīng)用程序如何處理捕獲的圖像以識別在購物者臉上檢測到的情緒。（來源：作者）

該過程首先從安裝在零售貨架上的攝像機(jī)捕捉圖像。接下來，捕獲的圖像被傳遞到兩個深度神經(jīng)網(wǎng)絡(luò)中的第一個（基于卷積神經(jīng)網(wǎng)絡(luò)或 CNN）。CNN 是最流行的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)之一，旨在處理圖像。它們由大量層組成，這些層在前端處理圖像的小窗口，在后端產(chǎn)生一個或多個分類分?jǐn)?shù)。第一個 CNN 確定是否可以在捕獲的圖像中檢測到人臉。如果第一個網(wǎng)絡(luò)發(fā)現(xiàn)的人臉超過可配置的概率閾值，則每張人臉都被歸類為“購物者”并傳遞給第二個網(wǎng)絡(luò)。第二個網(wǎng)絡(luò)使用以下五個類別之一來識別臉上顯示的情緒類型：

快樂的

傷心

吃驚

生氣的

中性的

如果 CNN 無法確定檢測到的面部的情緒（高于可配置的閾值），則它會被簡單地標(biāo)記為“未知”。您可以在圖 2中看到疊加在原始圖像上的處理結(jié)果。

圖 2：Shopper Mood Monitor 輸出屏幕顯示了疊加在原始捕獲圖像上的 Shopper Mood Inference Pipeline 結(jié)果示例。（來源：英特爾）

從圖 2 中可以看出，檢測圖像中的人臉?biāo)钑r間為 136 毫秒，情感分析耗時 13 毫秒。這種快速的處理時間使得在需要立即響應(yīng)的情況下實(shí)時進(jìn)行這種分析成為可能——例如通知銷售人員協(xié)助購物者。

示例應(yīng)用程序還可用于非實(shí)時統(tǒng)計(jì)，可選擇通過消息隊(duì)列遙測傳輸 (MQTT) 協(xié)議將生成的情緒發(fā)送到數(shù)據(jù)分析系統(tǒng)以進(jìn)行累積和離線分析。

為什么這很酷

借助英特爾? OpenVINO ?分發(fā)版和大約 600 行 Go 代碼，您可以實(shí)現(xiàn)十年前需要非常專業(yè)的硬件和軟件才能實(shí)現(xiàn)的面部表情檢測。復(fù)雜的工作隱藏在深度學(xué)習(xí)模型中，這些模型已經(jīng)過面部和情緒檢測的預(yù)訓(xùn)練。然后，粘合源加載模型并將捕獲的幀呈現(xiàn)給模型進(jìn)行處理和分類。當(dāng)與功能強(qiáng)大的硬件（例如基于第 6 代英特爾? 酷睿? 處理器或由英特爾 Movidius? X VPU 提供支持的英特爾神經(jīng)計(jì)算棒 2）搭配使用時，可以獲得令人印象深刻的推理速度，從而實(shí)現(xiàn)實(shí)時分析。

改編這個例子

面部表情的實(shí)時檢測具有廣泛的適用用例。許多是商業(yè)性的，例如了解購物者的情緒，但您也可以應(yīng)用此解決方案來幫助患有某些類型面部識別障礙的人。據(jù)估計(jì)，總?cè)丝谥杏?2% 患有發(fā)育性面容失認(rèn)癥。發(fā)育性面容失認(rèn)癥是指影響人臉識別或面部表情識別的障礙（表情性失認(rèn)癥）。該應(yīng)用程序可以識別發(fā)育性面容失認(rèn)癥患者的面部和面部表情。

此外，考慮將該技術(shù)應(yīng)用于增強(qiáng)虛擬現(xiàn)實(shí)。隨著越來越多的嵌入式設(shè)備開始支持深度學(xué)習(xí)，可能的增強(qiáng)虛擬現(xiàn)實(shí)用例也會增加。例如，眼鏡可以集成攝像機(jī)和實(shí)時面部檢測功能，以便在捕獲的圖像上呈現(xiàn)虛擬疊加層，描述從佩戴眼鏡的人身邊經(jīng)過的人推斷出的面部表情。

很容易想到其他應(yīng)用。使用提供的示例代碼，您只需要為您的應(yīng)用程序使用輸出分類。

在哪里了解更多

您可以在英特爾?物聯(lián)網(wǎng)開發(fā)套件GitHub 上了解有關(guān)此演示的更多信息。

膠水應(yīng)用程序是用 C++ 和 Go 語言開發(fā)的。該發(fā)行版包括面向 OpenVINO ?的英特爾?優(yōu)化人臉檢測和情緒檢測模型。您可以使用 Ubuntu 16.04 LTS Linux 操作系統(tǒng)、英特爾? OpenVINO ?工具包分發(fā)版和 OpenCL ?運(yùn)行時包輕松試驗(yàn)此應(yīng)用程序。

您還可以使用 AIoT 開發(fā)套件快速啟動您的開發(fā)，其中包括 Ubuntu、OpenVINO ?、英特爾? Media SDK 和預(yù)裝英特爾?酷睿?處理器的英特爾? System Studio 2018。開發(fā)工具包包括幫助您快速入門和運(yùn)行的教程。

您還可以使用基于 Intel ? Apollo Lake ?平臺的AAEON UP 板。