使用 OpenVINO? 工具包監(jiān)控機器操作員

根據(jù)國家安全委員會 (NSC) 的一項研究，每七秒鐘就會發(fā)生一次工傷事故。這一驚人的統(tǒng)計數(shù)字相當(dāng)于每年約有 450 萬名工人受傷。雖然現(xiàn)場主管可以衡量工人的情緒，但主管無法時刻監(jiān)控工人以防止事故發(fā)生。在此博客中，我們將探討如何使用英特爾? OpenVINO ?工具包的機器操作員監(jiān)視器應(yīng)用程序，根據(jù)面部表情的視頻輸入自動推斷機器操作員的注意力和情緒水平。有關(guān)機器操作員情緒和注意力水平的信息有助于保護(hù)操作員免受嚴(yán)重傷害。

機器操作員監(jiān)控數(shù)據(jù)管道

圖 1顯示了 Machine Operator Monitor 深度學(xué)習(xí)應(yīng)用程序的管道。讓我們探索這個管道和發(fā)生的活動。

圖 1：操作員姿勢和情緒推理管道圖說明了捕獲的圖像如何通過深度神經(jīng)網(wǎng)絡(luò)和 OpenVINO ?工具包移動，以識別機器操作員的注意力和情緒水平。（來源：作者）

該應(yīng)用程序使用安裝在制造站上的攝像機捕獲的圖像。捕獲的圖像流經(jīng)一系列三個深度神經(jīng)網(wǎng)絡(luò)（基于卷積神經(jīng)網(wǎng)絡(luò)或 CNN）。CNN 是一種流行的深度神經(jīng)網(wǎng)絡(luò)，通常用于處理圖像。第一個 CNN 識別捕獲的幀中是否存在人臉。如果第一個 CNN 沒有檢測到人臉，那么就沒有必要進(jìn)一步處理圖像的姿勢或情緒。如果第一個 CNN 檢測到具有用戶可配置檢測閾值的人臉，則該人臉將傳遞到接下來的兩個階段。接下來 CNN 確定操作員是否在看機器。CNN 通過檢測操作員是否面向攝像機來做到這一點。最終的 CNN 檢測操作員的面部表情。

圖 2顯示了深度神經(jīng)網(wǎng)絡(luò)這三個階段的完成過程的示例。

圖 2 ：Machine Operator Monitor 屏幕顯示了 OpenVINO?工具套件應(yīng)用程序處理捕獲的圖像后生成的輸出示例。（來源：英特爾）

如圖 2 所示，檢測面部以及推斷情緒和姿勢所需的時間約為 140 毫秒。這種速度允許快速響應(yīng)時間，允許及時警告操作員以最大限度地減少事故和傷害的機會。示例應(yīng)用程序還說明了消息隊列遙測傳輸 (MQTT) 協(xié)議如何將信息傳送到工業(yè)數(shù)據(jù)分析系統(tǒng)。

為什么這很酷

機器操作員監(jiān)控應(yīng)用程序是使用 Intel ? OpenVINO ?發(fā)行版和 700 行 Go 或 500 行 C++ 開發(fā)的。此代碼主要是膠水代碼，其中包含在為機器操作員監(jiān)控任務(wù)預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行的復(fù)雜工作。第一個網(wǎng)絡(luò)可以檢測人臉并檢查以確保人臉矩形完全位于捕獲的幀內(nèi)——即，不是部分人臉。捕獲的圖像然后通過姿勢網(wǎng)絡(luò)傳遞，檢查頭部是否相對于機器傾斜 45 度角以內(nèi)。最后，將人臉圖像傳入情感網(wǎng)絡(luò)，識別操作員的情緒。當(dāng)與功能強大的硬件配對時，例如基于第六代Intel ?的硬件Core? 處理器或由 Intel Movidius? X VPU 提供支持的 Intel Neural Compute Stick 2，該應(yīng)用程序可以提供令人印象深刻的推理速度，從而實現(xiàn)實時分析。

改編這個例子

視線跟蹤是一項具有許多應(yīng)用的重要新技術(shù)，但當(dāng)今的一項重要技術(shù)是車輛駕駛員監(jiān)控。艾倫·阿德勒 (Alan Adler) 撰寫的 2018 年卡車運輸死亡人數(shù)達(dá)到 29 年來最高水平的文章顯示，雖然機動車事故死亡人數(shù)正在下降（去年為 2%），但去年大型卡車事故死亡人數(shù)上升至 9% 的 29 年來新高。分心駕駛的增加是導(dǎo)致卡車運輸死亡人數(shù)上升的一個因素。

使用深度神經(jīng)網(wǎng)絡(luò)實時跟蹤駕駛員的頭部姿勢是確保駕駛員注意道路的一種方法。使用信息來監(jiān)控駕駛員的視線可以幫助識別風(fēng)險并確保駕駛員的合規(guī)性，從而減少分心的駕駛員給我們擁擠的道路帶來的風(fēng)險。

此外，您可以將頭部姿勢檢測與其他技術(shù)（例如心率檢測、體溫測量和呼吸監(jiān)測器）結(jié)合使用來識別睡意。關(guān)注眼睛，監(jiān)測眨眼和眼球運動可用于檢測微睡眠——我們進(jìn)入一種非常短暫的無意識狀態(tài)，即使我們的眼睛保持睜開并且看起來很專心。

很容易想到頭部姿勢和表情檢測的其他應(yīng)用。使用提供的示例代碼，您只需要為您的應(yīng)用程序使用輸出分類，包括修改適當(dāng)?shù)念^部傾斜度。

M. Tim Jones 是一位資深的嵌入式固件架構(gòu)師，擁有超過 30 年的架構(gòu)和開發(fā)經(jīng)驗。Tim 是多本書籍和多篇文章的作者，涉及軟件和固件開發(fā)領(lǐng)域。他的工程背景從地球同步航天器的內(nèi)核開發(fā)到嵌入式系統(tǒng)架構(gòu)和協(xié)議開發(fā)。

審核編輯黃宇