根據(jù)國家安全委員會 (NSC) 的一項研究,每七秒鐘就會發(fā)生一次工傷事故。這一驚人的統(tǒng)計數(shù)字相當(dāng)于每年約有 450 萬名工人受傷。雖然現(xiàn)場主管可以衡量工人的情緒,但主管無法時刻監(jiān)控工人以防止事故發(fā)生。在此博客中,我們將探討如何使用英特爾? OpenVINO ?工具包的機器操作員監(jiān)視器應(yīng)用程序,根據(jù)面部表情的視頻輸入自動推斷機器操作員的注意力和情緒水平。有關(guān)機器操作員情緒和注意力水平的信息有助于保護(hù)操作員免受嚴(yán)重傷害。
機器操作員監(jiān)控數(shù)據(jù)管道
圖 1顯示了 Machine Operator Monitor 深度學(xué)習(xí)應(yīng)用程序的管道。讓我們探索這個管道和發(fā)生的活動。
圖 1:操作員姿勢和情緒推理管道圖說明了捕獲的圖像如何通過深度神經(jīng)網(wǎng)絡(luò)和 OpenVINO ?工具包移動,以識別機器操作員的注意力和情緒水平。(來源:作者)
該應(yīng)用程序使用安裝在制造站上的攝像機捕獲的圖像。捕獲的圖像流經(jīng)一系列三個深度神經(jīng)網(wǎng)絡(luò)(基于卷積神經(jīng)網(wǎng)絡(luò)或 CNN)。CNN 是一種流行的深度神經(jīng)網(wǎng)絡(luò),通常用于處理圖像。第一個 CNN 識別捕獲的幀中是否存在人臉。如果第一個 CNN 沒有檢測到人臉,那么就沒有必要進(jìn)一步處理圖像的姿勢或情緒。如果第一個 CNN 檢測到具有用戶可配置檢測閾值的人臉,則該人臉將傳遞到接下來的兩個階段。接下來 CNN 確定操作員是否在看機器。CNN 通過檢測操作員是否面向攝像機來做到這一點。最終的 CNN 檢測操作員的面部表情。
圖 2顯示了深度神經(jīng)網(wǎng)絡(luò)這三個階段的完成過程的示例。
圖 2 :Machine Operator Monitor 屏幕顯示了 OpenVINO?工具套件應(yīng)用程序處理捕獲的圖像后生成的輸出示例。(來源:英特爾)
如圖 2 所示,檢測面部以及推斷情緒和姿勢所需的時間約為 140 毫秒。這種速度允許快速響應(yīng)時間,允許及時警告操作員以最大限度地減少事故和傷害的機會。示例應(yīng)用程序還說明了消息隊列遙測傳輸 (MQTT) 協(xié)議如何將信息傳送到工業(yè)數(shù)據(jù)分析系統(tǒng)。
為什么這很酷
機器操作員監(jiān)控應(yīng)用程序是使用 Intel ? OpenVINO ?發(fā)行版和 700 行 Go 或 500 行 C++ 開發(fā)的。此代碼主要是膠水代碼,其中包含在為機器操作員監(jiān)控任務(wù)預(yù)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)中進(jìn)行的復(fù)雜工作。第一個網(wǎng)絡(luò)可以檢測人臉并檢查以確保人臉矩形完全位于捕獲的幀內(nèi)——即,不是部分人臉。捕獲的圖像然后通過姿勢網(wǎng)絡(luò)傳遞,檢查頭部是否相對于機器傾斜 45 度角以內(nèi)。最后,將人臉圖像傳入情感網(wǎng)絡(luò),識別操作員的情緒。當(dāng)與功能強大的硬件配對時,例如基于第六代Intel ?的硬件Core? 處理器或由 Intel Movidius? X VPU 提供支持的 Intel Neural Compute Stick 2,該應(yīng)用程序可以提供令人印象深刻的推理速度,從而實現(xiàn)實時分析。
改編這個例子
視線跟蹤是一項具有許多應(yīng)用的重要新技術(shù),但當(dāng)今的一項重要技術(shù)是車輛駕駛員監(jiān)控。艾倫·阿德勒 (Alan Adler) 撰寫的 2018 年卡車運輸死亡人數(shù)達(dá)到 29 年來最高水平的文章顯示,雖然機動車事故死亡人數(shù)正在下降(去年為 2%),但去年大型卡車事故死亡人數(shù)上升至 9% 的 29 年來新高。分心駕駛的增加是導(dǎo)致卡車運輸死亡人數(shù)上升的一個因素。
使用深度神經(jīng)網(wǎng)絡(luò)實時跟蹤駕駛員的頭部姿勢是確保駕駛員注意道路的一種方法。使用信息來監(jiān)控駕駛員的視線可以幫助識別風(fēng)險并確保駕駛員的合規(guī)性,從而減少分心的駕駛員給我們擁擠的道路帶來的風(fēng)險。
此外,您可以將頭部姿勢檢測與其他技術(shù)(例如心率檢測、體溫測量和呼吸監(jiān)測器)結(jié)合使用來識別睡意。關(guān)注眼睛,監(jiān)測眨眼和眼球運動可用于檢測微睡眠——我們進(jìn)入一種非常短暫的無意識狀態(tài),即使我們的眼睛保持睜開并且看起來很專心。
很容易想到頭部姿勢和表情檢測的其他應(yīng)用。使用提供的示例代碼,您只需要為您的應(yīng)用程序使用輸出分類,包括修改適當(dāng)?shù)念^部傾斜度。
M. Tim Jones 是一位資深的嵌入式固件架構(gòu)師,擁有超過 30 年的架構(gòu)和開發(fā)經(jīng)驗。Tim 是多本書籍和多篇文章的作者,涉及軟件和固件開發(fā)領(lǐng)域。他的工程背景從地球同步航天器的內(nèi)核開發(fā)到嵌入式系統(tǒng)架構(gòu)和協(xié)議開發(fā)。
審核編輯黃宇
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4726瀏覽量
100327 -
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
6767瀏覽量
88638 -
檢測
+關(guān)注
關(guān)注
5文章
4399瀏覽量
91258 -
cnn
+關(guān)注
關(guān)注
3文章
350瀏覽量
22102
發(fā)布評論請先 登錄
相關(guān)推薦
評論