安富利手勢(shì)識(shí)別平臺(tái)又進(jìn)化了,在樹莓派上,安富利實(shí)現(xiàn)了攝像頭和毫米波雷達(dá)融合的手勢(shì)識(shí)別方案。攝像頭負(fù)責(zé)識(shí)別靜態(tài)手勢(shì),攝像頭讀取的圖像,經(jīng)過openCV和機(jī)器學(xué)習(xí)分類器后,完成手勢(shì)識(shí)別,最后輸出1,2,3,4 等結(jié)果。后期借助于TensorFlow架構(gòu)將Hand Tracking GPU整合進(jìn)融合平臺(tái)。毫米波雷達(dá)負(fù)責(zé)動(dòng)態(tài)手勢(shì)的識(shí)別, 相對(duì)于攝像頭,毫米波雷達(dá)可以更好的保護(hù)客戶隱私,而且算法簡(jiǎn)單不需要GPU以及神經(jīng)網(wǎng)絡(luò)的支持,因此反應(yīng)更快功耗更低。目前安富利借助于英飛凌BGT60TR13芯片,實(shí)現(xiàn)了揮手,旋轉(zhuǎn)手勢(shì)以及揉搓手指等6種手勢(shì)識(shí)別。關(guān)于毫米波雷達(dá)的手勢(shì)控制具體內(nèi)容和演示視頻可參考往期文章《利用毫米波完成精細(xì)化手勢(shì)識(shí)別》。
硬件平臺(tái)
攝像頭負(fù)責(zé)采集圖像,在樹莓派上借助于Python開發(fā)環(huán)境,實(shí)現(xiàn)了手勢(shì)提取和識(shí)別。利用攝像頭完成手勢(shì)識(shí)別,目前有很多架構(gòu)和開源代碼可以參考,目前比較火熱甚至被玩壞的 Hand Tracking GPU,這款應(yīng)用基于TensorFlow 目前已經(jīng)開源,小伙伴們可以盡情的玩起來了。
英飛凌60GHz雷達(dá)處理芯片BGT60TR13,5GHz的掃頻帶寬,在FMCW工作模式中,可以實(shí)現(xiàn)3cm的距離分辨率,可以識(shí)別精細(xì)的手勢(shì)。安富利目前的手勢(shì)識(shí)別算法運(yùn)行在60GHz的毫米波雷達(dá)平臺(tái)上,掃頻帶寬為3GHz,目前已經(jīng)實(shí)現(xiàn)旋轉(zhuǎn),左右揮手,上下?lián)]手以及揉搓手指等手勢(shì)識(shí)別。樹莓派作為中央處理器,接收來自攝像頭和毫米波雷達(dá)的傳感器數(shù)據(jù),并完成手勢(shì)識(shí)別并顯示在顯示屏上,方案如圖 1所示。
圖 1安富利手勢(shì)識(shí)別平臺(tái)
軟件流程 安富利北京實(shí)驗(yàn)室目前已經(jīng)完成一整套代碼開發(fā),方便客戶做二次開發(fā)。具體功能如圖 2所示,在毫米波雷達(dá)方向上信號(hào)流為2-D FFT變換, 基于硬件加速的峰值搜索,恒虛警算法篩選潛在目標(biāo),基于相差比較方法計(jì)算角度波達(dá)方向角,以及在SDK環(huán)境下的手勢(shì)分類識(shí)別,最后將手勢(shì)識(shí)別結(jié)果顯示在GUI上。在攝像頭方向上,借助于openCV完成攝像頭采集,輪廓提取并借助于scikit-learn庫(kù)函數(shù)中的SVC分類器完成手勢(shì)分類。
圖 2 軟件功能框圖
演示效果截圖
在截圖中,第一排顯示的是基于攝像頭的手勢(shì)識(shí)別,簡(jiǎn)單演示了識(shí)別1,2,3,4,5。第二排,主要是演示了基于毫米波雷達(dá)的手勢(shì)識(shí)別,能夠識(shí)別左揮手,右揮手,順時(shí)針旋轉(zhuǎn)手勢(shì),逆時(shí)針旋轉(zhuǎn)手勢(shì)。以及包括揉搓手指的微多普勒手勢(shì),包括接近雷達(dá)和遠(yuǎn)離雷達(dá)。
-
芯片
+關(guān)注
關(guān)注
452文章
50056瀏覽量
419932 -
手勢(shì)識(shí)別
+關(guān)注
關(guān)注
8文章
225瀏覽量
47743 -
毫米波雷達(dá)
+關(guān)注
關(guān)注
106文章
1020瀏覽量
64167
原文標(biāo)題:手勢(shì)識(shí)別,可以玩起來了
文章出處:【微信號(hào):AvnetAsia,微信公眾號(hào):安富利】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論