Google剛剛發(fā)布了一個有趣的AI應(yīng)用,Move Mirror。Move Mirror使用攝像頭捕捉你的動作,并實時地在8萬張圖像中匹配和你的動作相近的圖像。
在發(fā)布Move Mirror的同時,Google Creative Lab的Jane Friedhoff和Irene Alvarado發(fā)表長文,分享了打造Move Mirror的經(jīng)驗。
PoseNet
幾個月前,Google Creative Lab有了制作Move Mirror的想法。顯然,這個應(yīng)用的核心是位姿估計(pose estimation)模型。
Google自家就在CVPR 2017上提交了PoseNet的論文。PoseNet可以檢測多人的2D位姿,并在COCO數(shù)據(jù)集的關(guān)鍵任務(wù)上達到了當前最優(yōu)表現(xiàn)。
表現(xiàn)出色,又是自家出品,所以Move Mirror團隊順理成章地選擇了PoseNet作為應(yīng)用背后的模型。在原型開發(fā)階段,團隊通過簡單的web API訪問PoseNet模型,這極大地簡化了原型開發(fā)流程。只需向內(nèi)部的PoseNet API接口發(fā)送一個HTTP POST請求,提交base64編碼的圖像,API就會傳回位姿數(shù)據(jù)(基本無延遲)。若干行JavaScript代碼,一份API密鑰,搞定!
不過,考慮到不是所有人樂意把自己的圖像發(fā)送到一個中央服務(wù)器,順便也為了減少對后端服務(wù)器的依賴,團隊決定把PoseNet移植到TensorFlow.js上。TensorFlow.js讓用戶可以在他們自己的瀏覽器中運行機器學習模型——無需服務(wù)器。
在Google Brain的TensorFlow.js團隊成員Nikhil Thorat、Daniel Smilkov,以及Google研究員George Papandreou、Tyler Zhu、Dan Oved(Papandreou和Zhu是PoseNet的作者)的幫助下,移植工作順利完成了。
PoseNet單人位姿檢測過程
我們將根據(jù)上面的示意圖簡單介紹PoseNet的位姿檢測算法。我們看到,圖中標明了網(wǎng)絡(luò)架構(gòu)是MobileNet。實際上,在PoseNet的論文中,研究人員同時訓練了ResNet和MobileNet網(wǎng)絡(luò)。盡管基于ResNet的模型精確度更高,但對實時應(yīng)用來說,較大的尺寸和較多的網(wǎng)絡(luò)層會是頁面加載時間和推理時間不夠理想。因此,TensorFlow.js上的PoseNet使用了MobileNet模型。
網(wǎng)絡(luò)輸出關(guān)鍵點熱圖和偏移向量。關(guān)鍵點熱圖用于估計關(guān)鍵點的位置,而偏移向量則用來在熱圖的基礎(chǔ)上進一步預(yù)測關(guān)鍵點的精確位置。
限于篇幅,我們這里不介紹多人位姿估計算法的細節(jié)。和單人位姿估計算法相比,多人位姿估計算法的主要差別在于使用了貪婪方法分組關(guān)鍵點,具體而言,使用了Google在2018年發(fā)表的PersonLab論文中的高速貪婪解碼算法。
構(gòu)建數(shù)據(jù)集
巧婦難為無米之炊。雖然PoseNet已經(jīng)解決了位姿估計問題,但為了根據(jù)用戶的位姿查找匹配的圖像,首先要有圖像。圖像要符合以下兩個要求:
多樣性為了更好地匹配用戶做出的各種各樣的動作,圖像的位姿需要盡可能多樣化。
全身像從用戶體驗的一致性出發(fā),決定只使用全身像。
最終,團隊選擇了包含多種動作,不同體型、膚色、文化的一組視頻,將其切分為8萬張靜止圖像。使用PoseNet處理這些圖像,并儲存相應(yīng)的位姿數(shù)據(jù)。
你可能注意到,不是所有的圖像都能正確解析位姿,所以丟棄了一些圖像
位姿匹配
PoseNet的位姿數(shù)據(jù)包括17個關(guān)鍵點的坐標,以及相應(yīng)的置信度。
為了匹配關(guān)鍵點的相似度,很自然的一個想法是將17個關(guān)鍵點轉(zhuǎn)換為向量,那么位姿匹配問題就轉(zhuǎn)換為了高維空間中的向量相似性問題。這一問題有現(xiàn)成的余弦距離方案可用。
將JSON格式的關(guān)鍵點數(shù)據(jù)轉(zhuǎn)換為向量
余弦相似度
如果你不熟悉余弦相似度,這里我們簡單溫習下這一概念。余弦相似度測量兩個向量的相似程度:基本上,它測量兩個向量之間的夾角,如果兩個向量方向正好相反,則返回-1,如果兩個向量方向一致,則返回1。重要的是,它只測量向量的方向,而不考慮長度。
圖片來源:Christian Perone
盡管我們談?wù)摰氖窍蛄亢徒嵌?,余弦相似度并不限于直線和圖。例如,余弦相似度可以得到兩個字符串的相似度數(shù)值。(如果你曾經(jīng)使用過Word2Vec,你可能已經(jīng)間接地使用過余弦相似度。)事實上,余弦相似度是一個極其有效的將高維向量的關(guān)系約減至單個數(shù)字的方法。
溫習了余弦相似度的概念之后,讓我們回到之前的話題。理論上,直接將關(guān)鍵點數(shù)據(jù)轉(zhuǎn)為向量后,就可以比較其余弦相似度了。實際上,還需要處理一些細節(jié),這是因為數(shù)據(jù)集中的圖像尺寸大小不同,不同的人也可能出現(xiàn)在圖像的不同局部。
具體而言,進行了如下兩項額外處理,以便保持比較的一致性:
縮放根據(jù)每個人的包圍盒裁剪圖片,然后縮放至固定大小。
標準化L2正則化向量(使分量的平方和等于1)。
L2正則化向量
可視化以上兩個處理步驟:
最終,根據(jù)下式計算向量間的距離:
加權(quán)匹配
上面的匹配算法好像缺了點什么?還記得我們之前提到的嗎?
PoseNet的位姿數(shù)據(jù)包括17個關(guān)鍵點的坐標,以及相應(yīng)的置信度。
左肘在畫面中清晰可見,置信度較高;右肩在畫面中不可見,置信度較低
上面的匹配算法根本沒有考慮置信度呀。顯然,置信度是很重要的信息。為了得到更準確的結(jié)果,我們應(yīng)該給置信度高的關(guān)鍵點較高的權(quán)重,給置信度低的關(guān)鍵點較低的權(quán)重。換句話說,增強置信度高的關(guān)鍵點對相似度的影響,削弱置信度低的關(guān)鍵點對相似度的影響。
Google研究員George Papandreou和Tyler Zhu給出了將置信度納入考量后的距離公式:
上式中,Ck為第k個關(guān)鍵點的置信度,xyk為第k個關(guān)鍵點的x、y坐標(經(jīng)過縮放、標準化等處理)。
加權(quán)匹配提供更精確的結(jié)果。即使身體的部分被遮擋或位于畫面之外,仍然能夠匹配。
優(yōu)化匹配速度
還記得嗎?總共有8萬張圖像!如果采用暴力搜索法,每次匹配需要計算8萬次距離。這對于實時應(yīng)用來說不可接受。
為了優(yōu)化匹配速度,需要將8萬個位姿數(shù)據(jù)以某種有序的數(shù)據(jù)結(jié)構(gòu)存儲,這樣,匹配的時候就可以跳過那些明顯距離很遠的位姿數(shù)據(jù),從而大大加速匹配進程。
Move Mirror選用的數(shù)據(jù)結(jié)構(gòu)是制高點樹(vantage-point tree,簡稱VP樹)。
制高點樹
簡單溫習下制高點樹這一數(shù)據(jù)結(jié)構(gòu)。
圖片來源:Data Structures for Spatial Data Mining
我們在數(shù)據(jù)點中選取一點(可以隨機選取)作為根節(jié)點(上圖中為5)。我們繞著5畫一個圈,將空間分割成圈內(nèi)和圈外兩部分。接著我們在圈內(nèi)、圈外各選一點作為制高點(上圖中為7和1)。接著,繞著每個制高點各畫一個圈,同樣在圈內(nèi)、圈外各選一點……以此類推。這里的關(guān)鍵在于,如果我們從點5開始,然后發(fā)現(xiàn)7比1更接近目標,那么我們就可以跳過1的所有子節(jié)點。
關(guān)于制高點樹的更多細節(jié),可以參閱fribbels.github.io/vptree/writeup 使用了制高點樹(javascript庫vptree.js)之后,匹配得以在大約15ms內(nèi)完成,對實時應(yīng)用而言,這一數(shù)字很理想。
Move Mirror僅僅返回最匹配用戶位姿的圖像。不過,通過遍歷制高點樹,不難返回更多結(jié)果,比如最接近的10張或20張圖像。這可以用來制作調(diào)試工具,發(fā)現(xiàn)數(shù)據(jù)集的問題。
Move Mirror調(diào)試工具
結(jié)語
Move Mirror團隊期待能看到更多類似的有趣應(yīng)用,比如匹配舞蹈動作,匹配經(jīng)典電影片段?;蛘叻聪虿僮?,基于位姿估計幫助人們在家中練習瑜伽或者進行理療。
如果你想親自嘗試Move Mirror效果:g.co/movemirror
如果你也想基于TensorFlow.js上的PoseNet制作應(yīng)用:tensorflow/tfjs-models/posenet
-
Google
+關(guān)注
關(guān)注
5文章
1752瀏覽量
57329 -
機器學習
+關(guān)注
關(guān)注
66文章
8325瀏覽量
132194 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1199瀏覽量
24594
原文標題:魔鏡煉成記:Google位姿估計應(yīng)用Move Mirror架構(gòu)與實現(xiàn)
文章出處:【微信號:jqr_AI,微信公眾號:論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論