Google推出新AI實(shí)驗(yàn)網(wǎng)站Move Mirror

從AlphaGo到猜畫小歌，Google一再向我們展示著人工智能的神通廣大，前段時間Google又推出一個新的AI實(shí)驗(yàn)網(wǎng)站Move Mirror 。

Move Mirror是一個人工智能實(shí)驗(yàn)，通過移動讓你以一種有趣的新方式來探索圖像，當(dāng)你在攝像頭前移動時，Move Mirror會通過你的實(shí)時動作判定你的人體姿勢，與數(shù)百張?jiān)谑澜绺鞯刈鲱愃谱藙莸娜说膱D像相匹配，篩選出與你的姿勢最相近的圖像。你甚至可以捕獲做一個GIF圖，與你的朋友分享它。

大概的運(yùn)作原理是：它會利用PoseNet來鏡像圖像中人體姿勢的關(guān)節(jié)對應(yīng)位置，分析后從有80000張素材的數(shù)據(jù)圖庫中對比出與你姿勢最接近的圖像，而這個過程僅僅需要15ms。并且搜索結(jié)果會即時比對隨時變更。

這這要?dú)w功于TensorFlow.js，這是一個允許你在瀏覽器中運(yùn)行機(jī)器學(xué)習(xí)項(xiàng)目的Javascript庫。通過將PoseNet移植到TensorFlow.js，任何擁有配備好網(wǎng)絡(luò)攝像頭的PC或手機(jī)的人都可以在Web瀏覽器中體驗(yàn)和使用這項(xiàng)技術(shù)。關(guān)于隱私，當(dāng)PoseNet由tensorflow.js驅(qū)動時，這就意味著姿態(tài)估計(jì)直接發(fā)生在瀏覽器中，你的圖像不會被儲存或發(fā)送到服務(wù)器，所有的圖像識別都在本地進(jìn)行。所以你可以放心去做一些看著很搞笑或有點(diǎn)蠢的動作。

上段說到PoseNet這是一個由劍橋大學(xué)開發(fā)的姿態(tài)估計(jì)開源工具，允許任何Web開發(fā)人員完全在瀏覽器中進(jìn)行基于身體的交互，不需要特殊的相機(jī)或C++/Python技能，這是非常先進(jìn)的姿勢估計(jì)模型，即使是一些模糊，低分辨率，黑白的圖片，也可以從圖像數(shù)據(jù)中提供高度準(zhǔn)確的姿勢數(shù)據(jù)。PoseNet可以通過簡單易獲取的Web API降低了姿態(tài)估計(jì)的入門門檻。

姿態(tài)匹配和搜索是Move Mirror面臨的難點(diǎn)。

PoseNet在面部和身體上檢測17個姿勢關(guān)鍵點(diǎn)。每個關(guān)鍵點(diǎn)都有三個重要的數(shù)據(jù)：（x，y）坐標(biāo)位置（表示PoseNet發(fā)現(xiàn)該關(guān)鍵點(diǎn)的輸入圖像中的像素位置）和一個置信度得分（PoseNet對猜測的正確程度有多大）。

通過將關(guān)鍵點(diǎn)轉(zhuǎn)化為矢量并繪制在高維空間中，找到兩個最接相似的姿勢。

但是姿態(tài)估計(jì)是一個動態(tài)的問題，每一個關(guān)節(jié)我們在匹配時候也并非擁有100%的置信度，這時候需要進(jìn)行加權(quán)匹配，即根據(jù)重要性的不同不同關(guān)節(jié)的權(quán)值不同，以期待找到最為相似的動作。

通過MoveMirror，谷歌團(tuán)隊(duì)展示了計(jì)算機(jī)視覺技術(shù)，姿態(tài)估計(jì)（Pose Estimation）。追蹤在3D空間中身體的移動，姿態(tài)估計(jì)是一個很復(fù)雜的問題，因?yàn)槿藗冇胁煌拇笮?，同時有許多關(guān)節(jié)可以追蹤，并且周圍物體也會導(dǎo)致視覺遮擋（在過去我們介紹過不少有關(guān)技術(shù)），有些人使用輪椅拐杖都會影響相機(jī)判定。動作捕捉技術(shù)十年前就已經(jīng)被使用，以微軟Kinect為代表的體感設(shè)備在游戲領(lǐng)域大放光彩，但使用的硬件都價格不菲，通常還需要其他數(shù)據(jù)庫和程序支持，這些支持從未普及到大眾開發(fā)者和用戶。

這也就是Move Mirror脫穎而出的原因，它讓你只需要瀏覽器和攝像頭就可以做到。

Move Mirror讓我們可以在各種各樣的人身上找到很多樂趣，通過你的動作去搜索舞蹈動作，電影剪輯或者是健身視頻。從另一個方面想，使用姿態(tài)估計(jì)系統(tǒng)來幫助指導(dǎo)家庭瑜伽鍛煉或物理治療也是一個不錯的選擇。盡管Move Mirror只是一個實(shí)驗(yàn)，但在谷歌團(tuán)隊(duì)眼里，這將是一場姿態(tài)實(shí)驗(yàn)在瀏覽器中的寒武紀(jì)爆發(fā)。