未來手勢交互將成為新一代“觸屏”

手勢追蹤被視為人機交互（HCI）/人類數(shù)據(jù)交互（Human data interaction，HDI）中最直觀的交互模式之一，是混合現(xiàn)實（XR）終端交互的最新趨勢。

在XR領(lǐng)域中，手部運動軌跡的感知與追蹤是改善用戶在不同技術(shù)領(lǐng)域和平臺體驗的一個重要組成部分。手部追蹤技術(shù)在未來可以幫助用戶“解放雙手”，人機互動不再需要通過手柄控制，實現(xiàn)真正的解放雙手，讓用戶以最直觀的方式體驗在增強現(xiàn)實和物理世界之間的融合。

最近熱度不斷攀升的Oculus Quest 2一體機，在手勢追蹤識別功能上進行了一系列升級，除了早期的特定手勢操控主界面，最新解決方案甚至實現(xiàn)了基于手部追蹤的全文本輸入操作——即便如此，Oculus對于目前在手勢識別技術(shù)上取得的成就依然不是非常滿意。

Oculus曾表示，盡管手勢是一種有潛力的新型輸入方式，但由于計算機視覺與定位技術(shù)的局限，手勢識別技術(shù)的實際應(yīng)用場景也受到限制。因此，Oculus一直在探索一些有用的技巧來幫助開發(fā)者適應(yīng)手勢的局限性，甚至為了讓虛擬世界更具3D效果、更加智能地對手勢進行回應(yīng)，Oculus已收購兩家虛擬現(xiàn)實手勢和3D技術(shù)的創(chuàng)業(yè)型公司 NimbleVR和13th Lab，以改善其一體機的手勢控制功能。

目前，由于涉及復(fù)雜的手指手掌結(jié)構(gòu)和相關(guān)軟組織在運動時的變化，以及手和物體之間的接觸互動有著非常復(fù)雜的接觸點位和運動區(qū)域，強大的實時手部運動感知和追蹤已成為公認的一項極具挑戰(zhàn)性的計算機視覺任務(wù)，是科技研究領(lǐng)域中的大熱項目。

數(shù)據(jù)堂自制版權(quán)的系列數(shù)據(jù)集產(chǎn)品為“手勢識別”這一技術(shù)路徑的實現(xiàn)提供了強有力的支持。

1314,178張18種手勢識別數(shù)據(jù)

314,178張18種手勢識別數(shù)據(jù)涵蓋多種場景、18種手勢、5種拍攝角度、多年齡段、多種光照條件。在標注方面，標注21關(guān)鍵點（每個關(guān)鍵點有可見不可見屬性）、手勢類別和手勢屬性。314,178張18種手勢識別數(shù)據(jù)可用于手勢識別、人機交互等任務(wù)。

手勢交互應(yīng)用的難點主要在于難以形成一致的手部操作方式，加上其屬于非精確性指令操作，其應(yīng)用范圍會受交互設(shè)備、識別方法、用戶熟練程度等多個因素影響。由于不同用戶對不同產(chǎn)品使用手勢交互時，其手部運動軌跡也大相徑庭，所以用戶可能需要預(yù)先訓(xùn)練一段時間去掌握相關(guān)設(shè)備或者系統(tǒng)，一定程度上是用戶要滿足機器的模版識別度。但ContactPose包括著不同人群抓握不同物體時的數(shù)據(jù)集，這意味著，日后隨著數(shù)據(jù)采集的規(guī)?；?，機器可以開始輕松識別不同的手勢運動軌跡，從而實現(xiàn)機器識別的個性化、靈活性。

縱觀Oculus或者HoloLens這些行業(yè)領(lǐng)頭羊的設(shè)備，在用戶使用時，很多時候由于對手勢識別的不敏感或者錯誤偏差，使得用戶不得不依賴于手柄操作和語音控制來完成對虛擬現(xiàn)實設(shè)備界面的指令，手勢交互的人機操控方式在技術(shù)上顯然不夠成熟，尚且還處在行業(yè)早期階段。

審核編輯黃宇