麻省理工在HoloLens 2集成射頻信號，實現(xiàn)被遮擋物體的感知識別

可以感知完全被遮擋的對象

在過去數(shù)年中，行業(yè)對增強現(xiàn)實系統(tǒng)的興趣與日俱增。包括微軟、Meta、蘋果和谷歌在內(nèi)的主要科技公司已投資數(shù)十億美元開發(fā)AR技術(shù)。對于這一點，一個重要驅(qū)動因素是AR系統(tǒng)有望在提高工業(yè)4.0部門的效率方面發(fā)揮作用，包括制造業(yè)、倉儲業(yè)、物流業(yè)和零售業(yè)。

例如在電子商務倉庫中，AR頭顯可以通過指導工人揀貨、分揀、包裝訂單和退貨來提高勞動效率。類似地，在制造環(huán)境中，AR頭顯可以通過可視化裝配任務、在環(huán)境中自動標記工具以及幫助用戶找到他們需要的零件來指導員工。

然而，相關(guān)的工業(yè)環(huán)境通常是密集且高度雜亂。例如，一個典型的倉庫或黑暗的商店里堆滿了包裹，而一個標準的制造工廠里堆滿了材料和隔間。在這種環(huán)境中，大多數(shù)物品由于在箱子內(nèi)、堆下或其他包裹后面而被遮擋。這種遮擋使得現(xiàn)有的頭顯難以感知這些物品，這反過來又阻止了系統(tǒng)識別和定位物品或引導工人。

針對這個問題，由麻省理工學院和密歇根大學組成的團隊以微軟HoloLens 2作為基礎(chǔ)，開發(fā)了一個可以通過射頻信號來提供非視距感知的AR頭顯。

團隊指出，當今的AR頭顯通過攝像頭或其他基于視覺的傳感系統(tǒng)感知其環(huán)境，而這種視覺傳感系統(tǒng)固有地局限于視距（LOS）。這種視距限制阻礙了AR系統(tǒng)在最需要的地方提高工作效率，亦即在雜亂和密集的工業(yè)環(huán)境中。

在研究中，他們提出了以下問題：能否設(shè)計和構(gòu)建一個可以感知完全被遮擋的對象，并將人類的感知擴展到視線之外的增強現(xiàn)實系統(tǒng)？

研究人員表示：“有了這種能力，增強現(xiàn)實將超越人類的任何自然能力，并真正增強我們與世界的交互方式，從而在倉儲物流、制造業(yè)、零售業(yè)等領(lǐng)域取得重大進展?！?/p>

例如，具有非視距（NLOS）感知能力的AR頭顯可以識別和定位被完全遮擋的特定物品，并幫助工人避免冗長的搜索過程。另外，這種AR頭顯可用于自動化倉庫或零售店中物品的庫存控制，而無需工人查看所有物品，并可提醒工人隱藏在遮擋物后面的錯放物品。

為了實現(xiàn)這一愿景，團隊采用的方法是利用射頻（RF）信號。與可見光不同，射頻信號可以穿過閉塞物，如紙板箱、塑料容器、木制分隔物和服裝面料。事實上，射頻傳感的最新進展表明，在非視距和高度雜亂的環(huán)境中，使用射頻信號可以傳感和準確定位物品的潛力。

在現(xiàn)有的射頻傳感技術(shù)中，研究人員對利用UHF RFID（射頻識別）標簽特別感興趣，因為它們在供應鏈行業(yè)中被廣泛采用。例如，有研究表明超過93%的美國零售商采用了UHF RFID。

團隊的愿景是將RFID傳感和定位應用于AR頭顯，為其提供非視距感知，并增強人類視覺能力，從而應用于倉庫自動化、電子商務履行和制造業(yè)。

他們希望構(gòu)建一個在滿足以下要求的同時實現(xiàn)上述愿景的系統(tǒng)：

AR兼容性：系統(tǒng)必須與AR頭顯無縫集成，而不影響其現(xiàn)有傳感器和顯示器的性能（即，不妨礙頭顯攝像頭或用戶視場）。

無縫移動性：系統(tǒng)必須符合自然人類移動性。具體而言，它必須能夠準確定位RFID（在視距和非視距設(shè)置中），而不需要用戶執(zhí)行不自然的運動模式。

可操作性：系統(tǒng)應向用戶提供可操作的任務（例如指導用戶在哪里搜索），并通知用戶任務成功（例如，向倉庫揀貨員驗證他們是否選擇了正確的訂單）。

用戶友好性：系統(tǒng)需要小巧輕便，以便用戶可以輕松佩戴AR頭顯并自由移動以完成任務。

滿足上述要求具有挑戰(zhàn)性，并且不能通過簡單地將最先進的RFID定位系統(tǒng)與AR頭顯集成來實現(xiàn)。特別是，大多數(shù)精確的RFID定位解決方案需要多個以米級距離分開的隔開，這使得它們太笨重，無法安裝到AR頭顯。

在另一方面，不需要這種天線陣列的解決方案通常依賴于基于機器人的天線，亦即需要在預定義的軌跡移動，這使得它們與人類的自然移動性不兼容。除了所述挑戰(zhàn)之外，提供AR可操作任務超出了簡單的RF定位，需要新的機制來融合自然移動性下的RF和視覺感知，并在頭顯顯示輸出。

所以在研究中，團隊提出了X-AR，一種帶有內(nèi)置射頻傳感系統(tǒng)的增強現(xiàn)實頭顯。其中，佩戴X-AR的用戶可以在他們的環(huán)境中自由行走，而設(shè)備可以自動識別和定位環(huán)境中即便不在視距內(nèi)的物品。使用所述信息，X-AR會引導工人找到目標物品（工具、包裹等），并驗證他們是否已選擇了正確的物品。

研究人員表示，所述頭顯實現(xiàn)了多個創(chuàng)新：

AR共形寬帶天線：X-AR引入了一種與頭顯共形的超輕量寬帶天線的設(shè)計。獨特的天線設(shè)計與AR頭顯面罩的形狀相匹配，不會阻擋用戶的視線或任何傳感器。天線同時可以實現(xiàn)輻射、帶寬（BW），并獲得執(zhí)行準確RFID定位所需的屬性。

射頻視覺合成孔徑雷達：X-AR在定位環(huán)境中的RFID標簽時，不會對用戶的運動模式做出限制性假設(shè)，并可以利用自然的人類移動性。為了做到這一點，X-AR首先使用來自AR頭顯攝像頭的視覺信息來在環(huán)境中進行自我定位。然后，它使用在用戶運動期間收集的RFID測量值創(chuàng)建合成孔徑雷達（SAR），并以高精度定位RFID標記的物品。另外，X-AR引入了一系列技術(shù)來處理由自然人體運動產(chǎn)生的定位偽影和約束，如自然頭部傾斜和RFID反向散射輻射屬性。

射頻視覺驗證：X-AR設(shè)計的最終組成是一種用于驗證用戶何時拿起了目標RFID標簽物品的機制。這種驗證對于避免成本高昂的錯誤非常重要，例如在電子商務倉庫中揀貨并將錯誤的訂單運送給客戶。人們可能會假設(shè)，一旦用戶拿起RFID標記的目標項目，就可以通過將其定位到用戶手中來簡單地實現(xiàn)這種功能。在實踐中，這樣做十分具有挑戰(zhàn)性。因為與上面的場景不同，用戶的行走模擬了合成孔徑，用戶挑選物品停留在相對固定的位置。為了應對這一挑戰(zhàn)，X-AR利用了RFID標簽的移動性。具體而言，它執(zhí)行反向SAR，以相對于所選項目的軌跡定位頭顯。

最終，團隊以微軟Hololens 2為基礎(chǔ)實現(xiàn)了X-AR的端到端原型。在實驗中，研究人員通過Unity對Hololens進行編程，以顯示項目位置和標簽，引導用戶找到目標項目，并顯示驗證結(jié)果。他們評估了X-AR在230次實驗試驗中的表現(xiàn)，而結(jié)果表明：

X-AR的共形天線在重量（<1g）、尺寸（共形）、帶寬（200MHz）和增益（約0dB）方面達到了所有期望的規(guī)格

X-AR在視距和非視距場景中準確定位RFID標記的物體，中值精度為9.8cm。即使是第90百分位精度都保持在45cm以內(nèi)。相比之下，基于標準SAR的基線具有兩倍以上的誤差，24.8 cm的中值精度和99.1 cm的第90百分位精度。

X-AR追蹤RFID標簽和用戶的手的移動，以自動驗證所拾取物體的準確度超過95%（F-Score）。

相關(guān)論文：

Augmenting Augmented Reality with Non-Line-of-Sight Perception

https://paper.nweon.com/14114

接下來，團隊計劃嘗試各種其他增強功能。這包括WiFi、毫米波技術(shù)、太赫茲波，以及射程超過3米的改進天線。

審核編輯 ：李倩