AR工業(yè)應用｜為什么AR可以用在IoT？｜effiar

物聯(lián)網(wǎng)是物理對象與虛擬再現(xiàn)和服務的結合。增強現(xiàn)實通過將有關智能對象和服務的虛擬信息疊加到用戶對現(xiàn)實世界的看法上，為物聯(lián)網(wǎng)應用程序提供了一個理想的界面。這允許用戶與物理對象交互，并接收關于該對象的附加上下文感知信息，如大小、速度和溫度，以及關于附近對象的信息。然而,用戶不必直接與物理對象或傳感器作為增強現(xiàn)實交互可以是一個有效的方法提供額外的物聯(lián)網(wǎng)信息服務的環(huán)境中,如服務的QoS屬性或其他用戶提供的評級在之前調用。

物聯(lián)網(wǎng)(IoT)技術的發(fā)展使得通過一系列通信工具將各種智能設備連接在一起成為可能。聯(lián)網(wǎng)設備的數(shù)量預計將以指數(shù)級速度增長，預計到2020年將有大約260億部聯(lián)網(wǎng)設備。這些設備將帶來多種多樣的服務，如監(jiān)控傳感器、監(jiān)控攝像頭和交流器等。這些設備提供的服務的管理被認為是未來技術最重要的領域之一，并獲得了包括交通、醫(yī)療和應急響應等多個不同領域的研究機構和行業(yè)的廣泛關注。

服務提供者和消費者都需要能夠以一種上下文感知的方式參與物聯(lián)網(wǎng)應用程序，根據(jù)環(huán)境和用戶上下文進行感知和反應。增強現(xiàn)實(AR)為物聯(lián)網(wǎng)提供了一個直觀的界面，因為它允許上下文以及在現(xiàn)實世界中疊加虛擬信息，例如在認知建筑[4]中。服務使用者可以以可視的方式與建議的附近服務進行自然交互，這些服務由面向上下文的中間件處理。服務提供商可以通過顯示設備提供的服務的關鍵QoS指標(如響應時間和吞吐量)，使用AR調試和修復故障的IoT設備。與設備相關的指標，如設備的溫度、CPU和內存使用情況，也可以顯示出來。該設備的內部組件可以連接對象，這將允許現(xiàn)場操作員看到修復故障的物聯(lián)網(wǎng)設備內部組件的具體可視化。這樣便于維修和恢復到合適的操作性能。

基于應用的敏感性和關鍵度，物聯(lián)網(wǎng)應用可以應用于具有不同QoS要求的領域。物聯(lián)網(wǎng)應用的QoS通?？煞譃樽罴雅?無QoS)、差異化服務(軟QoS)和保證服務(硬QoS)[6]。在硬QoS情況下，有嚴格的硬實時QoS保證。這適用于安全標準的應用，例如在醫(yī)院中監(jiān)控病人或在自動駕駛汽車系統(tǒng)中避免碰撞。軟QoS不需要硬實時保證，但需要能夠重新配置和替換失敗的服務。這可能是一個路由應用程序，它利用空氣質量、洪水和行人流量預測，提供穿過城市的最佳路線。如果其中一個服務即將失敗，應該使用合適的替代服務重新組合應用程序。最后一種情況是盡最大努力，當服務失敗時，例如測量室內溫度的簡單原子服務，就沒有保證了。因為硬QoS和軟QoS可以提供一種直觀的方式來警告用戶某個服務可能即將失敗，他們可能需要重新控制，尤其是在自動駕駛汽車場景中。利用LSTM網(wǎng)絡可以實現(xiàn)對物聯(lián)網(wǎng)服務故障的預測。

AR應用于IoT

AR在近年來發(fā)展迅速，有一系列的商業(yè)軟件和硬件可以創(chuàng)造AR體驗。今天，在消費者層面上有各種各樣的api，它們使得大多數(shù)利用智能手機或平板電腦等移動技術來創(chuàng)建增強現(xiàn)實體驗成為可能。蘋果最近發(fā)布了ARKit，允許在不了解其技術的情況下構建AR環(huán)境。我們在演示中使用的另一個示例是用于Unity的Vuforia開發(fā)人員庫，其中包括谷歌的ARCore，它允許所有現(xiàn)代android設備上的AR應用程序。這將允許更多的設備通過AR接口與物聯(lián)網(wǎng)服務進行交互，并鼓勵開發(fā)人員創(chuàng)建基于AR的物聯(lián)網(wǎng)應用程序。

隨著智能手機的廣泛普及，以及蘋果和谷歌發(fā)布的新api，我們預計未來幾年移動增強現(xiàn)實將會增加。移動電話作為增強現(xiàn)實視鏡的使用將是允許應用程序開發(fā)和評估增強現(xiàn)實在物聯(lián)網(wǎng)中的有效性的必要步驟。在此之后的過渡可以是一些替代的頭戴顯示器，如谷歌玻璃，微軟Hololens或Magic Leap Lightwear。這些頭戴式顯示器允許與物聯(lián)網(wǎng)服務和對象進行無手交互，這將有助于現(xiàn)場技術人員與設備進行交互，并查看顯示需要更換哪些連接組件以修復智能設備的可視化圖像。

考慮到AR和物聯(lián)網(wǎng)的巨大潛力，以及在每種技術上投入的大量研究，這兩個組件的集成仍處于早期階段。大多數(shù)當前的方法顯示對象的特征，而沒有考慮其他上下文，如用戶偏好、附近的對象/位置、時間、天氣等。一些建議，例如一個感知的程序，使用上下文接口服務器來推斷用戶的高級上下文，從而改變信息顯示給用戶的方式。然而，智能澆水設備的應用過于簡單，只需要本地傳感器信息，而推理的中央服務器不考慮物聯(lián)網(wǎng)作為智能對象的愿景。在我們的演示中，我們展示了結合來自傳統(tǒng)web服務和物聯(lián)網(wǎng)服務的動態(tài)和異構服務的更高級的示例，并使用額外的上下文信息來提供直觀的應用程序。最近的一些工作，如ARIoT，提供了一個可伸縮的AR框架，用于與物聯(lián)網(wǎng)設備交互，但重點關注目標對象，而不是通過連接對象派生上下文。其他方法，如Second Surface，用戶可以通過中的遠程服務器創(chuàng)建、標記和共享日常對象周圍的數(shù)據(jù)。

上下文感知中間件

下圖顯示了一個上下文感知的面向服務的中間件，它可以在圖1b的深層邊緣架構上實現(xiàn)，以管理城市中的物聯(lián)網(wǎng)服務的注冊、執(zhí)行和上下文。中間件以一種分布式的方式跨每個通道管理環(huán)境中的用戶上下文。當用戶請求應用程序時，中間件首先在請求處理程序上接收用戶請求，該處理程序與用戶建立請求/響應通信通道，并將請求轉發(fā)給上下文管理器。上下文管理器負責獲取和維護關于服務和環(huán)境的元數(shù)據(jù)，以支持智能服務管理。元數(shù)據(jù)包括服務屬性(例如，位置、類型、域等)、QoS屬性(例如，響應時間、能耗等)、城市環(huán)境(例如，地點及其在城市中的含義、興趣點等)和用戶偏好(例如，用戶反饋、QoS體驗、用戶行為等)。服務屬性和QoS屬性是從提供者和監(jiān)控過程中獲取的。此數(shù)據(jù)作為服務描述的一部分存儲。城市環(huán)境是從開放街道地圖(OSM)中獲得的，并使用OWL格式的本體進行形式化。用戶首選項是在發(fā)現(xiàn)和組合過程中獲得的。該數(shù)據(jù)作為獨立的JSON文檔存儲在service registry中。

lw