AR如何助力工廠的數(shù)字化運維？

本案例是由深圳增強現(xiàn)實技術(shù)有限公司（0glass）于2015年調(diào)研，2016年成功實施國家電網(wǎng)AR+AI變電站智能巡檢項目。0glass是國內(nèi)第一家將AR智能眼鏡結(jié)合AI應(yīng)用于電網(wǎng)巡檢維修的公司，先后與國家電網(wǎng)的湖北電力、上海電力、福建電力等省公司成功合作；同時與南方電網(wǎng)的廣東電網(wǎng)、深圳供電局等省公司也成功達成合作，將AR+AI成功應(yīng)用于電網(wǎng)和電廠的巡檢、維修、培訓(xùn)、基建等場景和領(lǐng)域。

對于電力企業(yè)而言，確保設(shè)備的安全、可靠、穩(wěn)定、經(jīng)濟運行是其賴以生存和發(fā)展之本的基礎(chǔ)。生產(chǎn)系統(tǒng)中任意設(shè)備的缺陷故障，都有可能影響安全生產(chǎn)。

因此，設(shè)備和線路巡檢管理在企業(yè)管理中占有非常重要的地位。 目前，少數(shù)企業(yè)仍停留在以人工的方式方法登記、統(tǒng)計設(shè)備信息來進行管理工作的狀態(tài)，部分企業(yè)正在使用較高級電子PDA手持設(shè)備進行巡檢，這就會造成以下幾個問題：

▲高空作業(yè)雙手解放顯得尤為重要

解放不了雙手，雙手無法得到解放，無法集中精力專心工作，導(dǎo)致工作效率低下。

出現(xiàn)漏檢，巡檢過程工作量非常巨大，設(shè)備漏檢及數(shù)據(jù)管理差錯缺失不可避免。

數(shù)據(jù)實時性差，巡檢人員無法實時獲得巡檢標(biāo)準(zhǔn)信息，更難定位缺陷，管理部門無法及時得到巡檢的統(tǒng)計分析結(jié)果，不能保證管理的準(zhǔn)確性和連貫性。

評估不準(zhǔn)確，對巡檢整個過程缺乏科學(xué)的監(jiān)督，對巡檢人員的考核方法不夠客觀，管理成本過高。

數(shù)據(jù)孤立，缺乏關(guān)聯(lián)，巡檢過程中產(chǎn)生大量數(shù)據(jù)，但是巡檢數(shù)據(jù)孤立，沒有智能化關(guān)聯(lián)分析，不能有效的預(yù)防式管理安全隱患。

增強現(xiàn)實技術(shù)在電力行業(yè)應(yīng)用

國家電網(wǎng)某部門與0glass進行聯(lián)合研發(fā)電力行業(yè)的AR智能眼鏡工作輔助與培訓(xùn)系統(tǒng)（PSS），將增強現(xiàn)實、人工智能、頭戴設(shè)備等新技術(shù)結(jié)合企業(yè)實際需要可以很好的改變目前的巡檢狀況，應(yīng)用PSS系統(tǒng)之后無疑會提高巡檢的效率，避免了巡檢人員的缺口 ，確保電力系統(tǒng)更加穩(wěn)定運行，并且更加進一步得推動了巡檢工作標(biāo)準(zhǔn)化、管理的科學(xué)智能化、監(jiān)督的自動化。

PSS系統(tǒng)包含實時指導(dǎo)、透明管理、個人教練、知識沉淀四大功能模塊與智慧數(shù)據(jù)庫形成智能電力巡檢系統(tǒng)，系統(tǒng)中四大功能模塊數(shù)據(jù)信息互通互聯(lián)，互動互融形成智能化大數(shù)據(jù)電力巡檢，下面將會講述PSS系統(tǒng)如何在電力企業(yè)應(yīng)用。

▲PSS系統(tǒng)將巡檢數(shù)據(jù)打通形成智慧生態(tài)電力巡檢

巡檢過程實時指導(dǎo)

解放雙手，智能眼鏡完全解放了巡檢人員的雙手，特別是高空作業(yè)時，使其集中精力完成任務(wù)，根據(jù)巡檢人員需求隨時將信息推送到眼前，從而提高工作效率。

操作手冊可視化，通過PSS系統(tǒng)將現(xiàn)有的巡檢內(nèi)容（如文字、圖片、視頻、3D動畫）進行編輯，排序形成標(biāo)準(zhǔn)化的巡檢流程，轉(zhuǎn)化成可視化巡檢資料，可快速更新迭代巡檢資料，傳輸給智能眼鏡終端，實時指引巡檢人員如何完成標(biāo)準(zhǔn)規(guī)范的完成巡檢工作。

▲通過智能眼鏡將操作資料可視化

設(shè)備識別，將設(shè)備、工具、環(huán)境數(shù)據(jù)通過PSS后臺系統(tǒng)導(dǎo)入數(shù)據(jù)庫，智能眼鏡通過攝像頭進行三維圖像識別巡檢對象，觸發(fā)對應(yīng)的巡檢信息，可準(zhǔn)確判斷巡檢人員有無準(zhǔn)時到達準(zhǔn)確地點并實際完成巡檢項目。當(dāng)環(huán)境和設(shè)備模糊導(dǎo)致三維圖像識別失去作用時，還可識別銘牌來獲取銘牌對應(yīng)設(shè)備的巡檢內(nèi)容。而當(dāng)極端的環(huán)境下，攝像頭是失去識別能力時，通過智能眼鏡內(nèi)置Rift電子標(biāo)簽與巡檢對象內(nèi)置電子標(biāo)簽進行互動，實時獲取相關(guān)巡檢信息。

▲現(xiàn)場智能眼鏡設(shè)備識別測試

遠程AR協(xié)助，當(dāng)巡檢人員遇到難以作出決策的巡檢項目或者遭遇緊急事故需要處理，而以其自身的知識經(jīng)驗和現(xiàn)有的數(shù)據(jù)信息無法解決現(xiàn)場問題時，巡檢人員可以通過智能眼鏡攝像頭以其第一視角將現(xiàn)場復(fù)雜的情景直接傳送到遠程專家處，專家可通過平板、手機、PC等設(shè)備隨時隨地進行援助，由于獲得是巡檢人員第一視角就如親臨現(xiàn)場進行觀察，遠程專家通過語音，增強現(xiàn)實電子白板，直觀的將數(shù)字信息遠程直接疊加在巡檢人員的視野中的操作對象上，現(xiàn)場巡檢人員猶如獲得現(xiàn)場專家的指導(dǎo)一樣處理棘手問題，極大的減少了溝通和交流成本。

工作透明管理

實時監(jiān)督，管理人員可以隨時隨地使用移動設(shè)備、PC、平板等設(shè)備觀察巡檢人員的工作狀態(tài)，如其工作軌跡，或者遠程查看以巡檢人員第一視角的工作狀況。

緊急任務(wù)推送，當(dāng)有緊急任務(wù)需要優(yōu)先執(zhí)行或者突發(fā)事件需要進行快速響應(yīng)支援時，管理人員可以通過PSS系統(tǒng)將信息推送給附近最適宜進行援助或者執(zhí)行緊急任務(wù)的巡檢人員，巡檢人員第一時間做出回應(yīng)，管理人員能快速反應(yīng)和了解現(xiàn)場狀況并進行協(xié)調(diào)，作出最優(yōu)化的決策。

▲通過智能眼鏡獲得遠程指導(dǎo)

數(shù)據(jù)結(jié)果信息化，在電力巡檢過程中遇到設(shè)備、環(huán)境或者參數(shù)存在異常狀況時，以智能眼鏡為數(shù)據(jù)采集入口，PSS系統(tǒng)軟件定義輸入方式，結(jié)合多種靈活的手段如語音、視頻、圖片、文字等形式記錄下現(xiàn)場異常狀況，真實還原異常場景和環(huán)境，并實時傳輸回后臺管理系統(tǒng)，對數(shù)據(jù)進行實時分析，維修部門快速作出響應(yīng)解決隱患，縮短隱患存在的時間，減少危險發(fā)生的可能性。

預(yù)防報警，通過軟件邏輯定義、計算機視覺、人工智能的結(jié)合對已發(fā)生的錯誤進行報警，報警級別可進行設(shè)定，如對于高危錯誤智能眼鏡會立即停止其巡檢工作并通知其直接上級進行處理，對于中級錯誤可進行報警并形成記錄影響其績效影響，對于普通操作失誤會進行提醒并提供其修正措施，修改完畢即可繼續(xù)工作，或者通過智能眼鏡體感識別、三維圖像識別以及云計算得到的數(shù)據(jù)結(jié)果智能的提前顯示可能會發(fā)生的危險。

優(yōu)化流程，利用人機交互、體感識別、軟件定義等方法記錄巡檢人員的每個工作細節(jié)，可通過時間維度、操作姿勢、空間維度等多維度分析其每個工作細節(jié)產(chǎn)生的結(jié)果，通過大數(shù)據(jù)智能化分析，對巡檢人員進行智能化評價，并優(yōu)化其巡檢流程，提高其巡檢效率。

▲智能眼鏡現(xiàn)場收集巡視流程自動優(yōu)化工作流程

隨時隨地個人教練

內(nèi)容點播，員工可以隨時隨地在巡檢過程中遇到難解決的問題或者阻礙時利用智能眼鏡調(diào)取相關(guān)巡檢的詳細巡檢內(nèi)容實時解決問題，將學(xué)習(xí)場景與工作場景實現(xiàn)融合，打破空間和時間的限制，在三維立體互動中進行實踐，加深巡檢人員對錯誤操作的記憶，避免錯誤習(xí)慣的形成，提高其技能水平的同時，提高工作效率。

▲通過智能眼鏡即需即學(xué)即用

課程自動推送，通過眼鏡端數(shù)據(jù)采集、過濾、后臺系統(tǒng)進行清洗、分析得到巡檢人員某個模塊甚至細化到每個步驟的表現(xiàn)與預(yù)期的差距或者巡檢業(yè)務(wù)中某個巡檢點存在嚴(yán)重缺陷，強制推送某個巡檢點的培訓(xùn)內(nèi)容給巡檢人員，強化培訓(xùn)重點，有針對性的培訓(xùn)，改變對培訓(xùn)效果的評估模式，解決傳統(tǒng)在線學(xué)習(xí)理論和實際脫節(jié)“學(xué)時不能用，用時不能學(xué)”和“遺忘曲線”的困境，實現(xiàn)智能化培訓(xùn)。

數(shù)據(jù)分析知識沉淀

通過系統(tǒng)內(nèi)的大數(shù)據(jù)算法對透明管理中得到的數(shù)據(jù)進行分析，沉淀經(jīng)驗和教訓(xùn)，實現(xiàn)四化：“隱性知識顯性化，顯性知識結(jié)構(gòu)化，結(jié)構(gòu)知識可視化，可視知識行為化”，讓大數(shù)據(jù)真正成為可以使用在工作中的智慧數(shù)據(jù)。

采集數(shù)據(jù)，通過智能眼鏡上的傳感器采集人的工作數(shù)據(jù)、環(huán)境的特性參數(shù)、設(shè)備各項運行參數(shù)，以及通過網(wǎng)絡(luò)采集當(dāng)天天氣等可變化數(shù)據(jù)進行分析得到其設(shè)備運行規(guī)律，經(jīng)過統(tǒng)計分析運算實現(xiàn)人工智能化的預(yù)防潛在危險和錯誤的發(fā)生。

▲通過智能眼鏡采集現(xiàn)場儀表數(shù)據(jù)

內(nèi)容生成，利用PSS的中間件，可半自動生成實戰(zhàn)型指引內(nèi)容或課件(與傳統(tǒng)的課件制作過程包含建模、動畫渲染、輸出等多個過程不同)，只需將圖片或者視頻進行簡單編輯（拖動、旋轉(zhuǎn)、標(biāo)記一些簡單工具或者符號），按照快速簡單的就制作好了實用的課件，幫助企業(yè)節(jié)省成本的同時降低了使用門檻。

優(yōu)化巡檢流程，根據(jù)企業(yè)制度編輯軟件定義，采集巡檢過程中巡檢人員的所有工作過程中的標(biāo)準(zhǔn)步驟節(jié)點數(shù)據(jù)，通過大數(shù)據(jù)分析巡檢流程，智能化自動生成標(biāo)準(zhǔn)化巡檢流程。

效益

應(yīng)用PSS新系統(tǒng)之后無疑會提高巡檢的效率，避免了巡檢人員的缺口，確保電力系統(tǒng)更加穩(wěn)定運行，并且更加進一步得推動了巡檢工作標(biāo)準(zhǔn)化、管理的科學(xué)智能化、監(jiān)督的自動化。

系統(tǒng)不僅提供了規(guī)范的數(shù)據(jù)采集接口，而且有利于減輕巡檢人員和設(shè)備管理人員的工作量，完全解放了巡檢人員的雙手，特別是高空作業(yè)時，使其集中精力完成任務(wù)，根據(jù)巡檢人員需求隨時將信息推送到眼前，從而提高工作效率，同時對加強巡查人員的監(jiān)管、加強巡查與檢修工作的銜接力度，起到了非常好的促進作用。

最后通過對系統(tǒng)內(nèi)累積的大量的巡檢數(shù)據(jù)進行跟蹤分析可以得到故障出現(xiàn)的各種規(guī)律，形成電力巡檢智慧引擎，有效的預(yù)防和迅速排除故障。最終為保證電網(wǎng)安全運行、提高供電、用電管理自動化水平和工作效率，提高經(jīng)濟效益和社會效益提供了有效的手段。

0glass業(yè)界首次實現(xiàn)電力二次設(shè)備多目標(biāo)實時識別和AR巡檢自動化

為了更大程度的滿足AR在工業(yè)上的需求，0glass一直在不斷的精進技術(shù)，據(jù)悉，0glass工業(yè)級AR眼鏡及AR識別算法又實現(xiàn)了一個新的突破——0glass業(yè)界首次實現(xiàn)電力二次設(shè)備多目標(biāo)實時識別和AR巡檢自動化。

為保證電力設(shè)備的穩(wěn)定、可靠運行，變電站電力二次設(shè)備的開關(guān)、指示燈的狀態(tài)每月至少需要巡檢一次，目前“紙質(zhì)+人工核對”的巡檢方式存在易疲勞、易出錯、耗工時、效率低等問題。

0glass基于深度學(xué)習(xí)算法實現(xiàn)了電力二次設(shè)備開關(guān)、指示燈狀態(tài)的多目標(biāo)實時識別，巡檢工人對識別結(jié)果以增強現(xiàn)實方式進行確認，實現(xiàn)了狀態(tài)巡檢工作的自動化。

多目標(biāo)實時識別，識別率達到98%以上，可實現(xiàn)多目標(biāo)實時AR疊加、追蹤、定位等功能，去年已在國網(wǎng)湖北電力巡檢中落地應(yīng)用。這是0glass完成的從0到1的突破，據(jù)保守估計，今年0glass的客戶將幾十倍的擴大使用規(guī)模和范圍。

通過0glass團隊的不斷嘗試與努力后，成功利用AR、人工智能、大數(shù)據(jù)等前沿科學(xué)技術(shù)解決了變電站室內(nèi)壓板和轉(zhuǎn)換開關(guān)巡檢的關(guān)鍵痛點，為變電站智慧巡維邁出了堅實的一步。