Exelon 利用電網(wǎng)基礎設施合成數(shù)據(jù)生成來實現(xiàn)無人機檢查的自動化

大多數(shù)無人機檢查工作仍然需要人工檢查視頻中的缺陷。計算機視覺可以幫助實現(xiàn)無人機檢查的自動化并加快檢查進程。但如果缺失大量包含潛在缺陷的標記數(shù)據(jù)，那么訓練計算機視覺模型以實現(xiàn)自動化檢查這一工作會十分困難。

在一場 NVIDIA GTC 分會上，專家分享了 Exelon 如何在 NVIDIA Omniverse 中使用 Omniverse Replicator 進行合成數(shù)據(jù)生成，從而自動創(chuàng)建涵蓋各種電網(wǎng)資產(chǎn)缺陷的數(shù)千個已標記的逼真示例。本文將重點介紹如何將合成圖像用于訓練實時無人機檢查模型，以便優(yōu)化電網(wǎng)維護，提升電網(wǎng)的可靠性和彈性。

項目概述

Exelon 是一家電力公司，其負責為美國多地的 1000 多萬客戶提供服務。

根據(jù)其“Path to Clean”計劃，這家能源供應商計劃到 2030 年減少 50% 的排放，到 2050 年實現(xiàn)凈零排放。

該項目能夠為公司帶來許多好處，包括降低工作人員暴露在危險現(xiàn)場的風險、減少在審核圖像上花費的人工勞動、通過縮短從圖像采集到解決缺陷的時間來提高電網(wǎng)可靠性等。

Exelon 的方法在確定了目標電網(wǎng)資產(chǎn)以及圖像數(shù)據(jù)中的相關缺陷后，會創(chuàng)建一個使領域專家（SME）能夠標記資產(chǎn)和缺陷的資產(chǎn)圖像標記流程。然后，Exelon 與領域專家一起構建、測試并驗證計算機視覺資產(chǎn)和缺陷檢測模型。最后努力向企業(yè)相關人員推廣該解決方案。

過程中他們也遇到了許多挑戰(zhàn)。項目需要大量經(jīng)過標記的真實世界缺陷數(shù)據(jù)來訓練和測試 AI 模型，Exelon 想知道在 Omniverse Replicator 中生成的合成數(shù)據(jù)是否能解決這一挑戰(zhàn)。Omniverse Replicator 是建立在 Omniverse 平臺和通用場景描述（USD）上的一個核心擴展程序，能夠生成用于訓練計算機視覺模型并符合物理學的合成數(shù)據(jù)。

他們還想建立一個端到端的可擴展生態(tài)圈，以便幫助其加快如高壓線、輸電塔、變電站等其他輸配電資產(chǎn)的部署。

無人機檢查流程

BGE（Baltimore Gas and Electric）是 Exelon 旗下的一家公司，該公司為美國馬里蘭州的 100 多萬客戶提供服務。在對指定目標進行現(xiàn)場無人機檢查時，BGE 也會派出一個現(xiàn)場小組，使用無人機在約 8-15 英尺遠的地方從正面、側面、上面、背面等不同角度拍攝多張照片。這主要是為了至少有一張圖像中能看到電線桿、橫擔、絕緣子、變壓器等資產(chǎn)的任何缺陷。統(tǒng)一的圖像采集流程能夠幫助專家研究如何使用 AI 和計算機視覺技術實現(xiàn)自動缺陷檢測。

圖 1 使用 NVIDIA Omniverse 模擬用于訓練 AI 檢測模型的木桿缺陷。

這個項目集中于識別橫擔的缺陷，對橫擔缺陷的識別與修復將提高系統(tǒng)的可靠性。橫擔最常見的缺陷是開裂，該缺陷可能會影響所安裝的絕緣子的穩(wěn)定性，并導致客戶停電。

團隊最初使用人工標記的地面數(shù)據(jù)訓練并驗證模型是否能夠準確檢測和計算無人機圖像中的橫擔。接下來的目標是使用經(jīng)過標記的真實世界數(shù)據(jù)以及合成數(shù)據(jù)生成進行橫擔缺陷檢測。Exelon 目前正在真實圖像與合成圖像上訓練其缺陷檢測模型并正在與企業(yè)相關人員驗證模型。

資產(chǎn)檢測模型的訓練和評估

由于缺陷檢測中會存在識別物體確切像素等需求，團隊選擇在圖像標記工作中使用分割掩碼。

理論上，分割會返回 positive identifications 并能夠識別所有圖像像素及區(qū)分物品。因此這在檢測線性裂縫、接縫、填充物和陰影方面能夠有更好的性能。

Exelon 的數(shù)據(jù)科學家花費了大量時間來測試標記圖像，并去理解不同的標注技術會如何影響模型的準確性。

圖 2 資產(chǎn)檢測模型訓練和橫擔缺陷評估。

Exelon 已經(jīng)看到了資產(chǎn)檢測的早期成果，他們知道對多種潛在缺陷的大量標記數(shù)據(jù)的缺乏，將使得缺陷檢測變得更加困難。NVIDIA Omniverse 和 Omniverse Replicator 能夠大大提高其構建 3D 模型和生成反映現(xiàn)場電網(wǎng)資產(chǎn)缺陷的合成數(shù)據(jù)的能力。

在與 NVIDIA 的合作過程中，Exelon 與 NVIDIA 舉行了多次會議，一起為其架構出謀劃策。Exelon 通過 Omniverse Replicator 生成了不同的橫擔缺陷，這些缺陷將為檢測模型的訓練生成標記數(shù)據(jù)。他們同時還使用 Omniverse 按照尺寸、形狀和位置創(chuàng)建了不同類型的橫擔缺陷。

在生成了足夠多的變化和缺陷后，團隊將輸出結果添加到整個桿件結構中。然后按照不同的場景、橫擔數(shù)量和缺陷數(shù)量生成合成圖像。

與第三方一起生成合成圖像

在與 NVIDIA 的討論會議中，Exelon 意識到 3D 建模是一項極具挑戰(zhàn)性的工作，并且超出了其數(shù)據(jù)科學核心重點。對他們來說需要有經(jīng)驗的藝術家和建模師來構建 3D 模型、將其整合到逼真的環(huán)境中并操控照明和場景條件。NVIDIA 幫助 Exelon 與數(shù)家供應商建立了聯(lián)系，這些供應商正在使用 Omniverse 并為其他公用事業(yè)公司以及公用事業(yè)行業(yè)以外的其他用例提供圖像。

圖 3 德勤使用 NVIDIA Omniverse 的合成數(shù)據(jù)生成 3D 工作流程。

在這次試點中，Exelon 選擇了德勤公司幫助開發(fā)用于橫擔的合成圖像。德勤使用 Autodesk Maya 構建資產(chǎn)和缺陷的 3D 模型，然后使用 Epic 虛幻引擎進一步開發(fā)出逼真的周邊環(huán)境，并將精準的照明和場景條件導入到 Omniverse。最后，他們的設計師和開發(fā)人員一起輸出用于訓練缺陷檢測模型的標記圖像。

未來的重點領域和機遇

Exelon 的最終目標是創(chuàng)建一個端到端的可擴展生態(tài)圈，可以利用這個生態(tài)圈從一種資產(chǎn)擴展到另一種資產(chǎn)。比如從橫擔開始，一直擴展到其輸配電、石油和天然氣資產(chǎn)。

構建分析產(chǎn)品需要整個團隊的努力。通過與 NVIDIA 和德勤合作，Exelon 推動了合成圖像的生成并使其能夠在外部專家的幫助下建立 3D 模型、設計背景和標記圖像。德勤正在圍繞 Omniverse 來集成所有可用于創(chuàng)建 3D 圖像的工具，并提供開發(fā)大型橫擔數(shù)據(jù)集所需的框架。

在圖像采集中利用智能技術仍將是 Exelon 和其他公用事業(yè)公司的重點。如果這個項目取得成功，Exelon 將能夠擴展到其他輸配電資產(chǎn)，比如電線桿、變壓器、絕緣子插銷、橫擔支架或輸電塔等。

點擊“閱讀原文”，深入了解NVIDIA Omniverse Replicator。

掃描下方海報二維碼，觀看 NVIDIA 創(chuàng)始人兼 CEO 黃仁勛在 COMPUTEX 2023 的主題演講直播回放，主題演講中文字幕版已上線，了解 AI、圖形及其他領域的最新進展！