從Azure Percept中的docker容器控制Arduino

查看這些統(tǒng)計(jì)數(shù)據(jù)，它在錯誤的時間出現(xiàn)在錯誤的地方。警告標(biāo)志通常張貼在危險區(qū)域周圍，但可能會被忽略或遺忘。

如果我們可以使用 Azure Percept 來監(jiān)控這些危險區(qū)域并警告工作人員遠(yuǎn)離并避開它會怎樣。目標(biāo)是發(fā)出威懾、可聽見的聲音，提醒他們可能存在的危險。一旦工人離開該區(qū)域并且不再被檢測到，聲音就會自動停止。同樣在維護(hù)期間，允許使用符合法規(guī)所需的授權(quán)遠(yuǎn)程禁用檢測。

?

。

?

入門

我們將查看該項(xiàng)目的硬件、軟件要求和架構(gòu)圖。然后逐步了解如何設(shè)置和部署應(yīng)用程序。

硬件

Azure 感知設(shè)備工具包

https://www.microsoft.com/d/azure-percept-dk/8mn84wxz7xww

與 Arduino IDE 兼容的 ELEGOO UNO R3 超級入門套件

https://www.elegoo.com/products/elegoo-uno-project-super-starter-kit

軟件

Azure 訂閱（Azure Percept 需要）

https://azure.microsoft.com

視覺工作室代碼

https://code.visualstudio.com/

適用于 VS Code 的 Azure IoT 工具擴(kuò)展

https://marketplace.visualstudio.com/items?itemName=vsciot-vscode.azure-iot-tools

Azure IoT Edge 開發(fā)工具

https://github.com/Azure/iotedgedev

使用 DockerHub 帳戶的 Docker

https://docs.docker.com/get-docker/

Arduino IDE

https://www.arduino.cc/en/software

整體架構(gòu)

?

當(dāng)攝像頭檢測到危險區(qū)域內(nèi)的工人時，會發(fā)出警報并將遙測信息發(fā)送到云端。Azure Percept Device Kit 包含一個人員檢測模型，用于處理來自相機(jī)的幀。當(dāng)檢測到工人時；它向 Arduino 設(shè)備發(fā)送消息以設(shè)置蜂鳴器聲音并將消息發(fā)送到 IoT Hub。

指示

設(shè)置人員檢測模型

Azure Percept Device Kit 連接到云端后，我們可以通過轉(zhuǎn)到 Vision 選項(xiàng)卡 -> Deploy a Sample Model 來指定使用人員檢測模型

?

?

設(shè)置 Arduino 模塊

我按照 .NET IoT github 頁面上的說明進(jìn)行操作。

https://github.com/dotnet/iot/tree/main/src/devices/Arduino#quick-start

您可以在以下位置下載我用于此項(xiàng)目的 Firmata 固件：

https://github.com/rondagdag/arduino-percept/blob/main/firmata/percept-uno/percept-uno.ino

以下是步驟：

• 打開 Arduino IDE
• 轉(zhuǎn)到庫管理器并檢查您是否安裝了“ConfigurableFirmata”庫
• 從設(shè)備綁定文件夾中打開“Percept-Uno.ino”或訪問http://firmatabuilder.com/創(chuàng)建您自己的自定義固件固件。確保您至少檢查了您需要的功能。
• 將此草圖上傳到您的 Arduino。

向arduino模塊發(fā)送警報

在 Visual Studio Code 中打開 Percept Edge 解決方案項(xiàng)目

https://github.com/rondagdag/arduino-percept/tree/main/PerceptEdgeSolution

如果你有 Azure IoT Edge Dev 工具和 Azure IoT Tools Extensions for VS Code，這個模塊可以在你的機(jī)器上本地運(yùn)行

要在您的機(jī)器上本地運(yùn)行它，您可能需要更改此 module.json

https://github.com/rondagdag/arduino-percept/blob/main/PerceptEdgeSolution/modules/ArduinoModule/mod ...

將存儲庫更改為您的 Dockerhub 用戶名。

"repository": "rondagdag/arduino-percept-module"

Arduino 模塊是一個控制 arduino 設(shè)備的 C# 應(yīng)用程序。它是一個使用 .NET IoT 綁定的 docker 容器。這是我使用的Nuget 包。

Include="Microsoft.Azure.Devices.Client" />
Include="Microsoft.Extensions.Configuration" />
Include="Microsoft.Extensions.Configuration.Abstractions" />
Include="Microsoft.Extensions.Configuration.Binder" />
Include="Microsoft.Extensions.Configuration.EnvironmentVariables" />
Include="Microsoft.Extensions.Configuration.FileExtensions" />
Include="Microsoft.Extensions.Configuration.Json" />
Include="System.Runtime.Loader" />
Include="System.IO.Ports" />
Include="System.Device.Gpio" />
Include="Iot.Device.Bindings" />   
Include="Microsoft.Extensions.Logging.Console" />

該模塊嘗試連接到兩個 Arduino USB 端口。我注意到有時在重新啟動期間，它可能是 arduino 連接到的這些端口之一。

/dev/ttyACM0
/dev/ttyACM1

為了在您的機(jī)器上本地運(yùn)行它，您可能必須將端口號更改為 Arduino IDE 確定 UNO 連接到的端口號（Windows 的 COM3 或 Mac 的 /dev/ttyS1）

它連接到 115200 波特率。

蜂鳴器連接到如下所示的 PIN 12：

?

當(dāng)從 IoT Edge 中心接收消息時，可以對其進(jìn)行處理以檢測是否檢測到工作人員。如果有效載荷包含 NEURAL NETWORK 節(jié)點(diǎn)中的項(xiàng)目，那么我們可以將警報發(fā)送到 Arduino。

這是要分析的代碼。

在您的機(jī)器上本地運(yùn)行它可能會很棘手，并且可能需要一些修改。您可能必須修改部署模板和代碼才能接收來自模擬溫度的有效負(fù)載。

注意端口是如何映射到 docker 容器上的。/dev/ttyACM0 和 /dev/ttyACM1

"ArduinoModule": {
            "version": "1.0",
            "type": "docker",
            "status": "running",
            "restartPolicy": "always",
            "settings": {
              "image": "${MODULES.ArduinoModule}",
              "createOptions": {
                "HostConfig": {
                  "Privileged": true,
                  "Devices": [
                    {
                      "PathOnHost": "/dev/ttyACM0",
                      "PathInContainer": "/dev/ttyACM0",
                      "CgroupPermissions": "rwm"
                    },
                    {
                      "PathOnHost": "/dev/ttyACM1",
                      "PathInContainer": "/dev/ttyACM1",
                      "CgroupPermissions": "rwm"
                    }
                  ]
                }
              }
            }
          }

本地的 EdgeHub 映射如下所示。模擬溫度傳感器將輸出傳遞給 Arduino 模塊。然后 Arduino 模塊過濾數(shù)據(jù)，控制 arduino 并將遙測數(shù)據(jù)發(fā)送到云端。

"$edgeHub": {
      "properties.desired": {
        "schemaVersion": "1.2",
        "routes": {
          "sensorToArduinoModule": "FROM /messages/modules/SimulatedTemperatureSensor/outputs/temperatureOutput INTO BrokeredEndpoint("/modules/ArduinoModule/inputs/input1\")",
          "ArduinoModuleToIoTHub": "FROM /messages/modules/ArduinoModule/outputs/* INTO $upstream"
        },
        "storeAndForwardConfiguration": {
          "timeToLiveSecs": 7200
        }
      }

你可以在模擬器上測試一下

?

部署設(shè)置

為了將其部署到 Azure Percept，IoT Hub 設(shè)備 -> 設(shè)置模塊 -> 添加 -> IoT Edge 模塊

?

填寫模塊名稱和圖像 URI。

?

還有容器創(chuàng)建選項(xiàng)來映射正確的端口。

?

指定路線。在這種情況下，我們必須將來自 Azure Eye 模塊的數(shù)據(jù)推送到 Arduino 模塊。

?

這是映射的樣子

"$edgeHub": {
            "properties.desired": {
                "routes": {
                    "AzureSpeechToIoTHub": "FROM /messages/modules/azureearspeechclientmodule/outputs/* INTO $upstream",
                    "AzureEyeModuleToArduinoModule": "FROM /messages/modules/azureeyemodule/outputs/* INTO BrokeredEndpoint("/modules/ArduinoModule/inputs/input1\")",
                    "ArduinoModuleToIoTHub": "FROM /messages/modules/ArduinoModule/outputs/* INTO $upstream"
                },

概括

在任何工作場所，確保工人的安全都非常重要。Azure Percept 可以幫助檢測人員并連接不同的警報系統(tǒng)。我們演示了如何設(shè)置 Azure Percept Dev Kit 以使用人員檢測。我們已將 Arduino 與蜂鳴器連接以觸發(fā)可聽見的聲音。這實(shí)際上使 Azure Percept Dev Kit 能夠擴(kuò)展功能并拓寬用例。讓我知道這個博客是否對您有任何幫助，請?jiān)谙旅姘l(fā)表評論，我有興趣學(xué)習(xí)不同的想法和用例。

資源

參考代碼：

https://github.com/rondagdag/arduino-percept

Azure Percept 入門：

https://docs.microsoft.com/azure/azure-percept/

如果這個項(xiàng)目啟發(fā)了您使用 Azure Percept - 單擊“豎起大拇指”按鈕并關(guān)注我。