自主人工智能評(píng)估和通信平臺(tái)

描述

指揮中心需要知道他們的人員在哪里以及哪里存在危險(xiǎn)并且可能正在接近他們。

無(wú)人機(jī)有機(jī)載傳感器，其數(shù)據(jù)實(shí)時(shí)映射，包括二氧化碳、氧氣、溫度、濕度、氣壓和光照水平。備用接地墊被重新指定為著陸平臺(tái)。在接地墊上創(chuàng)建了使用三種不同顏色塊的著陸標(biāo)記，并教 Pixycam2 識(shí)別和報(bào)告每個(gè)塊的 xy 坐標(biāo)邊界。

Pixycam2 + TFMini“激光雷達(dá)”自動(dòng)著陸系統(tǒng)

?

Pixycam2 連接到 FMU66 I2C 連接器。我們想將紅外“激光雷達(dá)”距離傳感器連接到 FMUK66 上的 Telem2 UART，但不幸的是，這個(gè)端口被用作通過(guò) USB 接口連接到 Coral-dev 板的 Mavlink 遠(yuǎn)程端口。因此，我們通過(guò) PL2303 USB 轉(zhuǎn) UART 電纜將向下的距離傳感器連接到 Coral 上的備用 USB 端口，并使用 mavlink 協(xié)議將數(shù)據(jù)發(fā)送到 PX4 固件。

該系統(tǒng)的功能類似于 IR-LOCK 著陸系統(tǒng)，該系統(tǒng)使用原始的 Pixycam 并剝離了 IR 過(guò)濾器。Pixycam2 協(xié)議與原始的 Pixycam 不同，我們的系統(tǒng)可以識(shí)別多個(gè)物體，以便在著陸時(shí)更精確的 xy 方向，并允許我們創(chuàng)建高度的 z 坐標(biāo)估計(jì)。我們使用備用接地墊作為我們的著陸平臺(tái)，并使用彩色膠帶創(chuàng)建三個(gè) 10 厘米見方的方塊。

帶有“頂部”、“左”和“右”塊的精確著陸墊

?

因?yàn)槲覀冎?Pixycam2 識(shí)別的彩色塊的尺寸，所以我們可以將其用作距離標(biāo)記。TFMini“激光雷達(dá)”系統(tǒng)（不是真正的激光雷達(dá)，而是一個(gè)飛行時(shí)間紅外傳感器）是多余的，但添加了額外的高度數(shù)據(jù)，這些數(shù)據(jù)是我們的 Pixycam2 PX4 驅(qū)動(dòng)程序的平均高度數(shù)據(jù)。我們訓(xùn)練 Pixycam2 識(shí)別帶有“頂部”、“右”和“左”標(biāo)簽的塊。

訓(xùn)練 Pixycam2

?

我們重新分配了 IR-LOCK PX4 驅(qū)動(dòng)程序的原始代碼，針對(duì) Pixycam2 協(xié)議對(duì)其進(jìn)行了修改，并添加了代碼以根據(jù)三個(gè)可識(shí)別的色塊而不是 IR-LOCK 的單一目標(biāo)在 xy 坐標(biāo)中定位無(wú)人機(jī)。我們還添加了代碼以使用 Pixycam2 的 xy 坐標(biāo)計(jì)算 z 坐標(biāo)，這為我們提供了接近著陸臺(tái)時(shí)識(shí)別塊的大小。此 z 距離用于增強(qiáng)從 Coral Dev 板配套計(jì)算機(jī)通過(guò) Mavlink 發(fā)送的 TFMini“激光雷達(dá)”傳感器數(shù)據(jù)。

Pixycam2 自動(dòng)著陸系統(tǒng)的 C++ PX4 驅(qū)動(dòng)程序代碼可在我們的 Hovergames PX4 git repo fork 中獲得。

自動(dòng)充電系統(tǒng)

我們收到了帶有 hovergames 套件的基本鋰聚合物充電器，可通過(guò) 4 針或 5 針連接器為 3 節(jié)或 4 節(jié)鋰聚合物電池充電。我們的無(wú)人機(jī)由 3 節(jié)鋰聚合物電池供電，該電池使用四根電線進(jìn)行充電。我們使用銅帶在 Pixyxam2 著陸墊上創(chuàng)建了四個(gè)著陸墊，這些著陸墊與無(wú)人機(jī)起落架上的四個(gè)銅帶部分相匹配。

自動(dòng)充電系統(tǒng)

?

Pixycam2 著陸系統(tǒng)的分辨率約為 10 厘米（2.5 英寸），因此我們創(chuàng)建了四個(gè) 10 厘米見方的銅箔充電墊，并通過(guò)我們?cè)谥憠|上鋪設(shè)的銅帶走線將它們反饋回充電器。當(dāng) Pixycam2 精密著陸系統(tǒng)采取將無(wú)人機(jī)放置在著陸墊上，它還將充電觸點(diǎn)置于充電墊的中心。當(dāng)無(wú)人機(jī)著陸時(shí)，它會(huì)自動(dòng)開始為下一個(gè)任務(wù)充電。

該系統(tǒng)的完全運(yùn)行版本可以使用兩架無(wú)人機(jī)，其中一架始終在空中，而另一架則為其電池充電以提供連續(xù)的機(jī)載覆蓋。理想情況下，它們將通過(guò) W-Fi 網(wǎng)狀網(wǎng)絡(luò)連接（Coral Dev 板上的 QCA6174 Wi-Fi 芯片支持網(wǎng)狀網(wǎng)絡(luò)），傳入的無(wú)人機(jī)可以向其合作伙伴發(fā)出接管信號(hào)，因此無(wú)人機(jī)始終在空中提供覆蓋。

Coral 開發(fā)板 AI 傳感器系統(tǒng)

帶高清攝像頭的珊瑚開發(fā)板

?

飛思卡爾和谷歌創(chuàng)建了 Coral 開發(fā)板，該開發(fā)板還具有高清攝像頭和傳感器板作為選項(xiàng)。Coral 開發(fā)板在 PCB 上包含一個(gè) Google Tensorflow 處理單元或 TPU，通過(guò) PCIe 總線連接到 i.MX8 M 四核 ARM Cortex-A53 CPU。Google 和 Freescale 為這個(gè)名為 Mendel 的開發(fā)板創(chuàng)建了一個(gè) Debian 10“Buster”派生的 Linux 操作系統(tǒng)。Coral 開發(fā)板由 USB-C 連接器供電，因此我們創(chuàng)建了自己的電纜，通過(guò)無(wú)人機(jī)電池為開發(fā)板供電。

+5V 降壓轉(zhuǎn)換器和定制 USB-C 電源線

?

我們將 Coral 開發(fā)板的 QCA6174 Wi-Fi 芯片重新指定為接入點(diǎn)。我們修改了 dnsmasq 以自動(dòng)將任何 Web 請(qǐng)求重定向到我們?yōu)榇隧?xiàng)目創(chuàng)建的板載 Python Web 服務(wù)器代碼，因此對(duì) http:// 的 Web 請(qǐng)求將重定向到我們的 Python Flask 本地 Web 服務(wù)器。這些攝像頭安裝在連接到 Coral 開發(fā)板的 I2C 引腳的低成本 Pimoroni 云臺(tái) HAT 上。移動(dòng)云臺(tái) HAT 的代碼已添加并合并到我們的 Python 網(wǎng)絡(luò)服務(wù)器代碼中，因此用戶可以從網(wǎng)頁(yè)上移動(dòng)攝像機(jī)。

Coral 開發(fā)板、高清和紅外攝像頭、氣體傳感器和云臺(tái)伺服系統(tǒng)

?

Coral 傳感器板帶有溫度、濕度、壓力和環(huán)境光傳感器。我們將 O2、CO2 和 CO 傳感器添加到傳感器板上的 Grove 連接器，并編寫 Python 代碼來(lái)記錄無(wú)人機(jī)周圍空氣中的 O2 百分比和 CO2、CO 和揮發(fā)性有機(jī)化合物的百萬(wàn)分率。這些傳感器對(duì)于感測(cè)消防員周圍的危險(xiǎn)區(qū)域并報(bào)告該數(shù)據(jù)的實(shí)時(shí)流至關(guān)重要。

開發(fā)過(guò)程中的 FMUK66、Coral 開發(fā)板、攝像頭、云臺(tái)和氣體傳感器

?

我們使用了在 Thingiverse 找到的珊瑚開發(fā)板 3D 打印外殼，并修改了適合珊瑚開發(fā)板的珊瑚傳感器板的頂部。此功能提供緊急服務(wù)人員或緊急情況下需要幫助的人員位置的實(shí)時(shí)報(bào)告。TPU 運(yùn)行谷歌 Tensorflow 機(jī)器學(xué)習(xí)框架的嵌入式版本，稱為 Tensorflow Lite。我們?cè)趲в?Nvidia GPU 的工作站上設(shè)置了 Tensorflow 訓(xùn)練系統(tǒng)。我們使用位于http://host.robots.ox.ac.uk/pascal/VOC/index.html的 Pascal 視覺(jué)對(duì)象類 (VOC) 數(shù)據(jù)集來(lái)訓(xùn)練我們的系統(tǒng)識(shí)別物體和人。

Coral-Dev 板上的 TPU 支持 Tensorflow 深度網(wǎng)絡(luò)拓?fù)涞囊粋€(gè)子集。我們選擇了 mobilnet_v1_ssd 拓?fù)?，因?yàn)樗苯佑成涔?TPU 使用。訓(xùn)練系統(tǒng)是用Tensorflow Python編寫的，將VOC數(shù)據(jù)集上的網(wǎng)絡(luò)訓(xùn)練成.pb文件。我們使用 TensorFlow Lite 工具將 .pb 深度網(wǎng)絡(luò)轉(zhuǎn)換為 Tensorflow Lite 結(jié)構(gòu)，然后使用 TPU 實(shí)用程序?qū)ζ溥M(jìn)行編譯，以便在 Google TPU 芯片上使用。該系統(tǒng)通過(guò)高清 Coral Dev 攝像頭識(shí)別并計(jì)算它看到的人數(shù)。每次飛行都會(huì)維護(hù)此計(jì)數(shù)，因此查看無(wú)人機(jī)網(wǎng)頁(yè)的人可以看到在最近一次飛行中看到的累積人數(shù)。當(dāng)無(wú)人機(jī)從頭頂飛過(guò)時(shí)，在地面上識(shí)別出的人類周圍繪制了方框。

Google 已經(jīng)創(chuàng)建并預(yù)訓(xùn)練了用于對(duì)象檢測(cè)和分類的 Tensorflow 模型，因此您不必從頭開始構(gòu)建模型。請(qǐng)參閱預(yù)訓(xùn)練模型下的Coral Docuemention頁(yè)面。我們使用 Google 說(shuō)明在臺(tái)式機(jī) Intel i7 CPU 和運(yùn)行 Tensorflow 的 Nvidia GTX 1070 GPU 上設(shè)置基于 VOC 數(shù)據(jù)集圖像的模型重新訓(xùn)練。

使用 VOC 數(shù)據(jù)集重新訓(xùn)練現(xiàn)有的 Tensorflow 模型

1) 確保 CUDA 已安裝并正在運(yùn)行。您可以通過(guò)運(yùn)行“nvcc -V”來(lái)測(cè)試它，它會(huì)輸出 cuda 編譯器版本。

2）混帳克隆https://github.com/tensorflow/models.git

3) 按照https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/installation.md上的說(shuō)明安裝依賴項(xiàng)

注意：不要按照說(shuō)明安裝 pycocotools -> 請(qǐng)改用 pip3 install pycocotools

4) 運(yùn)行測(cè)試，確保全部返回 OK

5) 克隆https://github.com/PINTO0309/TPU-MobilenetSSD.git

6) cp -Rf TPU-MobilenetSSD/colaboratory/gpu/* models/research/object_detection/

7) chmod 0755 *.py *.sh

8) rm 配置 && mkdir 配置 && cd 配置 && unzip../collab.zip && cd..

9) ln-s。對(duì)象檢測(cè)

10)./prepare_checkpoint_and_dataset.sh --network_type mobilenet_v1_ssd --train_whole_model false

11) rm -Rf object_detection/學(xué)習(xí)/訓(xùn)練

12）部分模型再訓(xùn)練：

NUM_TRAINING_STEPS=500 && NUM_EVAL_STEPS=100 && ./retrain_detection_model.sh \
--num_training_steps ${NUM_TRAINING_STEPS} \
--num_eval_steps ${NUM_EVAL_STEPS}

注意：忽略有關(guān)已棄用 API 的警告

在我們的 GTX 1070 上，這個(gè)過(guò)程運(yùn)行了四天。擁有重新訓(xùn)練的網(wǎng)絡(luò)后，您需要將其轉(zhuǎn)換為 Coral Dev 板上的 Google TPU 芯片可用的格式。訓(xùn)練完成后，最后一行將列出您需要轉(zhuǎn)換為 TensorflowLite 的 .pb 文件的位置，作為在 Coral Dev board 的 TPU 上運(yùn)行的預(yù)備步驟。

將 .pb 文件轉(zhuǎn)換為 TensorflowLite

使用https://coral.ai/docs/edgetpu/models-intro/中的說(shuō)明，我們將 .pb 文件轉(zhuǎn)換為 TensorflowLite 格式。

./convert_checkpoint_to_edgetpu_tflite.sh --checkpoint_num 500

按照說(shuō)明安裝 edgetpu 編譯器。運(yùn)行以下命令將 TensorflowLite 文件轉(zhuǎn)換為 TPU 版本。

edgetpu_compiler output_tflite_graph.tflite

將文件 output_tflite_graph_edgetpu.tflite 和labels.txt文件復(fù)制到您的 Coral Dev 開發(fā)板根文件系統(tǒng)，以便我們可以運(yùn)行模型來(lái)檢測(cè)高清攝像機(jī)流中的物體和人類。

運(yùn)行模型：

edgetpu_detect_server --model ./output_tflite_graph.tflite --labels ./labels.txt

高清攝像機(jī)流將顯示在 Web 端口 4664 上，并在檢測(cè)到的人和物體周圍帶有標(biāo)記框。

具有 Google TPU 對(duì)象檢測(cè)功能的板載高清攝像頭

?

實(shí)時(shí)傳感器數(shù)據(jù)

我們購(gòu)買了一個(gè) Coral 傳感器板，它是帶有 Google TPU 的 Coral 開發(fā)板的子板。

將紅外攝像機(jī)添加到 PanTiltHat

我們從 GroupGets 網(wǎng)站上挑選了一個(gè)帶有微型 USB 連接器的微型 FLIR 紅外攝像機(jī)。顯示的傳感器數(shù)據(jù)是溫度、濕度、氣壓、氧氣水平、二氧化碳水平、揮發(fā)性有機(jī)化合物水平以及以勒克斯為單位的周圍光照強(qiáng)度的實(shí)時(shí)視圖。

結(jié)論

構(gòu)建這個(gè)項(xiàng)目是迄今為止 hackster.io 上最有趣的項(xiàng)目之一。這也是我第一次嘗試使用無(wú)人機(jī)。帶有攝像頭和傳感器的智能、獨(dú)立 AI 平臺(tái)的想法非常吸引人，我期待在未來(lái)擴(kuò)展該系統(tǒng)的功能。Freescale/NXP i/MX8 quad 64 位 ARM CPU 具有相當(dāng)大的馬力，再加上 Google TPU，使其成為一個(gè)非常驚人的系統(tǒng)，價(jià)格遠(yuǎn)低于 200 美元。

當(dāng)無(wú)人機(jī)飛過(guò)頭頂時(shí)識(shí)別人和物體的能力開辟了巨大的新可能性。這個(gè)系統(tǒng)可以擴(kuò)展成一個(gè)完全獨(dú)立的機(jī)器人飛行器，它可以在每次任務(wù)后保持充電狀態(tài)并準(zhǔn)備好飛行，而不需要人類手動(dòng)移除電池并為電池充電。通信能力與 TPU AI 檢測(cè)功能相結(jié)合意味著它可以掃描一個(gè)區(qū)域并報(bào)告其發(fā)現(xiàn)，而無(wú)需專人觀看攝像機(jī)流。這個(gè)系統(tǒng)可以演變成一個(gè)自主的獨(dú)立人工智能平臺(tái)，可以執(zhí)行復(fù)雜的任務(wù)，而不需要人工干預(yù)來(lái)保持它的運(yùn)行和飛行。