使用Vitis AI和Openpose處理數據以檢測跌倒檢測

描述

項目概念

該項目的目標是監(jiān)控獨居的老年人，有攝像頭（未來計劃放置在許多房間）將視頻輸入 Xilinx ZCU104 以使用 Vitis-AI 和 Openpose 處理數據以檢測跌倒檢測。

我使用以下標準開發(fā)了簡單的算法來檢測跌倒。

• 頭身角度變化超過45度
• 變化角度超過特定值的速度（此時需要反復試驗）

有兩種方法可以通知跌倒檢測。

1) 通過 IFTTT 向預定義的號碼發(fā)送短信。

2) 打開警報器。這個警報器是一個簡單的網絡警報器，它使用 NodeMCU 并通過發(fā)送 http://<警報器的 IP>/SirenOn 激活這將允許我們將警報器放在任何有 Wifi 信號的地方。我不會詳細介紹這個項目。

在 ZCU104 板上，我們運行了一個簡單的 Web 服務器，它將保存圖片并從秋季開始錄制視頻。

項目實施

項目組件

?

我花費了 90% 的項目時間來創(chuàng)建具有以下組件的 SD 圖像。

• 視頻控制單元
• DPU
• 帶有 Openpose 模型的 Vitis-AI
• 用于向 IFTTT 和 Network Siren 發(fā)送請求的 Curl 命令。

但是我未能創(chuàng)建完整的圖像，在開發(fā)的每個階段都有很多錯誤。我們可以測試 Vitis-AI 的最佳映像來自 Vitis-AI 的現成構建映像沒有 VCU 但都預裝了 Vitis-AI 和模型。有關更多詳細信息，請訪問 https://github.com/Xilinx/Vitis-AI如何創(chuàng)建映像并安裝它。

請注意，此圖像僅支持 Display Port Adapter !!。我花了將近兩周的時間來弄清楚如何在帶有 HDMI 端口的普通屏幕上顯示。（圖中我借了朋友的有Display Port的顯示器試了半天）

- Ubuntu 或 Linux 機器運行帶有 -Y 選項的命令 ssh 到 ZCU104 板。-Y 表示啟用信任者 X11 轉發(fā)。如果不指定 -Y 選項。您可能會收到錯誤“權限被拒絕。無法打開顯示”例如

$ssh -Y root@

登錄后，使用命令 echo $DISPLAY 獲取顯示環(huán)境。您可以將此值用于串行終端控制臺以在您的 Linux 機器上顯示 Windows（DISPLAY 環(huán)境將類似于 localhost:10.0）

- Windows 機器。您需要安裝 X 服務器程序。我使用 VcXsrv 程序。當使用 Xlaunch 啟動 VcXsrv 時，不要忘記禁用訪問控制（在最后一個屏幕上）以接受來自所有客戶端的連接。在ZCU104板子上，設置環(huán)境DISPLAY=:0.0

使用來自 USB 攝像頭啟動程序的輸入

$./FallGuard openpose_pruned_0_3 0 -t 8

使用來自視頻文件的輸入（目前僅支持.webm 格式）

$./FallGuard openpose_pruned_0_3 -t 8

要在主機上編譯程序，我們需要為 Arm 64 位設置環(huán)境。通過使用命令 $source /environment-setup-aarch64-xilinx-linux 例如我的 SDK 在 /opt/petalinux/2020.1/

build.sh是編譯程序的腳本，編譯后使用 scp 將文件復制到目標 ZCU104 板。前任。scp FallGuard root@:~/ ~ 表示復制到主目錄。

有兩種方法可以通知跌倒檢測。

1) 使用 IFTTT webhook 通過 webhook 使用 curl 命令通過 post FallDetect 事件發(fā)送 SMS。有關詳細信息，請參閱 process_result.hpp 中的第 67 行。

2) 將 SirenOn 值發(fā)布到網絡警報地址。（第 69 行）為了便于實施，此時警報地址是固定的（第 17 行）。這個值是通過設置路由器來固定網絡警報器的mac地址的ip地址來固定的。

使用 Arduino 編譯，不要忘記在程序內部定義 SSID 和 Password。我們僅使用 5 V 供電，即使警報器可支持高達 12 V。

實現的最后一部分是 Web 服務器。我們使用來自busybox的簡單Web服務器（httpd）來實現簡單的Web服務器，當跌倒檢測發(fā)生時顯示圖片和視頻。這將通過在項目目錄中調用腳本startweb.sh開始，或者您可以將此腳本放在 .bashrc 中以自動啟動。

圖片為jpg格式，視頻為avi格式。這些操作由 OpenCV 庫完成。請注意，編碼器（本項目中的 MJPG）和容器（.avi）以及圖像的大?。?304、1536）必須匹配。否則，視頻將無法閱讀。我仍然對這些組合感到困惑。所以我無法解釋更多。我嘗試了其他組合 Ex。encode = Mpeg 和 container = mp4 但它不支持。（這個還有待開發(fā)的領域）

項目成果

我們已經在視頻文件和 USB 攝像頭上測試了跌倒檢測。當人直接面對相機時，兩者都可以正常工作。但如果人站在旁邊或某個角度，Openpose 無法正確確定手勢。這需要通過安裝不同角度的攝像頭或使用其他算法來幫助對側面手勢進行分類來改善。通知有時也需要，這是由于網絡配置和網絡速度造成的。（有時快有時慢）

下落速度需要根據不同場景進行調整和廣泛測試。例如，如果您打算睡覺（緩慢移動），系統(tǒng)不應故障警報并認為它正在下降。不同的跌倒檢測算法將有助于檢測的準確性。

從視頻中，您會看到屏幕上的動態(tài)和圖片之間存在一些滯后，并且警報激活。這應該通過 VCU 加以改進。

包起來

這個項目還有更大的發(fā)展空間。應該測試不同的場景并提高Camera處理的速度。（如果我們可以使用 VCU，這些問題就會得到解決） 系統(tǒng)魯棒性將非常重要。當有人摔倒并且系統(tǒng)停止工作時，我們不希望系統(tǒng)掛起。這將使生命處于危險之中。