疲勞駕駛一直是交通界的焦點(diǎn)與痛點(diǎn)，每年都有大量司機(jī)因疲勞駕駛導(dǎo)致傷亡。傳統(tǒng)的疲勞駕駛預(yù)防，大都基于司機(jī) 自身角度，通過(guò)正常的作息和合理的行車(chē)安排來(lái)提前減少疲勞駕駛發(fā)生的可能性，而未能從疲勞駕駛已經(jīng)可能發(fā)生的角度及時(shí)的避免疲勞駕駛的繼續(xù)。

從這個(gè)角度出發(fā)，我們將傳統(tǒng)的疲勞駕駛預(yù)防與提醒方式，與人臉識(shí)別結(jié)合，設(shè)計(jì)了疲勞駕駛監(jiān)測(cè)與提醒裝置?？梢宰R(shí)別抽煙、喝水、使用手機(jī)、閉眼、睜眼、閉嘴、張嘴等行為狀態(tài)。

注：本項(xiàng)目為2022中國(guó)大學(xué)生計(jì)算機(jī)設(shè)計(jì)大賽RT-Thread@中智訊物聯(lián)網(wǎng)專(zhuān)項(xiàng)賽參賽作品。項(xiàng)目已在github上整體開(kāi)源，賽后將在本論壇整體開(kāi)源，這里只做部分代碼及流程解釋。

使用平臺(tái)：RTT—DracoAI套件
模型部署插件：RT-AK
代碼編寫(xiě)工具：RT-Thread Stdio 2.1.5

我就不按比賽要求寫(xiě)那種產(chǎn)品介紹類(lèi)的東西了，技術(shù)平臺(tái)直接上干貨，模型部分使用yolo-fastest，模型流程圖如下

使用RT-AK進(jìn)行部署

基礎(chǔ)運(yùn)行命令

python aitools.py --project= --model= --model_name= --platform=k210 --clear

示例

$ D:Projectedge-aiRT-AKrt_ai_tools>python aitools.py --project=D:ProjectK210_Demok210_rthread_bsp --model=.Modelsmnist.tflite --model_name=mnist --platform=k210 --embed_gcc=D:Projectk210_third_toolsxpack-riscv-none-embed-gcc-8.3.0-1.2bin --dataset=.platformsplugin_k210datasetsmnist_datasets

部署成功示意圖

在RT-Thread stdio中工程目錄下更新軟件包，將會(huì)使用到LCD，Camera，USART做監(jiān)控串口，SPI1(wifi)，以及co2傳感器使用的i2c。setting中配置圖如下

接下來(lái)就是軟件包的包含，使用了sgp30和gps_rmc，rw007驅(qū)動(dòng)軟件包會(huì)自動(dòng)包含，具體配置不做贅述(rw007驅(qū)動(dòng)記得改頻率不然用不了)，會(huì)在整體開(kāi)源后補(bǔ)充。

這里展示以下部分代碼流程截圖，首先進(jìn)行硬件初始化和模型初始化

之后為了保證流暢運(yùn)行，各外設(shè)進(jìn)行了多線(xiàn)程的創(chuàng)建和處理

這里遇到了一個(gè)神奇的bug，將攝像頭采集的圖片裁剪后放入kpu中會(huì)倒是kpu的圖像失敗

只有不裁剪的240*320圖片直接進(jìn)入kpu中才能完美顯示，這里重寫(xiě)了一個(gè)image_seg函數(shù)解決了這個(gè)問(wèn)題，進(jìn)入模型進(jìn)行運(yùn)算并對(duì)運(yùn)算結(jié)果進(jìn)行處理

之后就是屏幕顯示onenet上傳圖片巴拉巴拉的就可以了，上傳圖片使用了http post，onenet自己的那個(gè)軟件包不好用，這里就不贅述了。模型各類(lèi)別的準(zhǔn)確度如下圖

因?yàn)槌闊熯@樣的行為在屏幕中表現(xiàn)的實(shí)在是太小了，準(zhǔn)確度相較于其他略有下降，在RTT-Draco上的運(yùn)行時(shí)間約為360ms。這里沒(méi)有辦法插入視頻，就從視頻里截了一張識(shí)別的效果圖。

到此，該項(xiàng)目完成了車(chē)輛定位，車(chē)內(nèi)co2濃度檢測(cè)，駕駛員不良行為檢測(cè)等功能，且具備了聲光震動(dòng)提醒，基本符合疲勞駕駛監(jiān)控系統(tǒng)的定位和要求。