AI視頻智能分析在明櫥亮灶/冷庫智慧監(jiān)管的應用

1. 背景介紹

【背景一】2015年5月習近平總書記針對食品問題發(fā)表“四個最嚴”要求，“讓人民群眾吃得安全放心”。2016年1月中共中央政治局常委、國務院總理李克強作出批示指出各級政府要堅持人民利益至上，切實發(fā)揮食安委統(tǒng)一領導、綜合協(xié)調作用，以改革精神和法治思維，堅定實施食品安全戰(zhàn)略，加快健全從中央到地方直至基層的權威監(jiān)管體系，落實最嚴格的全程監(jiān)管制度，嚴把從農田到餐桌的每一道防線，對違法違規(guī)行為零容忍、出快手、下重拳，切實保障人民群眾身體健康和生命安全。

2019年5月20日，中共中央國務院發(fā)布《關于深化改革加強食品安全工作的意見》，提出了兩個目標，六項原則。兩個目標：其一，到2020年，初步建立基于風險分析和供應鏈管理的食品安全監(jiān)管體系。其二，到2035年，基本實現(xiàn)食品安全領域國家治理體系和治理能力現(xiàn)代化。六項原則：堅持安全第一、堅持問題導向、堅持預防為主、堅持依法監(jiān)管、堅持改革創(chuàng)新、堅持共治共享。

【背景二】根據國家和各地方關于新冠肺炎疫情常態(tài)化防控工作部署，為全面貫徹落實“外防輸入，內防反彈”、“人物同防”的總體策略，切實做好進口冷鏈食品全流程各環(huán)節(jié)新冠肺炎疫情常態(tài)化防控工作。

貫徹落實《國務院應對新型冠狀病毒感染肺炎疫情聯(lián)防聯(lián)控機制關于做好新冠肺炎疫情常態(tài)化防控工作的指導意見》《新型冠狀病毒肺炎疫情防控指揮部關于做好新冠肺炎疫情常態(tài)化防控工作的實施意見》有關要求，堅持科學合理、適度管用、突出重點、分類施策的常態(tài)化防控原則，結合國家和省分區(qū)分級管控標準，堅定信心、同舟共濟、科學防治、精準施策，毫不懈怠抓好進口冷鏈食品常態(tài)化疫情防控各項工作。

2021年11月14日，據新浪財經報告，大連累計報告新冠肺炎確證病例235例，主要傳播鏈都是定點冷庫/餐飲單位的相關的食品公司。2021年12月廣東攔截14起冷鏈食品陽性事件。新冠疫情下，多批次輸入性冷凍產品檢測出病毒，相關食品從業(yè)人員風險加大，整體管控易出現(xiàn)風險漏洞。

主管部門缺少智慧化集中監(jiān)控監(jiān)管手段，監(jiān)測效能及風險管控能力亟待提升。

國家市場監(jiān)督管理總局及各地市場監(jiān)管局，相續(xù)出臺政策強化冷鏈運輸監(jiān)管，強化冷鏈運輸環(huán)節(jié)疫情防控手段。

【背景三】相關政策支持文件：《中華人民共和國食品安全法》、《餐飲服務明廚亮灶管理辦法》、《企業(yè)食品安全與營養(yǎng)健康管理規(guī)定》、《國務院關于積極推進“互聯(lián)網+”行動的指導意見》、《校園食品安全守護行動方案（2020—2022年）》。

2. 需求分析

根據國家市場監(jiān)管總局政策文件，各地冷鏈進口集中監(jiān)管倉，入倉查驗區(qū)、核酸采樣、消毒、裝卸貨等關鍵點安裝AI抓拍識別設備，各地視頻流數(shù)據、AI報警數(shù)據上報到國家市場監(jiān)管總局。

擬對全省/全市所有冷庫集中監(jiān)管倉/餐飲單位部署AI分析，實現(xiàn)視頻互聯(lián)互通、AI數(shù)據上報、AI語音預警提醒等功能。

【視頻聯(lián)網互聯(lián)互通】冷庫/餐飲單位視頻監(jiān)控可通過AI接入網關無縫接入，AI接入網關可通過互聯(lián)網、VPN或專線聯(lián)網，云端AIoT管理平臺通過GB28181協(xié)議與以及云邊協(xié)同，實現(xiàn)AI分析預警，互聯(lián)互通，可實現(xiàn)區(qū)/縣、市、省視頻監(jiān)控互聯(lián)互通，滿足監(jiān)管需求以及向社會面開放需求。

3. 功能檢測

算法功能檢測、識別預警

【未戴口罩識別預警】

冷庫區(qū)域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協(xié)同”實現(xiàn)AI智能分析，實現(xiàn)對工作人員是否戴口罩情況進行實時檢測，工作人員在工作時間段出現(xiàn)未戴口罩情況自動產生報警，上報到平臺

【未戴帽子識別預警】

冷庫區(qū)域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協(xié)同”實現(xiàn)AI智能分析，實現(xiàn)對工作人員是否戴帽子情況進行實時檢測，工作人員在工作時間段出現(xiàn)未戴帽子情況自動產生報警，上報到平臺

【未穿防護服識別預警】

冷庫區(qū)域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協(xié)同”實現(xiàn)AI智能分析，實現(xiàn)對工作人員是否穿防護服情況進行實時檢測，工作人員在工作時間段出現(xiàn)未穿防護服情況自動產生報警，上報到平臺

【老鼠識別預警】

冷庫區(qū)域的網絡攝像機通過冷庫AI接入網關，以及AIoT平臺“云+邊協(xié)同”實現(xiàn)AI智能分析，實現(xiàn)對冷庫存儲區(qū)域鼠患情況實時檢測，當發(fā)現(xiàn)老鼠出沒情況自動產生報警，上報到平臺

【貨柜號識別】

冷庫區(qū)域的網絡攝像機通過“冷庫AI接入網關+AIoT平臺云邊協(xié)同”，實現(xiàn)對冷鏈運輸車的貨柜號實時檢測，貨柜編碼上報到平臺

【未戴廚師帽識別預警】

廚房區(qū)域的網絡攝像機通過AI邊緣計算盒，實現(xiàn)對工作人員是否戴廚師帽情況進行實時檢測，工作人員在工作時間段出現(xiàn)未戴廚師帽情況自動產生報警，上報到平臺

【未穿廚師服識別預警】

廚房區(qū)域的網絡攝像機通過AI邊緣計算盒，實現(xiàn)對工作人員是否穿白色廚師服情況進行實時檢測，工作人員在工作時間段出現(xiàn)未穿白色廚師服情況自動產生報警，上報到平臺

【抽煙識別預警】

廚房區(qū)域的網絡攝像機通過AI邊緣計算盒，實現(xiàn)對工作人員是否抽煙情況進行實時檢測，工作人員在工作時間段出現(xiàn)抽煙情況自動產生報警，上報到平臺

【打電話識別預警】

廚房區(qū)域的網絡攝像機通過AI邊緣計算盒，實現(xiàn)對工作人員是否打電話情況進行實時檢測，工作人員在工作時間段出現(xiàn)打電話情況自動產生報警，上報到平臺

4. 建設方案

【組網架構】

如圖，我司AI冷庫/餐飲單位監(jiān)管解決方案包括：前端網絡攝像機，AI接入網關、云端AIoT管理平臺、云AI服務引擎、流媒體服務組成。針對前端可部署AI接入網關，可通過RTSP、Onvif協(xié)議接入已建或新建的網絡攝像機。AI接入網關可對視頻流進行實時分析（未戴口罩、未戴帽子、未穿防護服、貨柜號、老鼠識別、未戴廚師帽、未穿廚師服、抽煙識別、打電話識別）。AI接入網關可通過互聯(lián)網/專網/VPN鏈路與云端AIoT管理平臺、流媒體服務器互聯(lián)互通，云管理平臺可部署于公有云或政務云。AIot管理平臺實現(xiàn)邊緣端AI設備統(tǒng)一管理，實現(xiàn)AI算法云端實時分析，算法自學習，并可實現(xiàn)云端算法自定義，云端算法模型一鍵下發(fā)等功能，流媒體服務可實現(xiàn)十萬級以上高清視頻點播。

【邏輯構架】

?

如圖，AI+監(jiān)管產品邏輯構成：AI智能硬件、AI算法、AI系統(tǒng)平臺組成。AI硬件有AI接入網關，以及云端AI分析引擎服務器組成。AI算法部署于云AI分析引擎，依托硬件NPU+GPU算力單元實現(xiàn)對視頻流/圖片流AI分析。算法層包括：未戴口罩、未戴帽子、未穿防護服、貨柜號、老鼠識別等。并且云端AI管理平臺包括云管理、云算法可支持云算法自我學習，平臺實現(xiàn)AI策略管理、AI報警查詢、視頻回放、系統(tǒng)管理、以及流媒體分布式部署，實現(xiàn)云端管理。

5. 前端概述

前端指冷庫集中倉端/餐飲企業(yè)，本部分介紹相關系統(tǒng)要求設計。

【前端組成】

【布點要求】攝像機要求200W像素以上，角度要求上下角度在15度以內，左右角度在30度以內（眉尖可見），圖像質量要求聚焦清晰，光照均勻，特別注意避免逆光、側光，必要時進行補光。

【錄像存儲】選用200W高清網絡攝像機按照2M碼流計算，存儲可選配。

4路30天錄像存儲大小=2M）÷8×3600（秒）×24（小時）×3×30/1024/1024≈3TB

8路30天錄像存儲大小=3.6（M）÷8×3600（秒）×24（小時）×7×30/1024/1024≈6TB

6. 算法設計

【算法概述】

?

（1） 業(yè)務需求分析

在正式啟動訓練模型之前，需要有效分析和拆解的業(yè)務需求，明確模型類型如何選擇。

監(jiān)控人員在崗是否按規(guī)定穿戴口罩、帽子、防護服——通過目標檢測模型和分類模型進行判斷。戴口罩和帽子是兩個屬性，若采用單屬性進行二分類會增加計算的負擔（需要兩個分類模型分開運算），這里采用多屬性的分類模型。

監(jiān)控是否鼠患嚴重——由于老鼠目標太小，深度學習策略可能會失效，即使成功也會消耗大量的計算資源，這里采用傳統(tǒng)的檢測目標策略加上分類模型進一步篩選判斷。

（2） 采集/收集數(shù)據

在通過第一步分析的基本模型類型，需要進行相應的數(shù)據收集工作，如采集工作人員人臉數(shù)據注冊，用于上崗情況分析。數(shù)據的主要原則為盡可能采集真實場景一致的數(shù)據，并覆蓋可能有的各種情況，如戴帽子和戴口罩的判斷要包含五種情況：A.戴了帽子和口罩、B.戴了帽子沒戴口罩、C.沒戴帽子戴了口罩、D.沒戴帽子沒戴口罩和E.無法判斷。

（3） 標注數(shù)據

剛開始采集少量數(shù)據（圖片或者視頻流）后，通過人工使用標注工具對已有的數(shù)據進行標注。如檢測是否有老鼠的分類模型，需要將監(jiān)控視頻抽幀后的圖片按照A.有和B.沒有兩類進行整理。如穿戴檢測，直接用目標檢測算法檢測穿戴情況可靠性低，容易出現(xiàn)定位不準且分類準確性差?？紤]到實際應用場景實時性要求不高，對準確性要求高，采用折中的辦法：先以人形作為檢測目標，進行打標，然后分析單人的情況 （目前有單人口罩和帽子的穿戴分析），準確率得到提高，代價是犧牲了一點檢測速度。訓練的模型在現(xiàn)場部署后可采取更多的標注后的數(shù)據，再經過人工的精篩選數(shù)據，又可用于下一輪的模型訓練。

（4） 訓練模型

訓練模型階段可以將已有標注好的數(shù)據基于在業(yè)務分析階段確定的初步模型類型，在云端選擇算法進行訓練。

（5） 評估模型效果

訓練后的模型在正式集成之前，需要評估模型效果是否可用。以穿戴和老鼠檢測為例。

穿戴檢測模型評估項有：A.識別人員數(shù)量百分比；B.帽子正確識別百分比；C.口罩正確識別百分比；D.整體平均識別正確率。

老鼠檢測模型評估項有：A.老鼠正確識別的百分比。

（6） 云端算法模型維護

【算法機制】

【算法模型】

7. 系統(tǒng)功能

【綜合視圖】

系統(tǒng)可在地圖上展示集中倉/餐飲企業(yè)實時監(jiān)控視頻，AI違規(guī)報警top排行、違規(guī)類型分布、攝像機接入量、在線率統(tǒng)計分析。

綜合視圖支持在線點播監(jiān)控點位指標視頻，以及調閱相關AI違規(guī)數(shù)據等

【首頁視圖 】

首頁視圖支持分屏查看如：單屏、四分屏、九分屏、16分屏、36分屏、全屏。支持手動拖動通道到預覽圖，AI智能檢測區(qū)（未未戴口罩、未戴帽子、未穿防護服、貨柜號、老鼠識別），可實時對違規(guī)事件進行展示。一次性展示20條數(shù)據，按時間倒序排序

【接入管理】

系統(tǒng)接入管理用于管理所有的接入設備。可查看每個設備的通道在線情況，更新通道，選擇機構

【視頻接入】

通過邊緣計算盒web管理界面接入視頻，可通過RTSP、Onvif等協(xié)議接入視頻監(jiān)控攝像，同時可支持通過Excel表格導入rtsp流地址便于IPC、NVR視頻流接入

通道維護/AI短視頻/區(qū)域分析/錄像回放/事件查詢/策略管理/基礎信息/系統(tǒng)管理/算法云管理

【企業(yè)介紹】

微視圖靈 以人工智能、物聯(lián)傳感技術為核心，利用自主知識產權的深度學習架構、機器視覺、深耕行為分析算法技術研發(fā)，結合人臉識別、人體識別、物體識別等人工智能算法、致力于為用戶提供全球領先的人工智能產品和行業(yè)解決方案。

核心技術團隊來自中科院、清華大學、電子科技大學、華南理工大學等知名學府。專注于計算機視覺和深度學習，布局城市安防，打通AI在智慧司法、智慧校園、智慧養(yǎng)老、智慧交通、智慧醫(yī)院、智慧社區(qū)等幾大垂直場景的應用。