安防監(jiān)控視頻結(jié)構(gòu)化那些事兒

隨著高清化視頻監(jiān)控的演進和平安城市建設(shè)的飛速發(fā)展，監(jiān)控攝像機遍布大街小巷。據(jù)不完全統(tǒng)計，一個中等規(guī)模的城市就有上萬路乃至數(shù)十萬路攝像機覆蓋，這是一個蘊含海量信息的龐大系統(tǒng)，每天產(chǎn)生的視頻數(shù)據(jù)相當于1000億張照片。

海量的視頻記錄了少部分價值信息，這些價值信息為大多數(shù)事件留下了影像資料，為事后追溯事件真相、維護社會治安、預防并打擊違法犯罪、保障生命財產(chǎn)安全、促進日常工作生活正常運行帶來巨大便利。

即便不考慮各個監(jiān)控系統(tǒng)之間的信息關(guān)聯(lián)，光瀏覽這些視頻就需要花費大量的人力物力。解決這一問題的核心技術(shù)即視頻結(jié)構(gòu)化描述技術(shù)，將海量視頻或圖片的非結(jié)構(gòu)化數(shù)據(jù)提取并轉(zhuǎn)化為結(jié)構(gòu)化信息描述。

視頻結(jié)構(gòu)化是將視頻內(nèi)容按照語義關(guān)系，采用時空分割、特征提取和對象識別等處理手段，組織成可供計算機和人理解的文本信息技術(shù)，并進一步轉(zhuǎn)化為公安實戰(zhàn)所用的情報，實現(xiàn)視頻數(shù)據(jù)向信息、情報的轉(zhuǎn)化。

視頻內(nèi)容管理平臺支持實時視頻和歷史視頻分析，按照不同智能分析算法模型，采用結(jié)構(gòu)化標準語義定義，將提取結(jié)構(gòu)化信息存儲到分布式數(shù)據(jù)庫（元數(shù)據(jù)），按照業(yè)務需求設(shè)定智能分析算法規(guī)則，支持對視頻進行快速、高效研判。

實時視頻結(jié)構(gòu)化分析包括智能行為行析、車輛（包括車牌）信息結(jié)構(gòu)化。歷史視頻結(jié)構(gòu)化分析包括車輛（包括車牌）、視頻摘要和視頻搜索結(jié)構(gòu)化。

智能行為分析結(jié)構(gòu)化信息主要包括：目標的顏色（占比最大的顏色）、坐標（目標畫面中心點）、種類（人、車、物）、時間，所關(guān)聯(lián)的視頻，目標的尺寸。

車輛結(jié)構(gòu)化信息包括：車牌號碼、車牌顏色、車輛顏色、車輛特征（車輛類型、車輛品牌、車輛子品牌、年款和局部特征），所關(guān)聯(lián)的視頻。

視頻搜索結(jié)構(gòu)化信息包括：目標坐標（目標畫面中心點）、目標輪廓、時間，所關(guān)聯(lián)的視頻以及幀號，目標的尺寸。

視頻搜索通過對非結(jié)構(gòu)化的原始視頻數(shù)據(jù)進行智能分析，通過對背景和前景建模處理，提取出視頻中運動目標對象的信息、顏色、尺寸、軌跡等，并建立目標對象的結(jié)構(gòu)化數(shù)據(jù)庫，偵查人員可以通過設(shè)置目標類別（人、車、物）、出現(xiàn)區(qū)域、運動方向和軌跡等搜索條件，通過對目標顏色模糊匹配，快速從視頻中搜索出滿足條件的目標對象，并以視頻縮略列表的形式展現(xiàn)，通過圖片跳轉(zhuǎn)播放目標對象在原始視頻中的真實場景，偵查人員可以進行更進一步的分析研判，提高偵查人員從海量視頻中查找目標的效率。

具體視頻搜索分為元數(shù)據(jù)提取和視頻搜索處理兩部分，如下：

視頻搜索元數(shù)據(jù)提取示意圖

1、視頻幀采用基于運動目標的行為分析處理，通過背景建模、前景提取、目標跟蹤等，提取圖像的背景圖和目標元數(shù)據(jù)信息。

2、目標元數(shù)據(jù)包括目標軌跡、目標大?。ㄏ袼卮笮。⒛繕祟伾ê?、白、紅、黃、綠、藍、未知）和目標類型（人、車、未知）。

3、將目標元數(shù)據(jù)存到數(shù)據(jù)庫元數(shù)據(jù)表。元數(shù)據(jù)表包括視頻文件id、對象id、目標大小、目標類型、目標顏色、目標軌跡和起止時間。

視頻搜索處理示意圖

1、搜索分為兩種方式：目標搜索，輸入條件包括目標類型（人/車/物），目標顏色（黑、灰、白、紅、黃、綠、藍），目標大小、目標區(qū)域和排除區(qū)；以及軌跡搜索。根據(jù)輸入條件搜索元數(shù)據(jù)表，返回對應元數(shù)據(jù)。

2、根據(jù)元數(shù)據(jù)查詢到的結(jié)果和目標的軌跡信息（以x、y、width、high、time的二進制序列表示），獲取軌跡中點的時間戳，抓取視頻文件對應時間戳的幀，并截圖。

如果是目標搜索，將對應的目標加框并標識，并截圖存儲。

如果是軌跡搜索，將元數(shù)據(jù)表中記錄的目標軌跡疊加到對應幀上，并截圖存儲。

案例1#：

2014年X月X日上午9:30，XX市北關(guān)公安分局民警接到報案稱有人被撞傷，民警根據(jù)線索信息確認：嫌疑車輛為“白色北京現(xiàn)代-朗動”小型車，牌照看不清楚。民警利用“視頻大數(shù)據(jù)結(jié)構(gòu)化系統(tǒng)”，對案發(fā)生前后的1個半小時內(nèi)10萬余條車輛行駛記錄進行批量搜索，系統(tǒng)在1秒鐘左右從10萬余條數(shù)據(jù)中查找出160輛“白色北京現(xiàn)代-朗動”小型車在路上行駛；再經(jīng)人工排查，確認嫌疑車輛，車牌為“*P92347”，整個案件從接案到成功抓獲嫌疑人前后共兩個多小時。

案例2#：

2014年X月X日晚20:00，在XX市汽車站附件發(fā)生一路人被撞傷案件。確認線索信息：逃逸車輛為“黑色大眾”轎車，無號牌。辦案民警通過“視頻大數(shù)據(jù)處理云存儲中心”，對案發(fā)1個月前97萬多條車輛信息進行排查，快速檢索出 2月1日—5日，發(fā)現(xiàn)有一臺黑色“大眾-帕薩特”無牌車輛在城區(qū)共出現(xiàn)8次。通過對該車多次歷史過車記錄進行追蹤、分析，確認該車經(jīng)常駛?cè)胪恍^(qū)，后經(jīng)地面?zhèn)刹閷⑾右扇俗ゲ稓w案。

案例3#：

201X年X月X日下午三時許，XX市XX鎮(zhèn)人民路人民大廈XX發(fā)生一宗盜竊案件。民警根據(jù)案件線索，利用視頻結(jié)構(gòu)化系統(tǒng)提取的人臉圖片與人像庫、人臉圖片庫中的信息進行比對分析，共查詢到40余張相似的人臉圖片。經(jīng)人工排查，最終掌握嫌疑人身份信息。

有人說2019年的安防主題是“泛安防，去安防”，體現(xiàn)了安防企業(yè)的外延需求以及AIoT企業(yè)打破安防邊界的意愿。AIoT時代，視頻大數(shù)據(jù)的量產(chǎn)爆發(fā)，如若不能進行智能化整合與分類，那么這些數(shù)據(jù)就只是AIoT世界中的廢料和垃圾山而已。視頻結(jié)構(gòu)化技術(shù)將原始視頻數(shù)據(jù)精縮，變?yōu)楦撞檎?、占存儲更小且更具備應用價值的高精度數(shù)據(jù)，是 AI Cloud、城市大腦、安防視覺中樞、視頻編碼及車輛結(jié)構(gòu)化、ReID等場景應用落地的關(guān)鍵技術(shù)。