在安防監(jiān)控中是如何進(jìn)行存儲(chǔ)的？

在網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)中，音視頻流的傳輸是基于IP 網(wǎng)絡(luò)的，在存在大量音視頻流傳輸?shù)那闆r下，如何有效地實(shí)現(xiàn)對(duì)音視頻數(shù)據(jù)的存儲(chǔ)，和對(duì)多個(gè)用戶檢索回放視頻文件的管理是一個(gè)重要的課題。

因此，本文就對(duì)網(wǎng)絡(luò)視頻監(jiān)控系統(tǒng)的存儲(chǔ)技術(shù)進(jìn)行了探討，給出了一種音視頻存儲(chǔ)服務(wù)器軟件的設(shè)計(jì)方案和具體實(shí)現(xiàn)。支持圖像存儲(chǔ)、網(wǎng)絡(luò)回放的雙工模式，最大可以同時(shí)對(duì)多路視頻進(jìn)行錄像，支持多個(gè)用戶同時(shí)在線檢索回放歷史數(shù)據(jù)，可以根據(jù)圖像的、記錄時(shí)間、報(bào)警事件類別等多種方式對(duì)存儲(chǔ)的圖像數(shù)據(jù)進(jìn)行檢索。

媒體流的文件存儲(chǔ)

業(yè)界較為典型的監(jiān)控存儲(chǔ)的數(shù)據(jù)管理方案是“DVS＋媒體服務(wù)器＋存儲(chǔ)系統(tǒng)”，其中媒體服務(wù)器是系統(tǒng)的核心，由其負(fù)責(zé)媒體數(shù)據(jù)流的分發(fā)、錄像、以及VOD點(diǎn)播。

在這種流媒體服務(wù)器的方案中，數(shù)據(jù)管理方式是基于文件系統(tǒng)進(jìn)行的，所有的錄像數(shù)據(jù)在通過(guò)媒體服務(wù)器時(shí)，都被轉(zhuǎn)成了標(biāo)準(zhǔn)的流媒體文件（幾分鐘到幾十分鐘的錄像形成一個(gè)文件），然后再進(jìn)行存儲(chǔ)。這種存儲(chǔ)方式利用了傳統(tǒng)文件系統(tǒng)自身的特性，系統(tǒng)開(kāi)發(fā)比較簡(jiǎn)單，但有可能降低監(jiān)控存儲(chǔ)的效率，主要體現(xiàn)在：

存在視頻數(shù)據(jù)丟失的風(fēng)險(xiǎn)。文件形成需要時(shí)間，在形成過(guò)程中若網(wǎng)絡(luò)有誤碼、前端DVR/DVS/IPCAM有故障/停電，服務(wù)器自身軟件缺陷等情況出現(xiàn)，就會(huì)造成整段時(shí)間視頻文件的丟失。

受文件碎片的影響。文件系統(tǒng)使用過(guò)程中會(huì)形成大量的文件碎片，在使用過(guò)程中存儲(chǔ)空間會(huì)逐漸變小，性能也會(huì)隨之降低。

文件檢索效率低。歷史數(shù)據(jù)檢索的最小單位是文件，顆粒度太大，精確度低。

除了文件系統(tǒng)自身的不足之外，方案還會(huì)受到流媒體服務(wù)器集群能力的影響。一臺(tái)普通的PC Server大約能承載幾十路2Mbps媒體數(shù)據(jù)流的處理，在這種組網(wǎng)下，要支撐更多數(shù)量的媒體流處理，需要將多臺(tái)媒體服務(wù)器組成一個(gè)集群。但是，受限于媒體流服務(wù)器的集群能力，媒體服務(wù)器的數(shù)量不能太多，一般十幾臺(tái)媒體服務(wù)器就達(dá)到了一個(gè)集群的極限。因此，媒體服務(wù)器集群成為了整個(gè)監(jiān)控系統(tǒng)的瓶頸，這使得監(jiān)控系統(tǒng)無(wú)法大規(guī)模展開(kāi)。在構(gòu)建平安工程這類大規(guī)模監(jiān)控系統(tǒng)時(shí)，這種方案就會(huì)遇到很大問(wèn)題，大量的媒體服務(wù)器不僅增加成本，管理同時(shí)變得更復(fù)雜。

由此可見(jiàn)，傳統(tǒng)的監(jiān)控系統(tǒng)在數(shù)據(jù)管理方面面臨的兩個(gè)主要問(wèn)題：普通文件系統(tǒng)不是專為監(jiān)控存儲(chǔ)設(shè)計(jì)，因此會(huì)影響到監(jiān)控?cái)?shù)據(jù)存儲(chǔ)的效率；媒體服務(wù)器的集群能力有限，導(dǎo)致監(jiān)控系統(tǒng)大規(guī)模部署困難。那么，是否有針對(duì)監(jiān)控存儲(chǔ)的更好的數(shù)據(jù)管理方式？

針對(duì)監(jiān)控存儲(chǔ)的數(shù)據(jù)特點(diǎn)，業(yè)界早在幾年前就開(kāi)始嘗試一些新的數(shù)據(jù)管理方式，希望能夠提高監(jiān)控存儲(chǔ)的數(shù)據(jù)管理效率，滿足監(jiān)控大規(guī)模應(yīng)用的需求。在這些數(shù)據(jù)管理方式中，“塊直存”就是其中比較有特點(diǎn)的一種，已經(jīng)成為業(yè)界發(fā)展的方向。其創(chuàng)新性主要體現(xiàn)在：

創(chuàng)造性的采用了“時(shí)間索引+塊數(shù)據(jù)”的專用數(shù)據(jù)結(jié)構(gòu)，拋棄了傳統(tǒng)的文件系統(tǒng)，提高監(jiān)控?cái)?shù)據(jù)的管理效率。

創(chuàng)造性的采用了基于iSCSI協(xié)議的IP SAN直存技術(shù)，拋棄了傳統(tǒng)的流媒體服務(wù)器，簡(jiǎn)化系統(tǒng)架構(gòu)。

通過(guò)集中式數(shù)據(jù)管理，實(shí)現(xiàn)了對(duì)資源的統(tǒng)一劃分和調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的全局性管理。

媒體服務(wù)器文件存儲(chǔ)模式

實(shí)際上，在很多大規(guī)模監(jiān)控方案中，為了解決媒體服務(wù)器性能瓶頸的問(wèn)題，一般會(huì)采用服務(wù)器群的方式完成。但又帶來(lái)新的問(wèn)題，如多個(gè)服務(wù)器之間如何進(jìn)行負(fù)載分擔(dān)？某個(gè)服務(wù)器故障之后，系統(tǒng)如何將數(shù)據(jù)流量切換至其他服務(wù)器？這些服務(wù)器如何管理？如何共享一個(gè)存儲(chǔ)空間？等等，解決這些問(wèn)題需要一個(gè)非常優(yōu)秀的集群管理系統(tǒng)，增加系統(tǒng)復(fù)雜性的同時(shí)，還需要一筆不菲的預(yù)算，更遺憾的是，目前業(yè)界還沒(méi)有一個(gè)集群管理系統(tǒng)可以很好的解決該問(wèn)題。

因此，前端設(shè)備到IP SAN的端到端直存就是一種很好的解決辦法。在存儲(chǔ)方式上，“數(shù)據(jù)塊直存”的數(shù)據(jù)管理方式拋棄了媒體服務(wù)器，在IP網(wǎng)絡(luò)的基礎(chǔ)上，在編碼設(shè)備中集成了iSCSI模塊，使得編碼設(shè)備可以基于iSCSI的協(xié)議端到端的把錄像數(shù)據(jù)寫(xiě)入IP SAN存儲(chǔ)設(shè)備中。

監(jiān)控錄像的檢索效率

傳統(tǒng)監(jiān)控中，對(duì)于媒體流的文件存儲(chǔ)模式，在錄像檢索時(shí)首先要根據(jù)攝像頭、檢索的時(shí)間查找到對(duì)應(yīng)的文件，然后再進(jìn)一步定位具體的時(shí)間點(diǎn)，從該時(shí)間點(diǎn)回放錄像。歷史數(shù)據(jù)檢索的最小單位是文件，顆粒度太大，精確度低。

文件系統(tǒng)本來(lái)是為隨機(jī)讀寫(xiě)的數(shù)據(jù)管理應(yīng)用設(shè)計(jì)的，檢索效率較低，一個(gè)含幾百萬(wàn)個(gè)文件的系統(tǒng)的檢索效率很難想象。所以，當(dāng)系統(tǒng)規(guī)模擴(kuò)大后，傳統(tǒng)數(shù)字監(jiān)控方案的效率下降很快。

在“塊直存”的系統(tǒng)中，“塊”存儲(chǔ)可以理解成自定義的一種文件系統(tǒng)，在裸盤(pán)上進(jìn)行數(shù)據(jù)讀寫(xiě)；時(shí)間作為每個(gè)數(shù)據(jù)單元的索引，并且把索引和數(shù)據(jù)單元保存在一個(gè)完全獨(dú)立的邏輯存儲(chǔ)空間上。錄像的索引和數(shù)據(jù)形成獨(dú)立的、完整的數(shù)據(jù)結(jié)構(gòu)，這種數(shù)據(jù)結(jié)構(gòu)完全由自己管理，不再由操作系統(tǒng)和文件管理。通過(guò)時(shí)間索引+塊數(shù)據(jù)存儲(chǔ)這種組合，在錄像檢索上，可以基于時(shí)間進(jìn)行檢索，可以快速定位到任意時(shí)間的錄像，檢索效率大幅度提高。在檢索的顆粒度上，也不再受文件大小的限制，可以實(shí)現(xiàn)秒級(jí)的連續(xù)檢索。

H3C創(chuàng)新存儲(chǔ)模式—“iSCSI塊直存”

作為IP領(lǐng)域的領(lǐng)導(dǎo)廠商之一，H3C同時(shí)在IP網(wǎng)絡(luò)、IP視頻、IP存儲(chǔ)等領(lǐng)域有著長(zhǎng)期的技術(shù)和產(chǎn)品積累。進(jìn)入IP監(jiān)控領(lǐng)域后，H3C將這些技術(shù)進(jìn)行融合，首家將iSCSI塊存儲(chǔ)的存儲(chǔ)方式引入監(jiān)控中，從而有效的解決了媒體服務(wù)器引入的存儲(chǔ)的性能、可靠性以及檢索效率的問(wèn)題。

在“塊數(shù)據(jù)”和“直存”兩者的技術(shù)基礎(chǔ)上，通過(guò)全局性的資源統(tǒng)一劃分和調(diào)度，實(shí)現(xiàn)數(shù)據(jù)的全局性管理。在大型監(jiān)控系統(tǒng)里面，可能有成千上萬(wàn)個(gè)攝像機(jī)和海量的存儲(chǔ)空間。

如何管理這些攝像頭和存儲(chǔ)設(shè)備之間的對(duì)應(yīng)關(guān)系是一個(gè)非常復(fù)雜的難題。在“塊直存”視頻監(jiān)控系統(tǒng)中，H3C引入了數(shù)據(jù)管理服務(wù)器單元（DM），以此來(lái)實(shí)現(xiàn)存儲(chǔ)資源的統(tǒng)一管理。

DM是一個(gè)專用的數(shù)據(jù)管理設(shè)備，所有的攝像頭和存儲(chǔ)資源都由其管理。攝像頭需要存儲(chǔ)資源時(shí)，會(huì)統(tǒng)一向DM申請(qǐng)，DM會(huì)從存儲(chǔ)空間中選擇合適的存儲(chǔ)資源分配給攝像頭，使攝像頭與這一塊的存儲(chǔ)資源建立讀寫(xiě)關(guān)系。

IP SAN設(shè)備完成某個(gè)攝像頭媒體數(shù)據(jù)塊的存儲(chǔ)工作后，根據(jù)監(jiān)控點(diǎn)的IP地址、寫(xiě)入媒體數(shù)據(jù)的起始和終止時(shí)間，自動(dòng)生成一個(gè)塊索引值。DM和IP SAN之間進(jìn)行通信，獲取最新的視頻存儲(chǔ)信息，對(duì)所有監(jiān)控圖像的檢索等通過(guò)DM完成。

當(dāng)然，這種存儲(chǔ)方式必然對(duì)監(jiān)控廠商的技術(shù)積累和實(shí)力提出了更高的要求，如要求編碼器支持雙碼流，實(shí)時(shí)監(jiān)控視頻流和存儲(chǔ)視頻流可以獨(dú)立編碼，同時(shí)編碼器支持iSCSI協(xié)議。

雙碼流是現(xiàn)在所有高端編碼器的基本要求，實(shí)現(xiàn)的廠商較多，編碼器支持iSCSI則要求監(jiān)控廠商同時(shí)具備專業(yè)的存儲(chǔ)技術(shù)積累，對(duì)于目前的多數(shù)監(jiān)控廠商而言，存在一定的技術(shù)門(mén)檻。可喜的是，我們看到，越來(lái)越多的監(jiān)控廠商認(rèn)識(shí)到存儲(chǔ)對(duì)于一個(gè)監(jiān)控方案的重要性，開(kāi)始進(jìn)行這方面的技術(shù)積累。