網絡安全態(tài)勢感知系統(tǒng)介紹

**

作者：王娟**

作者簡介：碩士，畢業(yè)于華中科技大學電信學院?，F(xiàn)就職于公安部第三研究所，從事網絡安全研究工作。共發(fā)表五篇推標國際專利，兩篇國內專利，三篇論文，兩篇軟著。

** 摘要 **

本文提出一種基于鴻鵠數(shù)據(jù)平臺（炎凰數(shù)據(jù)推出的免費社區(qū)版一站式異構數(shù)據(jù)分析平臺，以下簡稱鴻鵠）的網絡安全態(tài)勢感知系統(tǒng)，系統(tǒng)借助鴻鵠讀時建模、時序處理、數(shù)據(jù)搜索等高效靈活的超大數(shù)據(jù)存儲和分析處理能力，支持海量大數(shù)據(jù)存儲、分類、統(tǒng)計到數(shù)據(jù)分析、關聯(lián)、預測、判斷的網絡安全態(tài)勢感知能力需求。以安全大數(shù)據(jù)為基礎，從全局角度提升對安全威脅的發(fā)現(xiàn)識別、理解分析、響應處置能力，最終實現(xiàn)網絡安全態(tài)勢感知能力的落地。

**關鍵詞：**網絡安全態(tài)勢感知 鴻鵠 讀時建模 關聯(lián)分析

1. 引言

Anderson 在1980年發(fā)表的論文中首次提出基于日志進行安全審計的思想，此后，經過不斷的發(fā)展已經形成了相對完善的理論，各大安全廠商也研發(fā)了可用的安全系統(tǒng)。但隨著高速網絡的快速普及和大數(shù)據(jù)技術的普遍應用，各類流量監(jiān)測系統(tǒng)、IDS、防火墻、終端監(jiān)控系統(tǒng)等網絡監(jiān)控和防護設備，在運行過程中產生了大量有用的數(shù)據(jù)，如包數(shù)據(jù)、會話數(shù)據(jù)、日志、告警等，應用平臺日志數(shù)量也呈現(xiàn)爆炸性的增長趨勢，這些數(shù)據(jù)一定程度上反應了網絡安全狀態(tài)。但由于不同的系統(tǒng)設備間缺乏協(xié)作，產生的數(shù)據(jù)格式以及詳略程度也存在差別，因此無法對數(shù)據(jù)進行有效的融合分析，難以實現(xiàn)從整體和全局角度識別、分析入侵者的攻擊行為，難以對網絡整體安全態(tài)勢全面、準確、細粒度的展現(xiàn)?；诖耍W絡安全態(tài)勢感知技術應運而生，成為下一代安全技術的焦點。

網絡安全態(tài)勢感知是對網絡安全性定量分析的一種手段，是對網絡安全性的精細度量，利用網絡安全態(tài)勢感知技術可以全面呈現(xiàn)當前網絡的整體安全狀態(tài)，預測其發(fā)展趨勢并做出有效響應，是實現(xiàn)主動防御的基礎和前提。網絡安全態(tài)勢感知系統(tǒng)依賴于防火墻、入侵檢測系統(tǒng)、反病毒系統(tǒng)、日志文件系統(tǒng)、惡意軟件檢測程序等網絡安全基礎設施，收集態(tài)勢數(shù)據(jù)，利用數(shù)據(jù)處理模型對數(shù)據(jù)進行融合，形成安全特征信息，并對特征信息關聯(lián)分析。

從國內外研究現(xiàn)狀分析，當前基于網絡流量、云平臺關鍵設施和應用系統(tǒng)日志的網絡安全態(tài)勢感知技術仍然存在很多問題。一是數(shù)據(jù)來源和處理思路單一，現(xiàn)有的網絡安全威脅防控產品都是針對單一的數(shù)據(jù)源，集中在網絡和應用入口檢測數(shù)據(jù)源，雖然針對性強、容易實現(xiàn)、單一防控效果好，但是缺少從整體上對多源數(shù)據(jù)進行分析，對安全性事件的綜合處置和關聯(lián)分析仍存在一定難度。二是時效性問題，各類流量采集設備報送的內容和結構存在差異，各類監(jiān)測系統(tǒng)和應用報送的日志結構和粒度也不相同，需要預定義數(shù)據(jù)模型和數(shù)據(jù)清洗再進行存儲分析，如果后續(xù)需要增加一個原始數(shù)據(jù)字段來輔助分析，則需要調整數(shù)據(jù)模型并對原始數(shù)據(jù)再存儲，造成存儲冗余浪費的同時，降低了系統(tǒng)時效性；此外，針對問題數(shù)據(jù)，無法快速從原始數(shù)據(jù)中定位、解決問題，時間成本高。三是建設成本高，一套完整的網絡安全態(tài)勢感知系統(tǒng)通常需要在各個流量、業(yè)務入口位置部署安全設備，綜合建設成本高。

針對上述問題，本文基于新一代異構大數(shù)據(jù)即時分析平臺—— 鴻鵠，研究網絡安全態(tài)勢感知技術，構建面向網絡信息系統(tǒng)的網絡安全態(tài)勢感知系統(tǒng)，實現(xiàn)異構異處安全數(shù)據(jù)高效關聯(lián)分析、安全威脅實時識別定位以及異常行為審計與分析。

**2. **網絡安全態(tài)勢感知體系框架

2.1 網絡安全態(tài)勢感知體系

網絡安全態(tài)勢感知本質上是獲取并理解大量網絡安全數(shù)據(jù)，判斷當前整體安全狀態(tài)并預測短期未來趨勢。其可分為三個階段：態(tài)勢提取、態(tài)勢理解和態(tài)勢預測，概念示意圖（如圖1）是一個迭代循環(huán)的的過程?；诖笠?guī)模網絡環(huán)境中的安全要素和特征，采用數(shù)據(jù)分析、挖掘和智能推演等方法，準確理解和量化當前網絡空間的安全態(tài)勢，有效檢測網絡空間中的各種攻擊事件，預測未來網絡空間安全態(tài)勢的發(fā)展趨勢，并對引起態(tài)勢變化的安全要素進行溯源。

圖1 網絡安全態(tài)勢感知概念示意圖

2.1.1 態(tài)勢提取

態(tài)勢提取階段主要對網絡安全數(shù)據(jù)進行采集與融合，具體過程和方法如下：

1. 定義安全要素和安全特征

從資產維度、漏洞維度以及威脅維度三個維度對網絡安全數(shù)據(jù)數(shù)據(jù)進行靶向提取。

2. 數(shù)據(jù)采集

針對不同維度數(shù)據(jù)采取不同的數(shù)據(jù)采集方法，資產維度數(shù)據(jù)可以采用 WMI、SNMP、中央管理器、端口掃描等方式采集；漏洞維度數(shù)據(jù)通過開源的漏洞數(shù)據(jù)庫獲取漏洞數(shù)據(jù)，通過開放的漏洞數(shù)據(jù)庫獲取已發(fā)現(xiàn)的漏洞；威脅維度數(shù)據(jù)包括終端數(shù)據(jù)和流量數(shù)據(jù)，終端數(shù)據(jù)采用 Flume、Syslog 等方式采集，流量數(shù)據(jù)采用 Wireshark、Sniffer、Libpcap 庫等抓取數(shù)據(jù)包。

3. 數(shù)據(jù)預處理和融合

對多個信息源數(shù)據(jù)標準化處理，并進行關聯(lián)、組合、融合，為態(tài)勢評估提供決策信息。其中數(shù)據(jù)預處理包括數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)規(guī)約、數(shù)據(jù)變換。

**· **數(shù)據(jù)清洗：解決數(shù)據(jù)錯誤問題，包括對海量不規(guī)整數(shù)據(jù)如噪聲數(shù)據(jù)、不一致數(shù)據(jù)、遺漏數(shù)據(jù)進行用戶分布式處理、雜質過濾、數(shù)據(jù)清洗等。噪聲數(shù)據(jù)可以采用均值替代、回歸替代、聚類等方式處理；不一致數(shù)據(jù)需要通過數(shù)據(jù)集成方式處理；遺漏數(shù)據(jù)通過人工填充、相似樣本填充等方式處理。

****· ****數(shù)據(jù)集成：解決數(shù)據(jù)冗余問題，集成從實體方面、數(shù)據(jù)格式方面以及數(shù)據(jù)自身的集成方面進行。實體方面常用方法包括同義詞詞典、基于知識圖譜的實體對齊等；并將數(shù)據(jù)格式按照統(tǒng)一后的屬性進行合并；數(shù)據(jù)自身的集成采用平均法、投票法、權重法來處理。

****· ****數(shù)據(jù)規(guī)約：精簡數(shù)據(jù)，包括樣本規(guī)約、特征規(guī)約、維度規(guī)約。樣本規(guī)約的方法來自統(tǒng)計學，需盡可能保持原始數(shù)據(jù)集特征。特征規(guī)約即找出最小特征集。維度規(guī)約目的是減少分析的隨機變量或屬性個數(shù)，包括小波變換、主成分分析等方法。

****· ****數(shù)據(jù)變換：將數(shù)據(jù)變換為利于分析的表示形式，例如通過聚類將數(shù)據(jù)劃分為不同類別，提供更高層的數(shù)據(jù)屬性。常見方法包括分箱、直方圖分析、聚類、決策樹和相關分析等方法。

**· **數(shù)據(jù)融合：有效融合多源數(shù)據(jù)，利用冗余性和互補性生成網絡態(tài)勢信息。方法包括經典方法和現(xiàn)代方法。經典方法基于模型和概率，包括加權平均法、貝葉斯推理、D-S證據(jù)理論等，現(xiàn)代方法主要包括邏輯推理和機器學習的人工智能方法，如聚類分析法、粗糙集、人工神經網絡、進化算法等。

2.1.2 態(tài)勢理解

對網絡安全態(tài)勢的理解是在網絡安全檢測與分析的基礎上，通過構建網絡安全態(tài)勢指標對網絡安全態(tài)勢進行評估，從而獲取宏觀的網絡安全態(tài)勢。具體過程和方法如下：

1. 網絡安全檢測與分析

建立網絡安全態(tài)勢感知的認知模型，利用認知模型對網絡事件進行深度檢測，對網絡攻擊進行全面實時準確的發(fā)現(xiàn)、評估以及評測。MDATA 模型（多維數(shù)據(jù)關聯(lián)與威脅分析模型）是一種有效的認知模型，解決了數(shù)據(jù)分布廣、網絡安全知識因具有時空特性難以表示的問題，主要包括關聯(lián)表示、關聯(lián)構造、關聯(lián)計算三部分。利用 MDATA 模型生成的各類知識庫十分龐大，可以利用霧云計算架構實現(xiàn)面向網絡安全態(tài)勢感知認知模型的管理和協(xié)同計算。

2. 構建網絡安全態(tài)勢指標

建立網絡安全態(tài)勢感知指標體系，定義網絡安全態(tài)勢感知本體模型，通過顯式的、形式化的、可機讀的語義模型，高效計算理解多源異構的安全數(shù)據(jù)，對已知網絡安全事件進行有效關聯(lián)，并推理導出新的攻擊事件。

3. 網絡安全態(tài)勢評估

數(shù)據(jù)融合是網絡安全態(tài)勢感知的基礎，也是網絡安全態(tài)勢評估的核心。在融合各類安全數(shù)據(jù)的基礎上，借助數(shù)學模型，經過形式化推理計算得到當前網絡安全態(tài)勢的評估值，分為定性和定量評估。量化評估方法包括基于數(shù)學模型的量化評估方法、基于知識推理的量化評估方法以及基于機器學習的量化評估方法?；跀?shù)學模型的量化評估方法綜合考慮引起網絡態(tài)勢變化的要素，基于數(shù)學模型構建評估函數(shù)，實現(xiàn)態(tài)勢要素到網絡安全量化評估值之間的映射，最常用的是權重分析法和集對分析法?；谥R推理的量化評估方法通過整理專家知識建立數(shù)據(jù)庫和概率評估模型，借助概率論、模糊理論等描述和處理安全屬性的不確定性信息，通過推理控制策略分析網絡安全態(tài)勢?；跈C器學習的量化評估方法通過模式識別、關聯(lián)分析、深度學習等建立網絡安全態(tài)勢模板，經過模板匹配及映射，對態(tài)勢性質、程度進行分類分級。

4. 網絡安全態(tài)勢可視化

網絡安全態(tài)勢可視化包括網絡安全數(shù)據(jù)流的可視化、網絡安全態(tài)勢評估的可視化、網絡攻擊行為分析的可視化。可以基于電子地圖展示網絡安全態(tài)勢評估指數(shù)。當前的可視化工具仍面臨著實時展示的挑戰(zhàn)，不能適應復雜攻擊的各種復雜情況，不能對復雜數(shù)據(jù)關聯(lián)分析。

2.1.3 態(tài)勢預測

態(tài)勢預測在獲取、變換及處理歷史和當前態(tài)勢數(shù)據(jù)的基礎上，建立數(shù)學模型探索數(shù)據(jù)之間的發(fā)展變化規(guī)律，并對未來發(fā)展趨勢進行推理。傳統(tǒng)的網絡安全事件時間預測技術包括灰色理論預測、時間序列預測、回歸分析預測、基于小波分解表示的預測?；谥R推理的網絡安全事件預測技術包括基于攻擊圖的預測、基于攻擊者能力與意圖的預測以及基于攻擊行為、模式學習的預測。由于網絡攻擊的隨機性和不確定性，目前有很多學者研究基于人工智能態(tài)勢預測方法，利用神經網絡、深度學習等算法動態(tài)學習和創(chuàng)建攻擊策略與行為模型，實現(xiàn)對網絡安全事件的準確推測。

2.1.4 網絡攻擊溯源

網絡攻擊溯源還原攻擊路徑，確定攻擊者未知或身份，找出攻擊原因。傳統(tǒng)的攻擊溯源技術包括基于日志存儲查詢的溯源技術、基于路由器技術調試的溯源、基于修改網絡傳輸數(shù)據(jù)的溯源技術等。針對痕跡維度、位置維度、策略維度的數(shù)據(jù)來源分散，大多是半結構化甚至是非結構化數(shù)據(jù)，所以研究和優(yōu)化網絡安全知識庫，存儲非結構化和半結構化原始數(shù)據(jù)，即時快速定位原始數(shù)據(jù)尤為重要。

2.2 網絡安全態(tài)勢感知系統(tǒng)框架

本文基于網絡流量、大數(shù)據(jù)基礎設施平臺和應用系統(tǒng)日志，利用安全風險識別與感知、安全事件回溯分析和重點威脅監(jiān)測與預警技術構建一個網絡安全態(tài)勢感知系統(tǒng)，并以此為例，對網絡安全態(tài)勢感知系統(tǒng)的常見架構進行介紹。系統(tǒng)架構（如圖2），分為數(shù)據(jù)接入處理層、數(shù)據(jù)分析層以及態(tài)勢感知應用層。系統(tǒng)接入數(shù)據(jù)主要包括流量探針數(shù)據(jù)、平臺和各類應用報送的日志。

圖2 網絡安全態(tài)勢感知系統(tǒng)架構

數(shù)據(jù)接入處理層定義數(shù)據(jù)標準體系，數(shù)據(jù)標準體系主要包各個平臺各類報送數(shù)據(jù)的結構定義、數(shù)據(jù)邏輯規(guī)則定義、數(shù)據(jù)內容合規(guī)性定義、日志報送交互接口的方式和結構定義以及應用操作日志中操作條件報送的語義規(guī)則和結構定義。對采集的數(shù)據(jù)進行解析、清洗、分類、比對、標記等標準化處理，并進行分類存儲，將威脅數(shù)據(jù)錄入到威脅情報數(shù)據(jù)庫，對應用報送的規(guī)范化日志進行實時解析并錄入日志數(shù)據(jù)庫，提供數(shù)據(jù)檢索、分析挖掘等服務。數(shù)據(jù)接入處理層采用分布式數(shù)據(jù)實時處理框架，提供海量數(shù)據(jù)處理能力支撐。

分析挖掘層對基于探針數(shù)據(jù)對攻擊源、攻擊對象、攻擊設施進行分析，對受攻擊設施風險進行評估、對攻擊特征進行分析統(tǒng)計、對重點攻擊行為進行檢測，基于應用系統(tǒng)的日志對操作用戶行為進行審計分析，對異常用戶、異常行為進行監(jiān)控預警。

業(yè)務應用層基于網絡安全數(shù)據(jù)綜合分析當前攻擊源、攻擊手段、受攻擊設施等風險情況，通過態(tài)勢感知呈現(xiàn)當前平臺的整體安全概況，通過威脅分析、惡意事件回溯等手段對特定安全事件進行專家分析，對特定攻擊源、攻擊手段、被攻擊設施進行安全監(jiān)控和預警。提供綜合態(tài)勢分析感知、威脅分析、安全監(jiān)測、追蹤溯源、日志分類統(tǒng)計、日志審計分析、異常監(jiān)控等服務。

**3. **基于鴻鵠的網絡安全態(tài)勢感知系統(tǒng)

現(xiàn)有的網絡安全態(tài)勢感知系統(tǒng)，數(shù)據(jù)處理技術上一般使用 Flume + Kafka + Spark Streaming 的流式大數(shù)據(jù)處理技術框架支撐流量數(shù)據(jù)的實時處理。然而業(yè)務系統(tǒng)繁多，不同層級的系統(tǒng)平臺管理比較分散，出現(xiàn)問題基本通過單點問題排查，很難從全局視角來進行問題發(fā)現(xiàn)和根因分析。日志散落在各系統(tǒng)設備上，數(shù)據(jù)孤立，不能統(tǒng)一管理掌握全局狀態(tài)，且在故障發(fā)生后，需要對原始日志數(shù)據(jù)重新定義抽取字段分析，花費大量時間。對系統(tǒng)運行狀態(tài)和服務能力缺少監(jiān)控，沒有很好的手段對系統(tǒng)異常進行預判和告警。此外，網絡安全態(tài)勢感知系統(tǒng)有統(tǒng)計報表的需求，但因為分散的數(shù)據(jù)無法提供集中式的管理和洞察，也無法追蹤記錄用戶的操作行為，暫未滿足審計要求。

現(xiàn)在網絡安全態(tài)勢感知系統(tǒng)還存在采集數(shù)據(jù)過載的問題，為全面分析網絡安全態(tài)勢，如果采集所有的網絡數(shù)據(jù)，將導致分析效率低下；分析師也無法查看所有的數(shù)據(jù)來分析網絡空間可能面臨的攻擊。為解決采集數(shù)據(jù)過載的問題，針對不同類型的威脅行為往往會設計相關的規(guī)則和特征，靶向采集各類已知的威脅行為，對于未知攻擊只能通過異常數(shù)據(jù)溯源分析，復現(xiàn)攻擊行為，由于異常數(shù)據(jù)都是經過數(shù)據(jù)預處理，攜帶較少原始信息，而對于溯源來說，數(shù)據(jù)記錄越詳細，越能挖掘更多攻擊信息。為解決上述問題，本文將基于鴻鵠，一種即時大數(shù)據(jù)分析處理平臺，構建網絡安全態(tài)勢感知系統(tǒng)。

3.1 鴻鵠

鴻鵠是一種即時大數(shù)據(jù)分析處理平臺，采用分布式存儲和計算架構，通過采集企業(yè)內部機器數(shù)據(jù)和運營數(shù)據(jù)，利用關聯(lián)分析、行為識別、數(shù)據(jù)建模、機器學習等技術，對數(shù)據(jù)進行集中管控，提供全量數(shù)據(jù)極速檢索和大數(shù)據(jù)數(shù)據(jù)即時分析能力，實現(xiàn)數(shù)據(jù)集中存儲、即時查詢，關聯(lián)分析、安全告警、可視化展現(xiàn)等功能，可應用于安全分析、合規(guī)審計、智能運維、業(yè)務分析、物聯(lián)網等方面，擁有強大的數(shù)據(jù)可視化能力。平臺架構（如圖3）。

圖3 鴻鵠系統(tǒng)架構全景圖

鴻鵠支持結構化、半結構化、混合結構各類時序型、文本類數(shù)據(jù)，能夠高效存儲非結構化和半結構化原始數(shù)據(jù)，通過列式存儲實現(xiàn)了數(shù)據(jù)存儲的高壓縮比，節(jié)省存儲成本；并直接對原始數(shù)據(jù)查詢分析，簡單快速發(fā)掘數(shù)據(jù)價值。在數(shù)據(jù)采集時負責將不同的數(shù)據(jù)源的異構數(shù)據(jù)接入平臺，數(shù)據(jù)索引模塊對數(shù)據(jù)的時間戳自動識別與分析，根據(jù)時間戳對數(shù)據(jù)進行分片，對原始數(shù)據(jù)分詞，構建倒排索引，最熱的數(shù)據(jù)暫存到閃存中，滿足一定條件后，索引和原始數(shù)據(jù)都會被壓縮之后順序寫入磁盤。平臺支持高速數(shù)據(jù)注入，單節(jié)點可以達到 20MB/s 的寫入速度。

在數(shù)據(jù)分析時，從零構建 SQL 解析和查詢的引擎，當 SQL 解析到達平臺時，鎖定數(shù)據(jù)查詢范圍，并加載到內存，利用查詢中用到的讀時建模規(guī)則構建數(shù)據(jù)模型，再通過聚類關系分析，即時編譯和向量計算加速等技術進行數(shù)據(jù)分析，單節(jié)點可以達到每秒鐘處理 100 萬條數(shù)據(jù)的速度。平臺支持 Ad Hoc 查詢、即時查詢、交互式查詢、關聯(lián)分析以及自助式分析，提供了強大的數(shù)據(jù)分析能力。

鴻鵠采用混合建模方式，同時融合了寫時建模的效率和讀時建模的靈活?！皩憰r建?！奔葱枰A先設定數(shù)據(jù)模型的傳統(tǒng) ETL 方式；“讀時建?！蓖ㄟ^數(shù)據(jù) ELT 方式，在搜索數(shù)據(jù)的同時提取有用字段，更加靈活敏捷，節(jié)省數(shù)據(jù)導入的開銷。平臺數(shù)據(jù)分析流（如圖4）。

圖4 鴻鵠數(shù)據(jù)分析流圖

鴻鵠采用的數(shù)據(jù)處理模式，可直接對原始數(shù)據(jù)查詢分析，簡單快速發(fā)掘數(shù)據(jù)價值，是異構多源大數(shù)據(jù)即時分析平臺。平臺采用云原生、微服務架構，擁有強大的應用擴展能力，基于平臺存算分離、單獨擴展以及靈活的架構，平臺可廣泛應用于安全分析、合規(guī)審計、智能運維、業(yè)務分析、物聯(lián)網等方面。

3.2 基于鴻鵠的網絡安全態(tài)勢感知系統(tǒng)

本節(jié)將基于鴻鵠，設計一種集安全數(shù)據(jù)采集、處理、分析和安全風險發(fā)現(xiàn)、監(jiān)測、報警、預判于一體的網絡安全態(tài)勢感知系統(tǒng)。該系統(tǒng)整合安全區(qū)域內用戶終端、網絡鏈路、應用系統(tǒng)、數(shù)據(jù)流量等各類感知數(shù)據(jù)源，基于鴻鵠高效強大的數(shù)據(jù)處理存儲與分析能力，平臺利用機器智能分析技術，結合數(shù)據(jù)處理、安全規(guī)則模型、攻擊推理模型等分析算法，將看似毫無聯(lián)系、混亂無序的安全日志、報警數(shù)據(jù)轉化成直觀的可視化安全事件信息，從海量數(shù)據(jù)中挖掘威脅情報，從而實現(xiàn)風險發(fā)現(xiàn)、安全預警和態(tài)勢感知，提升安全監(jiān)測的攻擊發(fā)現(xiàn)和安全態(tài)勢感知的能力。系統(tǒng)架構（如圖5），實現(xiàn)了多源安全數(shù)據(jù)的匯聚與存儲、面向威脅情報的大數(shù)據(jù)分析、態(tài)勢感知應用。

圖5 基于鴻鵠的網絡安全態(tài)勢感知系統(tǒng)

基于鴻鵠強大的多源異構數(shù)據(jù)處理能力，系統(tǒng)支持多種類型數(shù)據(jù)格式，使網絡安全態(tài)勢感知獲取更多類型的數(shù)據(jù)。鴻鵠的海量存儲和快速處理能力為高速網絡流量的深度安全分析提供了技術支持，為高智能模型算法提供計算資源。在對異常識別的過程中，可以采用更小的匹配粒度和更長的匹配時間對未知行為進行離群度分析。

系統(tǒng)在海量安全信息基礎上，聚焦于綜合利用安全數(shù)據(jù)進行集中分析處理，通過整理分類、精簡過濾、對比統(tǒng)計、重點識別、趨勢歸納、關聯(lián)分析、挖掘預測等數(shù)據(jù)融合處理手段認知安全態(tài)勢，感知威脅和風險，可根據(jù)用戶業(yè)務特點和安全需求進行態(tài)勢感知可視化呈現(xiàn)。依托于鴻鵠架構，從數(shù)據(jù)的接收、解析、存儲到分析展現(xiàn)應用了大量的大數(shù)據(jù)處理分析技術，可應對不同用戶環(huán)境對海量安全信息數(shù)據(jù)的高速處理場景。

基于鴻鵠的態(tài)勢感知系統(tǒng)可直接對原始日志數(shù)據(jù)高效靈活分析，提高故障定位效率，降低故障影響，并在理清鏈路拓撲關系的基礎上，固化節(jié)點指標，實現(xiàn)實時監(jiān)測預警。系統(tǒng)提供了一站式數(shù)據(jù)分析能力，可以從日志挖掘出系統(tǒng)運行狀態(tài)并形成運維日報；保存審計日志并能對用戶行為進行分析的分類，做到系統(tǒng)的安全類行為有跡可循，方便追溯。

3.3 演示示例

基于鴻鵠的態(tài)勢感知系統(tǒng)主要包括態(tài)勢感知、安全監(jiān)測、威脅情報、追蹤溯源、日志總覽、應用平臺日志、異常統(tǒng)計分析等功能模塊。系統(tǒng)采用鴻鵠進行數(shù)據(jù)接入、處理、存儲，支持數(shù)據(jù)處理能力水平橫向擴展。以少量樣本數(shù)據(jù)為例，通過頁面文件導入的方式，將現(xiàn)有態(tài)勢感知系統(tǒng)對接的數(shù)據(jù)源如 WAF、抗 DDOS、防火墻、堡壘機等設備的日志數(shù)據(jù)快速導入到鴻鵠中（如圖6）。

圖6 數(shù)據(jù)導入

鴻鵠提供了多種內置的數(shù)據(jù)格式處理，支持開箱即用，可以根據(jù)選定的數(shù)據(jù)格式，對導入的數(shù)據(jù)的處理效果進行預覽（如圖7）。

圖7 原始數(shù)據(jù)

數(shù)據(jù)導入后，基于鴻鵠特有的讀時建模功能，可按照態(tài)勢感知的分析要求，在查詢時對數(shù)據(jù)進行規(guī)整、富化、過濾和脫敏等操作，從而快速完成數(shù)據(jù)建模和即時分析。如對攻擊者 IP，攻擊類型進行快速統(tǒng)計，數(shù)據(jù)分析界面（如圖8）。最后通過 API 的方式，將讀時建模分析后的樣例數(shù)據(jù)輸出到態(tài)勢感知系統(tǒng)進行態(tài)勢展示。

圖8 數(shù)據(jù)分析

其中，態(tài)勢感知模塊呈現(xiàn)整體網絡安全態(tài)勢，展示內容包括網絡威脅統(tǒng)計情況，攻擊目標統(tǒng)計情況，攻擊源情況以及安全趨勢發(fā)展情況（如圖9）。

圖9 網絡安全態(tài)勢感知整體狀況

風險監(jiān)測模塊以可視化方式呈現(xiàn)網絡信息系統(tǒng)的安全監(jiān)測情況，主要包括概況、事件統(tǒng)計、漏洞監(jiān)測、威脅監(jiān)測、威脅事件分析、趨勢分析等（如圖10）。

圖10 網絡安全監(jiān)測

日志總覽模塊對各個應用平臺日志進行統(tǒng)計分析，包括各平臺日志量、異常情況、審計情況等（如圖11）。

圖11 日志總覽

基于鴻鵠廣泛的應用日志報送接口，應用平臺日志支持查詢檢索各類應用平臺日志，支持對日志詳情進行分析、對日志關聯(lián)行為進行審計（如圖12）。

圖12 應用平臺日志

**4. **結論和未來研究方向

基于鴻鵠的態(tài)勢安全感知系統(tǒng)利用海量數(shù)據(jù)存儲、存算分離、讀時建模、數(shù)據(jù)清洗、數(shù)據(jù)分析挖掘、數(shù)據(jù)可視化分析、人工智能等關鍵領域技術，形成了安全可靠的網絡安全態(tài)勢感知體系，建立了全面分層次的大數(shù)據(jù)中心安全監(jiān)測及感知能力?；邙欩]強大的多源異構整合能力，未來可以構建以實體和關系勾勒數(shù)據(jù)深度價值分析的數(shù)據(jù)藍圖，開展模型牽引的、標準統(tǒng)一的數(shù)據(jù)處理和數(shù)據(jù)治理；在數(shù)據(jù)采集方面，構建全方位獲取、全網絡匯聚、全維度整合的安全大數(shù)據(jù)采集感知體系；在數(shù)據(jù)融合方面，全面構建智能處理、精細治理、分類組織的數(shù)據(jù)資源融合體系，形成總關聯(lián)、總索引、總導航全面匯聚。