網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)解決方案

摘要：

摘要: 在傳統(tǒng)網(wǎng)絡(luò)防御手段抵御攻擊的基礎(chǔ)上，提出了一種利用機(jī)器學(xué)習(xí)的方法來(lái)達(dá)到網(wǎng)絡(luò)安全態(tài)勢(shì)感知的新方案。為了有效地獲得告警事件，本文引入了告警關(guān)聯(lián)分析的技術(shù)，通過(guò)分析多源告警信息的關(guān)聯(lián)度從而降低誤報(bào)率;為了準(zhǔn)確地重建攻擊場(chǎng)景，本文引入CEP技術(shù)處理海量告警信息，并利用基于馬爾可夫性質(zhì)的因果關(guān)聯(lián)分析構(gòu)建起知識(shí)庫(kù)。分析表明，該方案具有可靠性強(qiáng)、適用性好、計(jì)算量小、準(zhǔn)確度高的特點(diǎn)，特別適合于大數(shù)據(jù)環(huán)境。

1. 引言

隨著信息技術(shù)的飛躍式發(fā)展和互聯(lián)網(wǎng)的快速普及，用戶(hù)在體驗(yàn)到新技術(shù)帶來(lái)的便捷、高效的同時(shí)也深受網(wǎng)絡(luò)攻擊引發(fā)的破壞。目前，我們熟知的網(wǎng)絡(luò)威脅有：網(wǎng)絡(luò)病毒、木馬、DOS/DDOS攻擊等等。這些攻擊帶來(lái)的告警信息是海量的，冗余的，然而傳統(tǒng)的網(wǎng)絡(luò)安全技術(shù)還不能完全地、及時(shí)地處理這些告警數(shù)據(jù)。

現(xiàn)今主流的網(wǎng)絡(luò)防御手段還是在保護(hù)、檢測(cè)、響應(yīng)的模型下開(kāi)展的。雖然一個(gè)網(wǎng)絡(luò)環(huán)境中部署多個(gè)安全防御設(shè)備起到了一定的作用，但是卻在工作的同時(shí)產(chǎn)生了大量的，價(jià)值密度低的告警和日志信息。通常情況下一個(gè)攻擊往往是分多步實(shí)施的，但告警信息卻只指針對(duì)于其中某一步，是單一的，分散的，以至于還原攻擊場(chǎng)景或是攻擊過(guò)程是困難的。因此這些大量的、繁雜的安全事件數(shù)據(jù)不僅沒(méi)有有效地對(duì)攻擊進(jìn)行防御，還在無(wú)形中給決策者帶來(lái)了更大的工作量。網(wǎng)絡(luò)安全態(tài)勢(shì)感知就是將網(wǎng)絡(luò)攻擊場(chǎng)景通過(guò)重建的方式，有效地，準(zhǔn)確地還原攻擊活動(dòng)的全貌，達(dá)到對(duì)整個(gè)網(wǎng)絡(luò)安全態(tài)勢(shì)進(jìn)行監(jiān)控的目的，這在網(wǎng)絡(luò)安全防御中顯得至關(guān)重要，這也是網(wǎng)絡(luò)安全態(tài)勢(shì)感知領(lǐng)域中面臨的一個(gè)難題之一。

針對(duì)網(wǎng)絡(luò)攻擊高效的告警預(yù)測(cè)提出一種基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知的關(guān)聯(lián)分析方法 [1]，利用該方法獲取價(jià)值密度高的告警事件，通過(guò)聚類(lèi)、關(guān)聯(lián)分析構(gòu)建出規(guī)則知識(shí)庫(kù)，并對(duì)攻擊場(chǎng)景進(jìn)行重建，從而達(dá)到告警預(yù)測(cè)的目的。

2. 基于地址相關(guān)性的告警事件聚類(lèi)

利用因果關(guān)聯(lián)分析的方法進(jìn)行關(guān)聯(lián)分析，首先是要把具有相關(guān)性的告警事件聚成一類(lèi)，然后對(duì)同一類(lèi)簇中的告警事件進(jìn)行因果關(guān)聯(lián)分析 [2]。具體而言聚類(lèi)就是把抽象的對(duì)象集合根據(jù)類(lèi)似的特征分成多個(gè)類(lèi)的過(guò)程。首先把原始告警數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)來(lái)自不同安全設(shè)備的告警事件進(jìn)行統(tǒng)一格式，提取出不同事件關(guān)鍵的描述字段，包括以下12條屬性，用這12條屬性就可以清楚的描述一個(gè)安全事件。如表1所示。

根據(jù)告警事件處理的原則，依照事件嚴(yán)重等級(jí)、攻擊行為強(qiáng)度、攻擊持續(xù)時(shí)間等依據(jù)從12條屬性中挑選出具有代表性的7個(gè)屬性作為告警事件聚類(lèi)時(shí)的匹配格式：

其中attacktime是安全事件發(fā)生的時(shí)間;attacktype是安全事件所屬的類(lèi)型;sourceIP是發(fā)起攻擊或安全事件中的源IP地址;sourcePort是發(fā)起安全事件發(fā)生的源端口;targetIP是發(fā)起攻擊或安全事件中的目的IP地址;targetPort是發(fā)起安全事件發(fā)生的目標(biāo)端口;severity是安全事件所屬的威脅等級(jí)。

Table 1. Key fields of a security event

表1. 安全事件的關(guān)鍵字段

由于例如一個(gè)DDOS攻擊，它們攻擊的每一步之間的IP地址一定存在相關(guān)性，所以就可以利用IP相關(guān)性進(jìn)行聚類(lèi)。同樣地，其他的攻擊也一定存在著這種相關(guān)性。那么就可以根據(jù)多步攻擊之間的IP地址肯定具有相關(guān)性，即上一步的攻擊 a1a1 中目的IP很有可能是下一個(gè)攻擊 a2a2 的源IP，或者說(shuō)上一個(gè)攻擊 a1a1 的源IP地址或目的IP地址之中總有一個(gè)和攻擊 a2a2 的目的地址或源地址相同。快速把告警事件聚類(lèi)在一起。如圖1是聚類(lèi)的流程圖。

Figure 1. Flow chart based on alarm clustering algorithm

圖1. 基于告警聚類(lèi)算法的流程圖

3. 攻擊場(chǎng)景重建

將分散的告警事件依據(jù)地址相關(guān)性進(jìn)行聚類(lèi)后，得到了一個(gè)個(gè)的告警類(lèi)簇。下面就是要根據(jù)這些類(lèi)簇展開(kāi)關(guān)聯(lián)分析。具體地：通過(guò)統(tǒng)計(jì)大量告警事件，分析上一個(gè)告警事件發(fā)生后到下一個(gè)告警事件發(fā)生它們之間的必然聯(lián)系，即上一個(gè)事件發(fā)生后下一個(gè)事件一定發(fā)生的可能性大小，然后根據(jù)實(shí)際需求人為的設(shè)置好的支持度a，當(dāng)支持度達(dá)到值a的時(shí)候，就認(rèn)為它們兩個(gè)攻擊之間的發(fā)生存在必然性，就可以將它們之間的關(guān)聯(lián)度納入規(guī)則知識(shí)庫(kù)中，這樣就在關(guān)聯(lián)分析的同時(shí)建立了關(guān)聯(lián)規(guī)則知識(shí)庫(kù)，有利于在發(fā)現(xiàn)新的告警的時(shí)候?qū)崟r(shí)地增加進(jìn)去 [3]。

如圖2所示，是對(duì)假設(shè)可能的攻擊行為構(gòu)建的一步轉(zhuǎn)移概率矩陣模型，將告警事件寫(xiě)成行列的形式，表示各個(gè)告警事件發(fā)生之間的關(guān)聯(lián)度。例如0.4表示當(dāng)告警事件a發(fā)生后b發(fā)生的概率為0.4。在一步轉(zhuǎn)移概率矩陣 D={dij}D={dij} 中每一個(gè)元素 dijdij 表示當(dāng)前時(shí)刻i到下一時(shí)刻j的條件概率為 p(i|j)p(i|j)。因?yàn)轳R爾可夫鏈的性質(zhì)要求各個(gè)狀態(tài)的轉(zhuǎn)移概率之和必須為1，這樣就得到了一個(gè)個(gè)獨(dú)立的因果知識(shí)矩陣。假如當(dāng)遍歷一個(gè)告警序列時(shí)，出現(xiàn)了新的告警事件類(lèi)型，這時(shí)只要在矩陣中再加入新的一行 (ai+1)(ai+1) 一列 (aj+1)(aj+1)，這樣既能確保矩陣完全包含新的攻擊類(lèi)型，又能快速加入新出現(xiàn)的告警類(lèi)型，做到實(shí)時(shí)檢測(cè)，動(dòng)態(tài)添加，不重不漏。

Figure 2. A one-step transition probability matrix between attack types

圖2. 攻擊類(lèi)型間的一步轉(zhuǎn)移概率矩陣

圖2也可以用馬爾可夫鏈模型來(lái)表示，其中的每一個(gè)狀態(tài)都代表一個(gè)攻擊類(lèi)型，各個(gè)狀態(tài)之間的轉(zhuǎn)移概率表示一個(gè)攻擊轉(zhuǎn)移到下一個(gè)攻擊的條件概率。因?yàn)轳R爾可夫鏈具有無(wú)后效性，也就是說(shuō)，每一個(gè)攻擊的發(fā)生只與它的上一個(gè)攻擊有關(guān)，與其它均無(wú)關(guān)。如圖3所示，即

Figure 3. Markov chain model

圖3. 馬爾可夫鏈模型

4. 系統(tǒng)測(cè)試

4.1. 整體方案設(shè)計(jì)

為了實(shí)現(xiàn)網(wǎng)絡(luò)安全態(tài)勢(shì)的動(dòng)態(tài)感知和實(shí)時(shí)的告警預(yù)測(cè)，需要對(duì)告警事件進(jìn)行深入挖掘，研究告警事件之間存在的某些必然聯(lián)系，進(jìn)而利用它們的關(guān)聯(lián)關(guān)系，分析并掌握整個(gè)網(wǎng)絡(luò)的發(fā)展趨勢(shì)，從而達(dá)到態(tài)勢(shì)感知的目的 [4]。為此設(shè)計(jì)了如圖4的方案整體框架：

Figure 4. Overall scheme framework

圖4. 方案整體框架

利用三個(gè)模塊構(gòu)建對(duì)告警數(shù)據(jù)進(jìn)行采集、預(yù)處理、關(guān)聯(lián)分析最終到攻擊場(chǎng)景重建。

數(shù)據(jù)采集模塊：利用搭建的數(shù)據(jù)處理平臺(tái)中的各個(gè)代理從不同環(huán)境采集系統(tǒng)日志信息、應(yīng)用日志信息、安全日志信息和網(wǎng)絡(luò)日志信息等格式未統(tǒng)一的數(shù)據(jù)，然后經(jīng)過(guò)數(shù)據(jù)庫(kù)統(tǒng)一整合后將這些信息遞交給數(shù)據(jù)處理模塊。

數(shù)據(jù)處理模塊：由于從數(shù)據(jù)采集模塊獲得的安全事件格式是不一致的，而且它們往往存在重復(fù)冗余、誤報(bào)率高、分散獨(dú)立、價(jià)值密度低等問(wèn)題。利用數(shù)據(jù)處理模塊中已有的告警數(shù)據(jù)庫(kù)比對(duì)，首先對(duì)這些數(shù)據(jù)進(jìn)行預(yù)處理，合并在同一時(shí)刻重復(fù)的信息，去除誤報(bào)信息，將針對(duì)同一屬性的信息進(jìn)行聚類(lèi)融合，并統(tǒng)一格式，這個(gè)過(guò)程同時(shí)是迭代更新的，不斷比對(duì)告警數(shù)據(jù)，不斷增加新的告警信息 [5]。針對(duì)每一個(gè)告警類(lèi)簇進(jìn)行關(guān)聯(lián)分析，統(tǒng)計(jì)出每條攻擊之間的關(guān)聯(lián)度，并構(gòu)建起規(guī)則知識(shí)庫(kù)。

攻擊場(chǎng)景重建模塊：再根據(jù)得到的具有關(guān)聯(lián)規(guī)則的安全事件，還原出攻擊場(chǎng)景，并提交到控制中心，當(dāng)接下來(lái)再得到安全事件時(shí)，可直接與規(guī)則知識(shí)庫(kù)進(jìn)行匹配，來(lái)判斷攻擊類(lèi)型。供決策者進(jìn)行下一步處理。

4.2. 方案實(shí)現(xiàn)

測(cè)試采用的是DARPA2000的攻擊場(chǎng)景測(cè)評(píng)數(shù)據(jù)集LLDOS1.0來(lái)進(jìn)行因果關(guān)聯(lián)分析的。DARPA2000是當(dāng)下最具權(quán)威性的入侵檢測(cè)攻擊場(chǎng)景測(cè)評(píng)數(shù)據(jù)集，并被廣泛用于驗(yàn)證針對(duì)各類(lèi)告警事件的關(guān)聯(lián)規(guī)則的有效性中。

DARPA2000是一個(gè)DDOS攻擊的測(cè)評(píng)數(shù)據(jù)集，具體的攻擊過(guò)程可以分為五個(gè)階段，如圖5所示：預(yù)探測(cè)網(wǎng)絡(luò)環(huán)境，也就是初步探測(cè)是否具備攻擊條件，漏洞掃描，通過(guò)掃描獲得多個(gè)可以實(shí)施攻擊的漏洞，root權(quán)限獲取，安裝木馬軟件以及實(shí)施遠(yuǎn)程DDOS攻擊。

Figure 5. DDOS Attack process based on sadmind vulnerability

圖5. 根據(jù)Sadmind漏洞進(jìn)行的DDOS攻擊流程

首先針對(duì)這五個(gè)階段的告警事件進(jìn)行基于地址相關(guān)性的聚類(lèi)，從而得到了6個(gè)類(lèi)簇： A1~A6A1~A6 然后再利用基于馬爾可夫性質(zhì)的因果關(guān)聯(lián)知識(shí)挖掘算法對(duì)得到的6個(gè)告警類(lèi)簇進(jìn)行因果知識(shí)挖掘。得到同一類(lèi)簇中各告警之間的關(guān)聯(lián)度，如表2所示 [6]。

Table 2. The attack step is related to the corresponding alarm

表2. 攻擊步驟對(duì)對(duì)應(yīng)的告警關(guān)聯(lián)度

然后對(duì)各個(gè)攻擊類(lèi)型進(jìn)行編號(hào)，如表3所示：

Table 3. Attack types and their corresponding Numbers

表3. 攻擊類(lèi)型及其對(duì)應(yīng)編號(hào)

根據(jù)因果知識(shí)關(guān)聯(lián)分析算法所得到的攻擊類(lèi)型之間的轉(zhuǎn)移概率，再結(jié)合表2對(duì)各攻擊類(lèi)型的編號(hào)可以得出12種攻擊類(lèi)型的12 * 12轉(zhuǎn)移概率矩陣 [7]。矩陣中各行和各列所對(duì)應(yīng)的數(shù)值表示發(fā)生該行告警事件后發(fā)生該列告警事件的概率。例如a12 = 0.633表示當(dāng)發(fā)生告警事件1 (ICMP PING)后發(fā)生告警事件2 (FTP Bad Login)和轉(zhuǎn)移概率為0.633。如圖6所示：

Figure 6. Based on DARPA2000 alarm type shift probability matrix

圖6. 基于DARPA2000告警攻擊類(lèi)型轉(zhuǎn)移概率矩陣

圖7是對(duì)概率矩陣圖形化的表示，也是一個(gè)完整的攻擊場(chǎng)景重建。

Figure 7. Causal knowledge of markov chain models for DDOS attack scenarios

圖7. DDOS攻擊場(chǎng)景的馬爾可夫鏈模型因果知識(shí)

根據(jù)攻擊場(chǎng)景的重現(xiàn)，可以直觀地展示出DDOS攻擊的全過(guò)程，它主要分為了五個(gè)階段：預(yù)探測(cè)網(wǎng)絡(luò)環(huán)境(RPC Sadmind UDP PING)、漏洞的掃描(RPC sadmind UDP NETMGT_PROC_SERVICE CLIENT_DOMAIN overflow attempt)、利用solaris的漏洞sadmind進(jìn)入系統(tǒng)(RSERVICES rsh root)、安裝木馬軟件mstream DDOS (DDOS mstream Handler to client或DDOS mstream client to Handler)以及發(fā)起遠(yuǎn)程DDOS攻擊(BAD-TRAFFIC Loopback traffic)。并且清楚地看到每一步攻擊之間的轉(zhuǎn)移概率為：a46 = 0.257、a68 = 0.260、a89 = 0.500或a810 = 0.250以及a11,12 = 0.143。也可以發(fā)現(xiàn)，攻擊者在采取關(guān)鍵攻擊的同時(shí)，也會(huì)嘗試采取一些其他的攻擊活動(dòng)。

5. 結(jié)束語(yǔ)

本課題主要研究了基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)安全態(tài)勢(shì)感知技術(shù)，以機(jī)器學(xué)習(xí)方法作為主要手段，將關(guān)聯(lián)分析法和事件因果關(guān)系相結(jié)合，在構(gòu)建貝葉斯網(wǎng)絡(luò)的基礎(chǔ)下，對(duì)數(shù)據(jù)進(jìn)行去除、分類(lèi)和識(shí)別等處理，然后利用馬爾可夫鏈模型，產(chǎn)生概率矩陣并構(gòu)建出動(dòng)態(tài)規(guī)則知識(shí)庫(kù)。從而達(dá)到告警預(yù)測(cè)和攻擊場(chǎng)景重建的目的，并向決策者提供處理意見(jiàn)。對(duì)傳統(tǒng)的網(wǎng)絡(luò)安全監(jiān)控進(jìn)行了改進(jìn)，更適用于大數(shù)據(jù)、復(fù)雜網(wǎng)絡(luò)的環(huán)境下。

通過(guò)試驗(yàn)發(fā)現(xiàn)各個(gè)看似獨(dú)立分散的告警數(shù)據(jù)之間的確存在著必然的聯(lián)系，例如源IP或目的IP地址相同的告警事件就很有可能是一個(gè)攻擊行為中多個(gè)步驟。利用機(jī)器學(xué)習(xí)中因果關(guān)聯(lián)分析的方法在對(duì)數(shù)據(jù)從采集、挖掘、處理到分析的全過(guò)程中，可以有效地快速地挖掘告警數(shù)據(jù)之間的關(guān)聯(lián)度，并建立起規(guī)則知識(shí)庫(kù)，從而達(dá)到針對(duì)現(xiàn)有的告警事件推測(cè)出下一步具有大概率發(fā)生的攻擊的可能性，也能夠?qū)σ寻l(fā)生的攻擊進(jìn)行場(chǎng)景還原，得到可視化的轉(zhuǎn)移圖，更加直觀地為決策者提供支持。測(cè)試結(jié)果表明：

1) 一個(gè)攻擊行為的確是分為多步實(shí)施的;

2) 具有地址相關(guān)性的告警事件的確存在必然聯(lián)系;

3) 針對(duì)告警事件關(guān)聯(lián)度預(yù)測(cè)可能發(fā)生的攻擊是有效，可靠的;

4) 基于馬爾可夫性質(zhì)的告警關(guān)聯(lián)規(guī)則能夠更好地滿(mǎn)足攻擊種類(lèi)不斷更新的現(xiàn)狀;

5) 因果知識(shí)庫(kù)的動(dòng)態(tài)建立提高了效率，更加適應(yīng)于大數(shù)據(jù)環(huán)境下;

6) 對(duì)攻擊類(lèi)型一步轉(zhuǎn)移矩陣的圖形化表示，更加直觀，清晰，有利于對(duì)網(wǎng)絡(luò)態(tài)勢(shì)的整體掌握

審核編輯：湯梓紅