虛擬網(wǎng)絡(luò)流量的采集與分析有什么作用？應(yīng)該怎么做？

隨著云和容器等虛擬化技術(shù)的不斷擴(kuò)張，云、數(shù)據(jù)中心和企業(yè)網(wǎng)中的東西向流量呈快速增長趨勢。對東西向虛擬網(wǎng)絡(luò)流量的采集與分析，可以幫助用戶實(shí)現(xiàn)如下價(jià)值：

高效運(yùn)維，保障業(yè)務(wù)連續(xù)

如果不采集虛擬網(wǎng)絡(luò)流量，用戶80%的網(wǎng)絡(luò)流量將呈現(xiàn)“黑盒”狀態(tài)。遇到因網(wǎng)絡(luò)問題導(dǎo)致的業(yè)務(wù)延遲與中斷時(shí)，運(yùn)維人員猶如盲人摸象。通過對虛擬流量的采集與分析，可以點(diǎn)亮黑盒，呈現(xiàn)精細(xì)的虛擬網(wǎng)絡(luò)運(yùn)行狀態(tài)，快速定位故障根因，確保業(yè)務(wù)的連續(xù)與穩(wěn)定。

精細(xì)化運(yùn)營，提高投入產(chǎn)出比

計(jì)算、網(wǎng)絡(luò)、存儲、帶寬等都是支撐業(yè)務(wù)需要投入的資源。但在當(dāng)前業(yè)務(wù)運(yùn)營過程中，仍然存在諸如閑置虛擬機(jī)未回收、網(wǎng)絡(luò)鏈路負(fù)載不平均，不同ISP帶寬粗放分配的問題。通過對虛擬流量的采集與分析，可以及時(shí)偵測資源使用情況，合理調(diào)度資源，提高資源利用率，進(jìn)而提高投入產(chǎn)出比。

安全防護(hù)，保證內(nèi)網(wǎng)安全

網(wǎng)絡(luò)規(guī)模擴(kuò)大和靈活性的提高，內(nèi)網(wǎng)安全策略呈現(xiàn)只增不減、變動頻繁的狀態(tài)。但當(dāng)前配置的內(nèi)網(wǎng)安全策略是否全部生效，以及隨著虛擬網(wǎng)絡(luò)變動，需要刪除的策略是否已經(jīng)清理干凈，都是難以回答的問題。同時(shí)內(nèi)網(wǎng)虛擬機(jī)被攻陷之后，運(yùn)維人員是否能及時(shí)識別“肉雞”進(jìn)而保證內(nèi)網(wǎng)安全，都是需要通過對虛擬流量的采集與分析解決的問題。

虛擬網(wǎng)絡(luò)流量采集的關(guān)鍵指標(biāo)

采集性能

作為占據(jù)云數(shù)據(jù)中心總量80%的虛擬流量，實(shí)現(xiàn)全量采集需要高性能的采集技術(shù)作為支撐。在采集的同時(shí)，針對不同業(yè)務(wù)，還需要完成去重、截?cái)?、脫敏等其他預(yù)處理工作，進(jìn)一步增加了對性能的要求。因此采集性能將是衡量虛擬網(wǎng)絡(luò)流量采集技術(shù)的一個(gè)關(guān)鍵指標(biāo)。

資源開銷

多數(shù)虛擬流量采集技術(shù)都需要占用本可應(yīng)用于業(yè)務(wù)的計(jì)算、存儲和網(wǎng)絡(luò)資源。除了盡可能少地消耗這些資源之外，仍需要考慮對采集技術(shù)實(shí)施管理的開銷。尤其當(dāng)節(jié)點(diǎn)規(guī)模擴(kuò)大之后，如果管理成本也同樣呈現(xiàn)線性的上升趨勢，那么該采集技術(shù)將不具有理想的擴(kuò)展能力。

侵?jǐn)_程度

當(dāng)前常見的采集技術(shù)，往往需要在hypervisor或相關(guān)組件上添加額外的采集策略配置。這些策略除了存在與業(yè)務(wù)策略的沖突隱患之外，往往還會進(jìn)一步增加hypervisor或其他業(yè)務(wù)組件的負(fù)擔(dān)，影響服務(wù)SLA。

部署依賴

當(dāng)需要在hypervisor上部署agent實(shí)現(xiàn)流量采集時(shí)，往往需要考慮針對不同hypervisor環(huán)境的依賴條件，以及各類第三方庫的安裝、升級。在此過程中往往存在沖突或不兼容的情況，影響現(xiàn)有生產(chǎn)系統(tǒng)，增加采集部署難度。

現(xiàn)有虛擬網(wǎng)絡(luò)采集技術(shù)比較

策略采集

由控制節(jié)點(diǎn)接收用戶指令后，對虛擬網(wǎng)元（一般是虛擬交換機(jī)）下發(fā)采集策略，將流量通過隧道或其他形式轉(zhuǎn)發(fā)至分析節(jié)點(diǎn)，完成虛擬流量采集。一般多見于SDN網(wǎng)絡(luò)環(huán)境。

Pros

?由控制節(jié)點(diǎn)中心化控制，策略下發(fā)靈活

?可依據(jù)業(yè)務(wù)需求實(shí)現(xiàn)細(xì)粒度按需采集

?對hypervisor系統(tǒng)沒有依賴

Cons

?采集策略有可能存在與業(yè)務(wù)策略的沖突

?全量采集需要下發(fā)的策略數(shù)目大，管理難度高

?增加虛擬網(wǎng)元壓力，采集流量無壓縮，帶寬占用高

網(wǎng)元采集

由虛擬網(wǎng)元（一般是虛擬交換機(jī)）直接提供虛擬流量鏡像能力。用戶可通過調(diào)用對應(yīng)的API實(shí)現(xiàn)虛擬流量的采集能力。一般多見于成熟的商用整體網(wǎng)絡(luò)解決方案。與策略采集不同，網(wǎng)元采集的粒度及靈活度多受限于網(wǎng)元接口API開放出來的能力。

Pros

?直接調(diào)用虛擬網(wǎng)元相關(guān)接口API，實(shí)現(xiàn)簡單

?無策略沖突隱患

?部署簡易

Cons

?受限于接口API的粒度，無法自行實(shí)現(xiàn)細(xì)粒度控制

?影響虛擬網(wǎng)元性能

代理采集

在hypervisor上運(yùn)行agent代理，同時(shí)啟動專用的流量分析虛擬機(jī)。Agent接收控制節(jié)點(diǎn)的指令，完成網(wǎng)絡(luò)配置，將流量導(dǎo)入流量分析虛擬機(jī)，完成流量采集。與策略采集方案的不同之處在于，虛擬網(wǎng)元的配置不直接由控制器完成，并且采集的流量毋須通過隧道等方式發(fā)送，而是直接進(jìn)入本地虛擬機(jī)，減少網(wǎng)絡(luò)帶寬的占用。

Pros

?控制節(jié)點(diǎn)毋須管理大量的采集策略，減輕控制節(jié)點(diǎn)壓力

?流量由本地轉(zhuǎn)發(fā)至分析節(jié)點(diǎn)（虛擬機(jī)），不占用生產(chǎn)網(wǎng)絡(luò)帶寬

?可實(shí)現(xiàn)細(xì)粒度流量采集

?可在本地完成去重、截?cái)?、脫敏等工作，確保數(shù)據(jù)安全

Cons

?采集策略可能存在與業(yè)務(wù)策略的沖突

?虛擬機(jī)會占用一部分計(jì)算、存儲和管理資源

?Agent部署存在對hypervisor環(huán)境的依賴

如何實(shí)現(xiàn)下一代采集技術(shù)？

當(dāng)前的采集技術(shù)分別具有各自的優(yōu)勢與劣勢。針對當(dāng)前普遍存在的虛擬網(wǎng)絡(luò)采集的需求與痛點(diǎn)，云杉網(wǎng)絡(luò)推出專利性的Trident采集技術(shù)，解決現(xiàn)有技術(shù)存在的問題，滿足用戶對虛擬網(wǎng)絡(luò)采集的苛刻要求。Trident作為獨(dú)立運(yùn)行于hypervisor上的采集進(jìn)程，具有如下特點(diǎn)：

無依賴

Trident由GO語言編寫，利用GO語言的天然優(yōu)勢，直接生成二進(jìn)制可執(zhí)行程序文件，文件僅14MB大小，對部署系統(tǒng)沒有任何第三方庫或組件依賴，可以在任意內(nèi)核版本大于2.2（1999年發(fā)布）的Linux系統(tǒng)上部署運(yùn)行。

高性能

Trident利用了基于內(nèi)存映射的“零拷貝”技術(shù)，避免了傳統(tǒng)流量采集方案中對數(shù)據(jù)包的多次拷貝，消除了網(wǎng)絡(luò)數(shù)據(jù)采集的性能瓶頸，從而達(dá)到以最小的資源占用，滿足巨量增長的網(wǎng)絡(luò)東西向流量采集的目的。可對位于同一臺宿主機(jī)的所有虛擬機(jī)東西向流量進(jìn)行全量、實(shí)時(shí)采集。當(dāng)前在350Kpps的采集性能下，僅使用15%CPU。

零干擾

Trident可以理解為一臺“影子交換機(jī)”，毋須對現(xiàn)有虛擬網(wǎng)元進(jìn)行任何額外的配置，即可直接采集流經(jīng)hypervisor的全部流量，對現(xiàn)有網(wǎng)絡(luò)策略無任何干擾。

細(xì)粒度

Trident通過gRPC接收控制器發(fā)送的指令，可實(shí)時(shí)配置ACL過濾規(guī)則、截?cái)嚅L度、脫敏配置、采集端口等工作參數(shù)，或針對指定虛擬接口、IP地址、協(xié)議、端口號設(shè)定精細(xì)采集策略，并可在控制節(jié)點(diǎn)編程自動化實(shí)現(xiàn)?？舍槍μ摂M化環(huán)境虛擬機(jī)變動頻率高，網(wǎng)絡(luò)環(huán)境復(fù)雜多變的情況。