如何實(shí)現(xiàn)虛擬網(wǎng)絡(luò)流量的可視化

近年來，云計(jì)算在運(yùn)營商、金融、互聯(lián)網(wǎng)等多個行業(yè)得到了廣泛應(yīng)用，大數(shù)據(jù)、微服務(wù)等各種面向云計(jì)算的應(yīng)用和架構(gòu)也應(yīng)運(yùn)而生，SDN也因云而生?！癝DN的應(yīng)用已經(jīng)步入商用化軌道，DC和DC之間的SDN應(yīng)用已經(jīng)規(guī)模商用。”在前不久召開的“SDN/NFV/AI大會”上，中國電信科技委主任韋樂平指出。

這些變化對支撐企業(yè)IT的網(wǎng)絡(luò)工程師們產(chǎn)生了強(qiáng)大的沖擊，面對看不見的云網(wǎng)絡(luò)，如何實(shí)現(xiàn)虛擬網(wǎng)絡(luò)流量的可視化成為業(yè)界亟待解決的問題。近日，云杉網(wǎng)絡(luò)研發(fā)總監(jiān)向陽接受通信世界全媒體記者的采訪，分享了云杉網(wǎng)絡(luò)如何通過SDN全景圖點(diǎn)亮云網(wǎng)絡(luò)黑盒的實(shí)踐經(jīng)驗(yàn)。

東西向流量是未來主角

根據(jù)思科全球云指數(shù)給出的報(bào)告，到2020年，數(shù)據(jù)中心內(nèi)部東西向網(wǎng)絡(luò)流量占到了77%，再加上數(shù)據(jù)中心之間的（例如災(zāi)備場景下，同城的光纖）流量，數(shù)據(jù)中心東西向流量占比高達(dá)86%之多。根據(jù)思科預(yù)測，2020年云化數(shù)據(jù)中心的流量是占全球數(shù)據(jù)中心總流量的92%。

向陽指出，通常一個數(shù)據(jù)中心云網(wǎng)絡(luò)規(guī)模的流量是TB級別，在不干擾生產(chǎn)環(huán)境的前提下完成流量的全網(wǎng)采集、全景分析和按需分發(fā)成為保障云端業(yè)務(wù)的關(guān)鍵。然而，對數(shù)據(jù)中心流量的采集，傳統(tǒng)的分光/鏡像/采樣（sFlow、NetFlow等）的方法，其缺點(diǎn)是只能覆蓋到物理網(wǎng)絡(luò)，其對接的后端NPM/安全分析能力也只是GB級別。

采集虛擬網(wǎng)絡(luò)流量，必須安全、可靠，即需要滿足三大要點(diǎn)：一是繪制與當(dāng)前運(yùn)行情況相符的虛擬化網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)圖，并能對虛擬化網(wǎng)絡(luò)資源、網(wǎng)絡(luò)拓?fù)溥M(jìn)行實(shí)時更新和集中監(jiān)控；二是保證云計(jì)算平臺管理流量與云租戶業(yè)務(wù)流量分離；三是能識別、監(jiān)控虛擬機(jī)之間、虛擬機(jī)與物理機(jī)之間的流量。

向陽講到，對于一個整體的Fabric網(wǎng)絡(luò)，其流量是能輕松達(dá)到TB級別的，當(dāng)我們將這些流量全部采集下來之后，如何將流量和消費(fèi)端對接起來（因?yàn)楹蠖说姆治瞿芰κ菬o法消化TB級流量的）也是一個嚴(yán)肅的問題。這兩個因素疊加起來，跟傳統(tǒng)網(wǎng)絡(luò)一層層漂亮的規(guī)劃圖相比起來，云數(shù)據(jù)中心的多租戶的各種業(yè)務(wù)跑在一張網(wǎng)里，這里有不同的VPC、IP重疊，我們很難再用一幅清晰的圖來表示這個網(wǎng)絡(luò)，此時的數(shù)據(jù)中心網(wǎng)絡(luò)無疑是一團(tuán)亂麻。當(dāng)出現(xiàn)業(yè)務(wù)故障時，團(tuán)隊(duì)的權(quán)責(zé)也因此開始模糊起來。

以前出問題就抓包，現(xiàn)在去哪兒抓都不知道；以前防火墻跟著業(yè)務(wù)開，現(xiàn)在該開哪個墻都不知道；以前新上線就新機(jī)柜，現(xiàn)在該去哪個池都不知道...面對云網(wǎng)絡(luò)“黑盒”，如何破解？對此，云杉網(wǎng)絡(luò)提出SDN全景圖理念。向陽表示，SDN全景圖，為云時代的網(wǎng)工們打開云網(wǎng)絡(luò)的黑盒，實(shí)現(xiàn)快速定位端到端故障，安全策略實(shí)時驗(yàn)證，業(yè)務(wù)上線全局優(yōu)化...實(shí)現(xiàn)虛擬網(wǎng)絡(luò)流量的多維度可視化，達(dá)成點(diǎn)亮云網(wǎng)黑盒的目的。

不同的環(huán)境不同的應(yīng)對方案

向陽指出，常規(guī)的解決方法，是把流量和網(wǎng)絡(luò)配置全部拿下來。但在虛擬化環(huán)境中，分光鏡像的手段在云里是無法工作，VMware的VDS有鏡像能力，但商用的OpenStack環(huán)境里OvS通常沒有這個能力，而鏡像的方案對資源的消耗也是倍增的。

“云杉網(wǎng)絡(luò)的策略是從先進(jìn)的數(shù)據(jù)采集技術(shù)入手，在此基礎(chǔ)上建立刻畫云網(wǎng)絡(luò)的全景視圖和運(yùn)維、運(yùn)營、安全管理機(jī)制?！毕蜿柋硎?，對于采集到的數(shù)據(jù)，通過標(biāo)記后，可以從不同的維度繪制一個從地域到VPC再到服務(wù)器、子網(wǎng)、虛擬機(jī)、虛擬機(jī)接口、IP等從宏觀到微觀的云網(wǎng)絡(luò)全景視圖。

我們的目標(biāo)是網(wǎng)絡(luò)本地的轉(zhuǎn)發(fā)和計(jì)算的本地處理。向陽講到，那么我們應(yīng)該怎么實(shí)現(xiàn)對虛擬網(wǎng)絡(luò)盲點(diǎn)數(shù)據(jù)的全量采集呢？將物理網(wǎng)絡(luò)的關(guān)鍵節(jié)點(diǎn)（主要是接入部分）覆蓋，例如數(shù)據(jù)中心出口、防火墻的前后，以及接入交換機(jī)等。但是虛擬網(wǎng)絡(luò)要相對復(fù)雜一些，常見的虛擬交換機(jī)一般沒有流量鏡像能力、有鏡像能力的資源開銷太大、用戶也難以接受。對于不同的環(huán)境我們有不同的應(yīng)對方案，對于KVM這類開放方案，可以進(jìn)行本地的預(yù)處理——在宿主機(jī)上將流量轉(zhuǎn)換成（各個維度的）遙測數(shù)據(jù)。

在混合云的場景中，大家比較關(guān)注的是資源消耗，其主要的消耗是把包抽取出來和壓縮后再發(fā)送，云杉網(wǎng)絡(luò)的優(yōu)化方案是利用DPDK或者Linux內(nèi)核實(shí)現(xiàn)零拷貝。當(dāng)然這里也有局限，在追求性能極致的同時還要兼顧對客戶系統(tǒng)環(huán)境的無擾，我們需要做到僅靠已有的環(huán)境來獲取自己想要的流量，這在性能優(yōu)化方面給我們帶來了許多的技術(shù)挑戰(zhàn)。

DeepFlow?點(diǎn)亮云網(wǎng)絡(luò)的黑盒

云杉網(wǎng)絡(luò)推出的DeepFlow?虛擬網(wǎng)絡(luò)流量采集、分發(fā)與分析平臺為多種云平臺提供一體化的虛擬網(wǎng)絡(luò)流量解決方案，其專利的虛擬流量采集技術(shù)具備大規(guī)模、零干擾、無依賴、過載保護(hù)、預(yù)處理等優(yōu)點(diǎn)；單臺控制器同時管理1000個采集點(diǎn)和自動管理并下發(fā)4000條過濾策略，適用于生產(chǎn)環(huán)境的大規(guī)模虛擬網(wǎng)絡(luò)。

基于運(yùn)維管理者視角，DeepFlow?分別從云租戶、云資源和云網(wǎng)絡(luò)三個維度進(jìn)行關(guān)聯(lián)分析，幫助云數(shù)據(jù)中心提高運(yùn)維效率；優(yōu)化資源使用率；提升安全性，從而提升云服務(wù)SLA水平。

云杉網(wǎng)絡(luò)于2019年3月18日發(fā)布了DeepFlow? v5.5.1版，該版本優(yōu)化了網(wǎng)絡(luò)對象的管理，增強(qiáng)了業(yè)務(wù)分析能力，改進(jìn)了告警策略和報(bào)表管理；網(wǎng)絡(luò)全景圖功能完善了VPC視角，并加入主機(jī)視角，實(shí)現(xiàn)了端到端的流量統(tǒng)計(jì)與分析，云平臺管理模塊增加了對虛擬路由器的支持，優(yōu)化后的采集器日志文件上限為1M/天。

目前，作為面向云數(shù)據(jù)中心的虛擬網(wǎng)絡(luò)流量采集分析平臺，DeepFlow?率先在金融、電信、電力、教育等行業(yè)近百家企業(yè)部署，包括平安科技、興業(yè)數(shù)金、中國移動、國家電網(wǎng)、蘇州國科數(shù)據(jù)中心等標(biāo)桿客戶，已經(jīng)成為企業(yè)云數(shù)據(jù)中心網(wǎng)絡(luò)穩(wěn)定和高效運(yùn)營的典范。