工業(yè)互聯(lián)網(wǎng)平臺(tái)核心技術(shù)之運(yùn)維技術(shù)

運(yùn)維監(jiān)控平臺(tái)是工業(yè)互聯(lián)網(wǎng)平臺(tái)運(yùn)維工作中不可或缺的一部分，如何構(gòu)建適合自己的運(yùn)維監(jiān)控平臺(tái)，每個(gè)公司的需求不一樣，每個(gè)運(yùn)維面對(duì)的痛點(diǎn)也不盡相同，但，有了監(jiān)控，有了充足的數(shù)據(jù)，一切以數(shù)據(jù)說(shuō)話(huà)，運(yùn)維就不再是背鍋俠了。

運(yùn)維管理是工業(yè)互聯(lián)網(wǎng)平臺(tái)使能技術(shù)之一，在平臺(tái)中的地位極其重要。在工業(yè)互聯(lián)網(wǎng)平臺(tái)的運(yùn)維管理中，我們經(jīng)常聽(tīng)到關(guān)于運(yùn)維的話(huà)題：“無(wú)監(jiān)控，不運(yùn)維”。

隨著云計(jì)算和互聯(lián)網(wǎng)的高速發(fā)展，大量應(yīng)用需要橫跨不同網(wǎng)絡(luò)終端，并廣泛接入第三方服務(wù)，平臺(tái)系統(tǒng)架構(gòu)越來(lái)越復(fù)雜。快速迭代的產(chǎn)品需求和良好的用戶(hù)體驗(yàn)，需要運(yùn)維管理者時(shí)刻保障核心業(yè)務(wù)穩(wěn)定可用。

一運(yùn)維管理的痛點(diǎn)和難點(diǎn)

運(yùn)維工程師在運(yùn)維中過(guò)程中經(jīng)常遇到運(yùn)維工作如下的痛點(diǎn)和難點(diǎn) ：

1、面向業(yè)務(wù)的運(yùn)維，不但關(guān)心單點(diǎn)物理資源的運(yùn)行狀態(tài)，更關(guān)心整個(gè)業(yè)務(wù)系統(tǒng)的健康狀態(tài)

2、如果企業(yè)使用了大量的API和模塊化應(yīng)用，那么需要關(guān)注每個(gè)接口的性能變化情況和指標(biāo)

3、對(duì)于運(yùn)維主管及企業(yè)管理層來(lái)說(shuō)，特別需要上墻的監(jiān)控大屏

4、運(yùn)維需要每周、每月查看報(bào)告趨勢(shì)分析，但傳統(tǒng)運(yùn)維工具數(shù)據(jù)導(dǎo)出困難

5、需要第一時(shí)間轉(zhuǎn)雀和快速發(fā)現(xiàn)故障節(jié)點(diǎn)，減少業(yè)務(wù)中斷帶來(lái)的損失

二運(yùn)維管理

1、物理資源監(jiān)控

（1）物理資源狀態(tài)監(jiān)控。提供可按照資源池、集群對(duì)物理設(shè)備的資源狀態(tài)、如計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等運(yùn)行狀態(tài)進(jìn)行監(jiān)控。

（2）故障告警及通知。支持Email或者短信、微信等告警的實(shí)時(shí)通知消息。

（3）資源庫(kù)存及資產(chǎn)管理。支持對(duì)物理設(shè)備庫(kù)存及資產(chǎn)管理，需要擴(kuò)充及時(shí)提供運(yùn)維管理人員。

（4）故障分析報(bào)表?？砂凑展收霞?jí)別、事件類(lèi)別出具故障的分析報(bào)表，便于改善服務(wù)。

2、業(yè)務(wù)資源監(jiān)控

（1）業(yè)務(wù)資源狀態(tài)監(jiān)控。可按照服務(wù)如虛擬主機(jī)、云數(shù)據(jù)庫(kù)、塊存儲(chǔ)等進(jìn)行資源狀態(tài)監(jiān)控。

（2）業(yè)務(wù)資源容量監(jiān)控。對(duì)業(yè)務(wù)資源層的資源容量進(jìn)行分別監(jiān)控，可設(shè)置容量告警閾值提醒資源擴(kuò)容。

（3）運(yùn)維操作記錄。記錄運(yùn)維相關(guān)的操作日志且存檔期不少于半年。

三運(yùn)維管理一般流程和功能

1.運(yùn)維管理流程

運(yùn)維管理的一般過(guò)程如上圖所示，制定云服務(wù)運(yùn)維管理流程，需要包括：服務(wù)臺(tái)、事件管理、問(wèn)題管理、變更管理、配置管理、發(fā)布管理、知識(shí)庫(kù)管理、報(bào)表管理。

2、運(yùn)維管理功能

云服務(wù)運(yùn)維管理系統(tǒng)應(yīng)提供以下功能：

（1）監(jiān)控管理，通過(guò)對(duì)各種物理資源、虛擬化資源數(shù)據(jù)的監(jiān)控，將資源以用戶(hù)可見(jiàn)的資源池形式提供給上層應(yīng)用。統(tǒng)一資源管理，支持發(fā)現(xiàn)其管轄范圍內(nèi)的物理設(shè)備以及它們的組網(wǎng)關(guān)系。支持將這些物理設(shè)備進(jìn)行池化管理，提供給應(yīng)用管理模塊使用。

（2）權(quán)限管理，可以創(chuàng)建和管理系統(tǒng)中管理員帳號(hào)、管理員所承擔(dān)的角色和管理員管理區(qū)域，實(shí)現(xiàn)系統(tǒng)的分權(quán)分域的功能。系統(tǒng)支持對(duì)用戶(hù)進(jìn)行訪(fǎng)問(wèn)控制， 支持用戶(hù)組、分權(quán)、分域、密碼管理，便于維護(hù)團(tuán)隊(duì)內(nèi)分職責(zé)共同有序地維護(hù)系統(tǒng)。

（3）告警管理，是確保系統(tǒng)正常運(yùn)行的重要活動(dòng)，包括：系統(tǒng)故障預(yù)防設(shè)計(jì)、故障檢測(cè)和處理等。告警管理是故障管理的重要部分，便于運(yùn)維人員進(jìn)行故障定位，保證系統(tǒng)穩(wěn)定運(yùn)行。

（4）拓?fù)涔芾?，提供一個(gè)可視化界面，呈現(xiàn)全系統(tǒng)的所有資源信息。支持常用設(shè)備自動(dòng)發(fā)現(xiàn)和識(shí)別，系統(tǒng)還對(duì)網(wǎng)絡(luò)類(lèi)型有很好的兼容性，可以很好的發(fā)現(xiàn)

VPN、VLAN網(wǎng)絡(luò)拓?fù)?，還支持按照規(guī)則識(shí)別不同的設(shè)備類(lèi)型， 方便更準(zhǔn)確的呈現(xiàn)拓?fù)洹?/p>

（5）日志管理包括日志記錄、查看、審計(jì)。

（6）軟件管理，支持云操作系統(tǒng)軟件預(yù)安裝和預(yù)置、軟件自動(dòng)化批量安裝、軟件升級(jí)和補(bǔ)丁更新等功能。

（7）統(tǒng)計(jì)報(bào)表管理，可以讓管理員查看虛擬機(jī)登錄、分配以及運(yùn)行狀態(tài)信息，有助于系統(tǒng)優(yōu)化，調(diào)整提升。報(bào)表可以根據(jù)要求定制，內(nèi)容主要包括之前描述過(guò)得監(jiān)控內(nèi)容，包括CPU、內(nèi)存、網(wǎng)絡(luò)流量、數(shù)據(jù)庫(kù)性能、中間件性能等各類(lèi)性能報(bào)表和故障報(bào)表。

（8）資產(chǎn)管理，是運(yùn)維管理系統(tǒng)的核心功能，能夠?qū)崿F(xiàn)對(duì)云平臺(tái)相關(guān)的軟硬件信息資產(chǎn)信息的全面管理，同時(shí)，對(duì)資產(chǎn)信息進(jìn)行實(shí)時(shí)監(jiān)控變更等功能，滿(mǎn)足企業(yè)對(duì)資產(chǎn)管理的需要。

（9）工單管理，系統(tǒng)提供完整的工單管理的功能，支持創(chuàng)建工單的流轉(zhuǎn)流程。支持手工創(chuàng)建工單，也可以在告警響應(yīng)動(dòng)作中創(chuàng)建工單；支持以工單方式實(shí)現(xiàn)對(duì)告警事件的應(yīng)急響應(yīng)、工作任務(wù)分配、工作任務(wù)管理，可以進(jìn)行流程定制和流程查看，工作流可以跨多個(gè)中心進(jìn)行聯(lián)動(dòng)。

（10）計(jì)費(fèi)管理，不同的云服務(wù)按照各自的計(jì)費(fèi)項(xiàng)計(jì)量并收費(fèi)的能力。

（11）安全管理，是對(duì)數(shù)據(jù)、賬號(hào)等IT資源采取全面保護(hù)，使其免受犯罪分子和惡意程序的侵害，并保證云基礎(chǔ)設(shè)施及其提供的資源能被合法地訪(fǎng)問(wèn)和使用。

（12）對(duì)系統(tǒng)數(shù)據(jù)均實(shí)現(xiàn)多副本保存或其他冗余備份機(jī)制。

（13）可實(shí)現(xiàn)云服務(wù)運(yùn)維管理系統(tǒng)的自動(dòng)化管理。

四運(yùn)維監(jiān)控平臺(tái)設(shè)計(jì)思路

構(gòu)建一個(gè)智能的運(yùn)維監(jiān)控平臺(tái)，必須以運(yùn)行監(jiān)控和故障報(bào)警這兩個(gè)方面為重點(diǎn)，將所有業(yè)務(wù)系統(tǒng)中所涉及的網(wǎng)絡(luò)資源、硬件資源、軟件資源、數(shù)據(jù)庫(kù)資源等納入統(tǒng)一的運(yùn)維監(jiān)控平臺(tái)中，并通過(guò)消除管理軟件的差別。

數(shù)據(jù)采集手段的差別，對(duì)各種不同的數(shù)據(jù)來(lái)源實(shí)現(xiàn)統(tǒng)一管理、統(tǒng)一規(guī)范、統(tǒng)一處理、統(tǒng)一展現(xiàn)、統(tǒng)一用戶(hù)登錄、統(tǒng)一權(quán)限控制，最終實(shí)現(xiàn)運(yùn)維規(guī)范化、自動(dòng)化、智能化的大運(yùn)維管理。

智能的運(yùn)維監(jiān)控平臺(tái)，設(shè)計(jì)架構(gòu)從低到高可以分為6層，三大模塊，如下圖：

1、數(shù)據(jù)收集層：位于最底層，主要收集網(wǎng)絡(luò)數(shù)據(jù)、業(yè)務(wù)系統(tǒng)數(shù)據(jù)、數(shù)據(jù)庫(kù)數(shù)據(jù)、操作系統(tǒng)數(shù)據(jù)等，然后將收集到的數(shù)據(jù)進(jìn)行規(guī)范化并進(jìn)行存儲(chǔ)。

2、數(shù)據(jù)展示層：主要是將數(shù)據(jù)收集層獲取到的數(shù)據(jù)進(jìn)行統(tǒng)一展示，展示的方式可以是曲線(xiàn)圖、柱狀圖、餅狀態(tài)等，通過(guò)將數(shù)據(jù)圖形化，可以幫助運(yùn)維人員了解一段時(shí)間內(nèi)主機(jī)或網(wǎng)絡(luò)的運(yùn)行狀態(tài)和運(yùn)行趨勢(shì)，并作為運(yùn)維人員排查問(wèn)題或解決問(wèn)題的依據(jù)。

3、數(shù)據(jù)提取層：主要是對(duì)從數(shù)據(jù)收集層獲取到的數(shù)據(jù)進(jìn)行規(guī)格化和過(guò)濾處理，提取需要的數(shù)據(jù)到監(jiān)控報(bào)警模塊，這個(gè)部分是監(jiān)控和報(bào)警兩個(gè)模塊的銜接點(diǎn)。

4、報(bào)警規(guī)則配置層：主要是根據(jù)第三層獲取到的數(shù)據(jù)進(jìn)行報(bào)警規(guī)則設(shè)置、報(bào)警閥值設(shè)置、報(bào)警聯(lián)系人設(shè)置和報(bào)警方式設(shè)置等。

5、報(bào)警事件生成層：位于第五層，主要是對(duì)報(bào)警事件進(jìn)行實(shí)時(shí)記錄，將報(bào)警結(jié)果存入數(shù)據(jù)庫(kù)以備調(diào)用，并將報(bào)警結(jié)果形成分析報(bào)表，以統(tǒng)計(jì)一段時(shí)間內(nèi)的故障率和故障發(fā)生趨勢(shì)。

6、用戶(hù)展示管理層：位于最頂層，是一個(gè)Web展示界面，主要是將監(jiān)控統(tǒng)計(jì)結(jié)果、報(bào)警故障結(jié)果進(jìn)行統(tǒng)一展示，并實(shí)現(xiàn)多用戶(hù)、多權(quán)限管理，實(shí)現(xiàn)統(tǒng)一用戶(hù)和統(tǒng)一權(quán)限控制。

在這6層中，從功能實(shí)現(xiàn)劃分，又分為三個(gè)模塊，分別是數(shù)據(jù)收集模塊、數(shù)據(jù)提取模塊和監(jiān)控報(bào)警模塊，每個(gè)模塊完成的功能如下：

數(shù)據(jù)收集模塊：此模塊主要完成基礎(chǔ)數(shù)據(jù)的收集與圖形展示。數(shù)據(jù)收集的方式有很多種，可以通過(guò)SNMP實(shí)現(xiàn)，也可以通過(guò)代理模塊實(shí)現(xiàn)，還可以通過(guò)自定義腳本實(shí)現(xiàn)。常用的數(shù)據(jù)收集工具有Cacti、Ganglia等。

數(shù)據(jù)提取模塊：此模板主要完成數(shù)據(jù)的篩選過(guò)濾和采集，將需要的數(shù)據(jù)從數(shù)據(jù)收集模塊提取到監(jiān)控報(bào)警模塊中?？梢酝ㄟ^(guò)數(shù)據(jù)收集模塊提供的接口或自定義腳本實(shí)現(xiàn)數(shù)據(jù)的提取。

監(jiān)控報(bào)警模塊：此模塊主要完成監(jiān)控腳本的設(shè)置、報(bào)警規(guī)則設(shè)置，報(bào)警閥值設(shè)置、報(bào)警聯(lián)系人設(shè)置等，并將報(bào)警結(jié)果進(jìn)行集中展現(xiàn)和歷史記錄。常見(jiàn)的監(jiān)控報(bào)警工具有Nagios、Centreon等。

運(yùn)維管理平臺(tái)主要有三大部分組成，分別是數(shù)據(jù)收集模塊、監(jiān)控報(bào)警模塊和數(shù)據(jù)提取模塊。其中，數(shù)據(jù)提取模塊用于其他兩個(gè)模塊之間的數(shù)據(jù)通信，而數(shù)據(jù)收集模塊可以有一臺(tái)或多臺(tái)數(shù)據(jù)收集服務(wù)器組成，每個(gè)數(shù)據(jù)收集服務(wù)器可以直接從服務(wù)器群組收集各種數(shù)據(jù)指標(biāo)，經(jīng)過(guò)規(guī)范數(shù)據(jù)格式，最終將數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)收集服務(wù)器中。

監(jiān)控報(bào)警模塊通過(guò)數(shù)據(jù)抽取模塊從數(shù)據(jù)收集服務(wù)器獲取需要的數(shù)據(jù)，然后設(shè)置報(bào)警閥值、報(bào)警聯(lián)系人等，最終實(shí)現(xiàn)實(shí)時(shí)報(bào)警。報(bào)警方式支持手機(jī)短信報(bào)警、郵件報(bào)警等，另外，也可以通過(guò)插件或者自定義腳本來(lái)擴(kuò)展報(bào)警方式。

五結(jié)語(yǔ)

運(yùn)維監(jiān)控平臺(tái)是工業(yè)互聯(lián)網(wǎng)平臺(tái)運(yùn)維工作中不可或缺的一部分，也是平臺(tái)使能技術(shù)的一個(gè)重要內(nèi)容。如何構(gòu)建適合自己的運(yùn)維監(jiān)控平臺(tái)，每個(gè)公司的需求不一樣，每個(gè)運(yùn)維所面對(duì)的痛點(diǎn)也不盡相同，但，有了監(jiān)控，有了充足的數(shù)據(jù)，運(yùn)維就可以有的放矢。一切以數(shù)據(jù)說(shuō)話(huà)，運(yùn)維就不會(huì)再虛無(wú)縹緲，便不用再是背鍋俠了。