當今時代處在信息大爆發(fā)的時代,信息借助互聯(lián)網(wǎng)的潮流在全球自由的流動,產(chǎn)生了各式各樣的平臺系統(tǒng)和軟件系統(tǒng),越來越多的業(yè)務也會導致系統(tǒng)的復雜性。
當核心業(yè)務出現(xiàn)了問題影響用戶體驗,開發(fā)人員沒有及時發(fā)現(xiàn),發(fā)現(xiàn)問題時已經(jīng)為時已晚,又或者當服務器的CPU持續(xù)增高,磁盤空間被打滿等,需要運維人員及時發(fā)現(xiàn)并處理,這就需要一套有效的監(jiān)控系統(tǒng)對其進行監(jiān)控和預警。
如何對這些業(yè)務和服務器進行監(jiān)控和維護是我們開發(fā)人員和運維人員不可忽視的重要一環(huán),這篇文章全篇大約5000多字,我將對vivo服務端監(jiān)控的原理和架構(gòu)演進之路做一次系統(tǒng)性整理,以便大家做監(jiān)控技術(shù)選型時參考。
vivo服務端監(jiān)控旨在為服務端應用提供包括系統(tǒng)監(jiān)控、JVM監(jiān)控以及自定義業(yè)務指標監(jiān)控在內(nèi)的一站式數(shù)據(jù)監(jiān)控,并配套實時、多維度、多渠道的告警服務,幫助用戶及時掌握應用多方面狀態(tài),事前及時預警發(fā)現(xiàn)故障,事后提供詳實的數(shù)據(jù)用于追查定位問題,提升服務可用性。目前vivo服務端監(jiān)控累計接入業(yè)務方數(shù)量達到200+,本文介紹的是服務端監(jiān)控,我司還有其他類型的優(yōu)秀監(jiān)控包括通用監(jiān)控、調(diào)用鏈監(jiān)控和客戶端監(jiān)控等。
1.1 監(jiān)控系統(tǒng)的基本流程
無論是開源的監(jiān)控系統(tǒng)還是自研的監(jiān)控系統(tǒng),整體流程都大同小異。
1)數(shù)據(jù)采集:可以包括JVM監(jiān)控數(shù)據(jù)如GC次數(shù),線程數(shù)量,老年代和新生代區(qū)域大小;系統(tǒng)監(jiān)控數(shù)據(jù)如磁盤使用使用率,磁盤讀寫的吞吐量,網(wǎng)絡的出口流量和入口流量,TCP連接數(shù);業(yè)務監(jiān)控數(shù)據(jù)如錯誤日志,訪問日志,視頻播放量,PV,UV等。
2)數(shù)據(jù)傳輸:將采集的數(shù)據(jù)以消息形式或者 HTTP 協(xié)議的形式等上報給監(jiān)控系統(tǒng)。
3)數(shù)據(jù)存儲:有使用 MySQL、Oracle 等 RDBMS 存儲的,也有使用時序數(shù)據(jù)庫OpenTSDB、InfluxDB 存儲的,還有使用 HBase 直接存儲的。
4)數(shù)據(jù)可視化:數(shù)據(jù)指標的圖形化展示,可以是折線圖,柱狀圖,餅圖等。
5)監(jiān)控告警:靈活的告警設置,以及支持郵件、短信、IM 等多種通知通道。
1.2 如何規(guī)范的使用監(jiān)控系統(tǒng)
在使用監(jiān)控系統(tǒng)之前,我們需要了解監(jiān)控對象的基本工作原理,例如JVM監(jiān)控,我們需要清楚JVM的內(nèi)存結(jié)構(gòu)組成和常見的垃圾回收機制;其次需要確定如何去描述和定義監(jiān)控對象的狀態(tài),例如監(jiān)控某個業(yè)務功能的接口性能,可以監(jiān)控該接口的請求量,耗時情況,錯誤量等;在確定了如何監(jiān)控對象的狀態(tài)之后,需要定義合理的告警閾值和告警類型,當收到告警提醒時,幫助開發(fā)人員及時發(fā)現(xiàn)故障;最后建立完善的故障處理體系,收到告警時迅速響應,及時處理線上故障。
二、vivo服務端監(jiān)控系統(tǒng)架構(gòu)及演進之路
在介紹vivo服務端監(jiān)控系統(tǒng)架構(gòu)之前,先帶大家了解一下OpenTSDB時序數(shù)據(jù)庫,在了解之前說明下為什么我們會選擇OpenTSDB,原因有以下幾點:
1) 監(jiān)控數(shù)據(jù)采集指標在某一時間點具有唯一值,沒有復雜的結(jié)構(gòu)及關(guān)系。
2)監(jiān)控數(shù)據(jù)的指標具有隨著時間不斷變化的特點。
3)基于HBase分布式、可伸縮的時間序列數(shù)據(jù)庫,存儲層不需要過多投入精力,具有HBase的高吞吐,良好的伸縮性等特點。
4)開源,Java實現(xiàn),并且提供基于HTTP的應用程序編程接口,問題排查快可修改。
2.1 OpenTSDB簡介
1)基于HBase的分布式的,可伸縮的時間序列數(shù)據(jù)庫,主要用途就是做監(jiān)控系統(tǒng)。譬如收集大規(guī)模集群(包括網(wǎng)絡設備、操作系統(tǒng)、應用程序)的監(jiān)控數(shù)據(jù)并進行存儲和查詢,支持秒級數(shù)據(jù)采集,支持永久存儲,可以做容量規(guī)劃,并很容易地接入到現(xiàn)有的監(jiān)控系統(tǒng)里,OpenTSDB的系統(tǒng)架構(gòu)圖如下:
存儲結(jié)構(gòu)單元為Data Point,即某個Metric在某個時間點的數(shù)值。Data Point包括以下部分:
Metric,監(jiān)控指標名稱;
Tags,Metric的標簽,用來標注類似機器名稱等信息,包括TagKey和TagValue;
Value,Metric對應的實際數(shù)值,整數(shù)或小數(shù);
Timestamp,時間戳。
核心存儲兩張表:tsdb和tsdb-uid。表tsdb用來存儲監(jiān)控數(shù)據(jù),如下圖:
Row Key為Metric+Timestamp的小時整點+TagKey+TagValue,取相應的字節(jié)映射組合起來;列族t下的Qualifier為Timestamp的小時整點余出的秒數(shù),對應的值即為Value。
表tsdb-uid用來存儲剛才提到的字節(jié)映射,如下圖:
圖中的“001”表示tagk=hots或者tagv=static,提供正反查詢。
2)OpenTSDB使用策略說明:
不使用OpenTSDB提供的rest接口,通過client與HBase直連;
工程端禁用compact動作的Thrd線程;
間隔10秒獲取Redis緩沖數(shù)據(jù)批量寫入OpenTSDB。
2.2OpenTSDB在實踐中需要關(guān)注的點
1)精確性問題
String value = "0.51";
float f = Float.parseFloat(value);
int raw = Float.floatToRawIntBits(f);
byte[] float_bytes = Bytes.fromInt(raw);
int raw_back = Bytes.getInt(float_bytes, 0);
double decode = Float.intBitsToFloat(raw_back);
/**
* 打印結(jié)果:
* Parsed Float: 0.51
* Encode Raw: 1057132380
* Encode Bytes: 3F028F5C
* Decode Raw: 1057132380
* Decoded Float: 0.5099999904632568
*/
System.out.println("Parsed Float: " + f);
System.out.println("Encode Raw: " + raw);
System.out.println("Encode Bytes: " + UniqueId.uidToString(float_bytes));
System.out.println("Decode Raw: " + raw_back);
System.out.println("Decoded Float: " + decode);
如上代碼,OpenTSDB在存儲浮點型數(shù)據(jù)時,無法知悉存儲意圖,在轉(zhuǎn)化時會遇到精確性問題,即存儲"0.51",取出為"0.5099999904632568"。
2)聚合函數(shù)問題
OpenTSDB的大部分聚合函數(shù),包括sum、avg、max、min都是LERP(linear interpolation)的插值方式,即所獲取的值存在被補缺的現(xiàn)象,對于有空值需求的使用很不友好。詳細原理參見OpenTSDB關(guān)于interpolation的文檔。
目前vmonitor服務端監(jiān)控使用的OpenTSDB是我們改造后的源碼,新增了nimavg函數(shù),配合自帶的zimsum函數(shù)滿足空值插入需求。
2.3vivo服務端監(jiān)控采集器原理
1)定時器
內(nèi)含3種采集器:OS采集器、JVM采集器和業(yè)務指標采集器,其中OS及JVM每分鐘執(zhí)行采集和匯聚,業(yè)務指標采集器會實時采集并在1分鐘的時間點完成匯聚重置,3份采集器的數(shù)據(jù)打包上報至RabbitMQ,上報動作異步超時。
2)業(yè)務指標采集器
業(yè)務指標采集方式有2種:日志輸出過濾和工具類代碼上報(侵入式),日志輸出過濾是通過繼承l(wèi)og4j的Filter,從而獲取指標配置中指定的Appender輸出的renderedMessage,并根據(jù)指標配置的關(guān)鍵詞、聚合方式等信息進行同步監(jiān)聽采集;代碼上報根據(jù)代碼中指定的指標code進行message信息上報,屬于侵入式的采集方式,通過調(diào)用監(jiān)控提供的Util實現(xiàn)。業(yè)務指標配置每隔5分鐘會從CDN刷新,內(nèi)置多種聚合器供聚合使用,包括count計數(shù)、 sum求和、average平均、max最大值和min最小值統(tǒng)計。
2.4 vivo服務端監(jiān)控老版本架構(gòu)設計
1)數(shù)據(jù)采集及上報:需求方應用接入的監(jiān)控采集器vmonitor-agent根據(jù)監(jiān)控指標配置采集相應數(shù)據(jù),每分鐘上報1次數(shù)據(jù)至RabbitMQ,所采用的指標配置每5分鐘從CDN下載更新,CDN內(nèi)容由監(jiān)控后臺上傳。
2)計算及存儲:監(jiān)控后臺接收RabbitMQ的數(shù)據(jù),拆解后存儲至OpenTSDB,供可視化圖表調(diào)用,監(jiān)控項目、應用、指標和告警等配置存儲于MySQL;通過Zookeeper和Redis實現(xiàn)分布式任務分發(fā)模塊,實現(xiàn)多臺監(jiān)控服務協(xié)調(diào)配合運作,供分布式計算使用。
審核編輯:湯梓紅
-
監(jiān)控
+關(guān)注
關(guān)注
6文章
2151瀏覽量
55001 -
服務器
+關(guān)注
關(guān)注
12文章
8866瀏覽量
84960 -
vivo
+關(guān)注
關(guān)注
12文章
3286瀏覽量
62983
發(fā)布評論請先 登錄
相關(guān)推薦
評論