排查L(zhǎng)inux服務(wù)器性能問(wèn)題工具

如果你的Linux服務(wù)器突然負(fù)載暴增，告警短信快發(fā)爆你的手機(jī)，如何在最短時(shí)間內(nèi)找出Linux性能問(wèn)題所在？來(lái)看Netflix性能工程團(tuán)隊(duì)的這篇博文，看它們通過(guò)十條命令在一分鐘內(nèi)對(duì)機(jī)器性能問(wèn)題進(jìn)行診斷。

概述

通過(guò)執(zhí)行以下命令，可以在1分鐘內(nèi)對(duì)系統(tǒng)資源使用情況有個(gè)大致的了解。

uptime

dmesg | tail

vmstat 1

mpstat -P ALL 1

pidstat 1

iostat -xz 1

free -m

sar -n DEV 1

sar -n TCP,ETCP 1

top

其中一些命令需要安裝sysstat包，有一些由procps包提供。這些命令的輸出，有助于快速定位性能瓶頸，檢查出所有資源（CPU、內(nèi)存、磁盤IO等）的利用率（utilization）、飽和度（saturation）和錯(cuò)誤（error）度量，也就是所謂的USE方法。 下面我們來(lái)逐一介紹下這些命令，有關(guān)這些命令更多的參數(shù)和說(shuō)明，請(qǐng)參照命令的手冊(cè)。

uptime

$uptime 2326up21:31,1user,loadaverage:30.02,26.43,19.02 這個(gè)命令可以快速查看機(jī)器的負(fù)載情況。在Linux系統(tǒng)中，這些數(shù)據(jù)表示等待CPU資源的進(jìn)程和阻塞在不可中斷IO進(jìn)程（進(jìn)程狀態(tài)為D）的數(shù)量。這些數(shù)據(jù)可以讓我們對(duì)系統(tǒng)資源使用有一個(gè)宏觀的了解。 命令的輸出分別表示1分鐘、5分鐘、15分鐘的平均負(fù)載情況。通過(guò)這三個(gè)數(shù)據(jù)，可以了解服務(wù)器負(fù)載是在趨于緊張還是區(qū)域緩解。如果1分鐘平均負(fù)載很高，而15分鐘平均負(fù)載很低，說(shuō)明服務(wù)器正在命令高負(fù)載情況，需要進(jìn)一步排查CPU資源都消耗在了哪里。反之，如果15分鐘平均負(fù)載很高，1分鐘平均負(fù)載較低，則有可能是CPU資源緊張時(shí)刻已經(jīng)過(guò)去。 上面例子中的輸出，可以看見(jiàn)最近1分鐘的平均負(fù)載非常高，且遠(yuǎn)高于最近15分鐘負(fù)載，因此我們需要繼續(xù)排查當(dāng)前系統(tǒng)中有什么進(jìn)程消耗了大量的資源?？梢酝ㄟ^(guò)下文將會(huì)介紹的vmstat、mpstat等命令進(jìn)一步排查。

dmesg丨tail

$dmesg|tail [1880957.563150]perlinvokedoom-killer:gfp_mask=0x280da,order=0,oom_score_adj=0 [...] [1880957.563400]Outofmemory:Killprocess18694(perl)score246orsacrificechild [1880957.563408]Killedprocess18694(perl)total-vm:1972392kB,anon-rss:1953348kB,file-rss:0kB [2320864.954447]TCP:PossibleSYNfloodingonport7001.Droppingrequest.CheckSNMPcounters. 該命令會(huì)輸出系統(tǒng)日志的最后10行。示例中的輸出，可以看見(jiàn)一次內(nèi)核的oom kill和一次TCP丟包。這些日志可以幫助排查性能問(wèn)題。千萬(wàn)不要忘了這一步。

vmstat 1

$vmstat1 procs---------memory-------------swap-------io-----system--------cpu----- rbswpdfreebuffcachesisobiboincsussyidwast 3400200889792737085918280005610961300 320020088992073708591860000592132844282981100 320020089011273708591860000095012154991000 32002008895687371259185600048119002459990000 3200200890208737125918600000158984840981100 vmstat(8) 命令，每行會(huì)輸出一些系統(tǒng)核心指標(biāo)，這些指標(biāo)可以讓我們更詳細(xì)的了解系統(tǒng)狀態(tài)。后面跟的參數(shù)1，表示每秒輸出一次統(tǒng)計(jì)信息，表頭提示了每一列的含義，這幾介紹一些和性能調(diào)優(yōu)相關(guān)的列：

r：等待在CPU資源的進(jìn)程數(shù)。這個(gè)數(shù)據(jù)比平均負(fù)載更加能夠體現(xiàn)CPU負(fù)載情況，數(shù)據(jù)中不包含等待IO的進(jìn)程。如果這個(gè)數(shù)值大于機(jī)器CPU核數(shù)，那么機(jī)器的CPU資源已經(jīng)飽和。

free：系統(tǒng)可用內(nèi)存數(shù)（以千字節(jié)為單位），如果剩余內(nèi)存不足，也會(huì)導(dǎo)致系統(tǒng)性能問(wèn)題。下文介紹到的free命令，可以更詳細(xì)的了解系統(tǒng)內(nèi)存的使用情況。

si, so：交換區(qū)寫入和讀取的數(shù)量。如果這個(gè)數(shù)據(jù)不為0，說(shuō)明系統(tǒng)已經(jīng)在使用交換區(qū)（swap），機(jī)器物理內(nèi)存已經(jīng)不足。

us, sy, id, wa, st：這些都代表了CPU時(shí)間的消耗，它們分別表示用戶時(shí)間（user）、系統(tǒng)（內(nèi)核）時(shí)間（sys）、空閑時(shí)間（idle）、IO等待時(shí)間（wait）和被偷走的時(shí)間（stolen，一般被其他虛擬機(jī)消耗）。

上述這些CPU時(shí)間，可以讓我們很快了解CPU是否出于繁忙狀態(tài)。一般情況下，如果用戶時(shí)間和系統(tǒng)時(shí)間相加非常大，CPU出于忙于執(zhí)行指令。如果IO等待時(shí)間很長(zhǎng)，那么系統(tǒng)的瓶頸可能在磁盤IO。 示例命令的輸出可以看見(jiàn)，大量CPU時(shí)間消耗在用戶態(tài)，也就是用戶應(yīng)用程序消耗了CPU時(shí)間。這不一定是性能問(wèn)題，需要結(jié)合r隊(duì)列，一起分析。

mpstat-P ALL 1

$mpstat-PALL1 Linux3.13.0-49-generic(titanclusters-xxxxx)07/14/2015_x86_64_(32CPU) 0749PMCPU%usr%nice%sys%iowait%irq%soft%steal%guest%gnice%idle 0750PMall98.470.000.750.000.000.000.000.000.000.78 0750PM096.040.002.970.000.000.000.000.000.000.99 0750PM197.000.001.000.000.000.000.000.000.002.00 0750PM298.000.001.000.000.000.000.000.000.001.00 0750PM396.970.000.000.000.000.000.000.000.003.03 [...] 該命令可以顯示每個(gè)CPU的占用情況，如果有一個(gè)CPU占用率特別高，那么有可能是一個(gè)單線程應(yīng)用程序引起的。

pidstat 1

$pidstat1 Linux3.13.0-49-generic(titanclusters-xxxxx)07/14/2015_x86_64_(32CPU) 0702PMUIDPID%usr%system%guest%CPUCPUCommand 0703PM090.000.940.000.941rcuos/0 0703PM042145.665.660.0011.3215mesos-slave 0703PM043540.940.940.001.898java 0703PM065211596.231.890.001598.1127java 0703PM065641571.707.550.001579.2528java 0703PM60004601540.944.720.005.669pidstat 0703PMUIDPID%usr%system%guest%CPUCPUCommand 0704PM042146.002.000.008.0015mesos-slave 0704PM065211590.001.000.001591.0027java0704PM065641573.0010.000.001583.0028java 0704PM10867181.000.000.001.000snmp-pass 0704PM60004601541.004.000.005.009pidstat pidstat命令輸出進(jìn)程的CPU占用率，該命令會(huì)持續(xù)輸出，并且不會(huì)覆蓋之前的數(shù)據(jù)，可以方便觀察系統(tǒng)動(dòng)態(tài)。如上的輸出，可以看見(jiàn)兩個(gè)JAVA進(jìn)程占用了將近1600%的CPU時(shí)間，既消耗了大約16個(gè)CPU核心的運(yùn)算資源。

iostat-xz 1

$iostat-xz1 Linux3.13.0-49-generic(titanclusters-xxxxx)07/14/2015_x86_64_(32CPU) avg-cpu:%user%nice%system%iowait%steal%idle 73.960.003.730.030.0622.21 Device:rrqm/swrqm/sr/sw/srkB/swkB/savgrq-szavgqu-szawaitr_awaitw_awaitsvctm%util xvda0.000.230.210.184.522.0834.370.009.9813.805.422.440.09 xvdb0.010.001.028.94127.97598.53145.790.000.431.780.280.250.25 xvdc0.010.001.028.86127.79595.94146.500.000.451.820.300.270.26 dm-00.000.000.692.3210.4731.6928.010.013.230.713.980.130.04 dm-10.000.000.000.940.013.788.000.33345.840.04346.810.010.00 dm-20.000.000.090.071.350.3622.500.002.550.235.621.780.03 [...] iostat命令主要用于查看機(jī)器磁盤IO情況。該命令輸出的列，主要含義是：

r/s, w/s, rkB/s, wkB/s：分別表示每秒讀寫次數(shù)和每秒讀寫數(shù)據(jù)量（千字節(jié)）。讀寫量過(guò)大，可能會(huì)引起性能問(wèn)題。

await：IO操作的平均等待時(shí)間，單位是毫秒。這是應(yīng)用程序在和磁盤交互時(shí)，需要消耗的時(shí)間，包括IO等待和實(shí)際操作的耗時(shí)。如果這個(gè)數(shù)值過(guò)大，可能是硬件設(shè)備遇到了瓶頸或者出現(xiàn)故障。

avgqu-sz：向設(shè)備發(fā)出的請(qǐng)求平均數(shù)量。如果這個(gè)數(shù)值大于1，可能是硬件設(shè)備已經(jīng)飽和（部分前端硬件設(shè)備支持并行寫入）。

%util：設(shè)備利用率。這個(gè)數(shù)值表示設(shè)備的繁忙程度，經(jīng)驗(yàn)值是如果超過(guò)60，可能會(huì)影響IO性能（可以參照IO操作平均等待時(shí)間）。如果到達(dá)100%，說(shuō)明硬件設(shè)備已經(jīng)飽和。

如果顯示的是邏輯設(shè)備的數(shù)據(jù)，那么設(shè)備利用率不代表后端實(shí)際的硬件設(shè)備已經(jīng)飽和。值得注意的是，即使IO性能不理想，也不一定意味這應(yīng)用程序性能會(huì)不好，可以利用諸如預(yù)讀取、寫緩存等策略提升應(yīng)用性能。

free -m

$free-m totalusedfreesharedbufferscached Mem:245998245452214538359541 -/+buffers/cache:23944222053 Swap:000 free命令可以查看系統(tǒng)內(nèi)存的使用情況，-m參數(shù)表示按照兆字節(jié)展示。最后兩列分別表示用于IO緩存的內(nèi)存數(shù)，和用于文件系統(tǒng)頁(yè)緩存的內(nèi)存數(shù)。需要注意的是，第二行-/+ buffers/cache，看上去緩存占用了大量?jī)?nèi)存空間。這是Linux系統(tǒng)的內(nèi)存使用策略，盡可能的利用內(nèi)存，如果應(yīng)用程序需要內(nèi)存，這部分內(nèi)存會(huì)立即被回收并分配給應(yīng)用程序。因此，這部分內(nèi)存一般也被當(dāng)成是可用內(nèi)存。 如果可用內(nèi)存非常少，系統(tǒng)可能會(huì)動(dòng)用交換區(qū)（如果配置了的話），這樣會(huì)增加IO開(kāi)銷（可以在iostat命令中提現(xiàn)），降低系統(tǒng)性能。

sar -n DEV 1

$sar-nDEV1 Linux3.13.0-49-generic(titanclusters-xxxxx)07/14/2015_x86_64_(32CPU) 1248AMIFACErxpck/stxpck/srxkB/stxkB/srxcmp/stxcmp/srxmcst/s%ifutil 1249AMeth018763.005032.0020686.42478.300.000.000.000.00 1249AMlo14.0014.001.361.360.000.000.000.00 1249AMdocker00.000.000.000.000.000.000.000.00 1249AMIFACErxpck/stxpck/srxkB/stxkB/srxcmp/stxcmp/srxmcst/s%ifutil 1250AMeth019763.005101.0021999.10482.560.000.000.000.00 1250AMlo20.0020.003.253.250.000.000.000.00 1250AMdocker00.000.000.000.000.000.000.000.00 sar命令在這里可以查看網(wǎng)絡(luò)設(shè)備的吞吐率。在排查性能問(wèn)題時(shí)，可以通過(guò)網(wǎng)絡(luò)設(shè)備的吞吐量，判斷網(wǎng)絡(luò)設(shè)備是否已經(jīng)飽和。如示例輸出中，eth0網(wǎng)卡設(shè)備，吞吐率大概在22 Mbytes/s，既176 Mbits/sec，沒(méi)有達(dá)到1Gbit/sec的硬件上限。

sar -n TCP,ETCP 1

$sar-nTCP,ETCP1 Linux3.13.0-49-generic(titanclusters-xxxxx)07/14/2015_x86_64_(32CPU) 1219AMactive/spassive/siseg/soseg/s 1220AM1.000.0010233.0018846.00 1219AMatmptf/sestres/sretrans/sisegerr/sorsts/s 1220AM0.000.000.000.000.00 1220AMactive/spassive/siseg/soseg/s 1221AM1.000.008359.006039.00 1220AMatmptf/sestres/sretrans/sisegerr/sorsts/s 1221AM0.000.000.000.000.00 sar命令在這里用于查看TCP連接狀態(tài)，其中包括：

active/s：每秒本地發(fā)起的TCP連接數(shù)，既通過(guò)connect調(diào)用創(chuàng)建的TCP連接；

passive/s：每秒遠(yuǎn)程發(fā)起的TCP連接數(shù)，即通過(guò)accept調(diào)用創(chuàng)建的TCP連接；

retrans/s：每秒TCP重傳數(shù)量；

TCP連接數(shù)可以用來(lái)判斷性能問(wèn)題是否由于建立了過(guò)多的連接，進(jìn)一步可以判斷是主動(dòng)發(fā)起的連接，還是被動(dòng)接受的連接。TCP重傳可能是因?yàn)榫W(wǎng)絡(luò)環(huán)境惡劣，或者服務(wù)器壓力過(guò)大導(dǎo)致丟包。

top

$top top-0040up21:56,1user,loadaverage:31.09,29.87,29.92 Tasks:871total,1running,868sleeping,0stopped,2zombie %Cpu(s):96.8us,0.4sy,0.0ni,2.7id,0.1wa,0.0hi,0.0si,0.0st KiBMem:25190241+total,24921688used,22698073+free,60448buffers KiBSwap:0total,0used,0free.554208cachedMem PIDUSERPRNIVIRTRESSHRS%CPU%MEMTIME+COMMAND 20248root2000.227t0.012t18748S30905.229812:58java 4213root20027225446464044232S23.50.0233:35.37mesos-slave 66128titancl+2002434423321172R1.00.00:00.07top 5235root20038.227g54700449996S0.70.22:02.74java 4299root20020.015g2.682g16836S0.31.133:14.42java1root2003362029201496S0.00.00:03.82init 2root200000S0.00.00:00.02kthreadd 3root200000S0.00.00:05.35ksoftirqd/0 5root0-20000S0.00.00:00.00kworker/0:0H 6root200000S0.00.00:06.94kworker/u256:0 8root200000S0.00.02:38.05rcu_sched top命令包含了前面好幾個(gè)命令的檢查的內(nèi)容。比如系統(tǒng)負(fù)載情況（uptime）、系統(tǒng)內(nèi)存使用情況（free）、系統(tǒng)CPU使用情況（vmstat）等。因此通過(guò)這個(gè)命令，可以相對(duì)全面的查看系統(tǒng)負(fù)載的來(lái)源。同時(shí)，top命令支持排序，可以按照不同的列排序，方便查找出諸如內(nèi)存占用最多的進(jìn)程、CPU占用率最高的進(jìn)程等。 但是，top命令相對(duì)于前面一些命令，輸出是一個(gè)瞬間值，如果不持續(xù)盯著，可能會(huì)錯(cuò)過(guò)一些線索。這時(shí)可能需要暫停top命令刷新，來(lái)記錄和比對(duì)數(shù)據(jù)。

總 結(jié)

排查L(zhǎng)inux服務(wù)器性能問(wèn)題還有很多工具，上面介紹的一些命令，可以幫助我們快速的定位問(wèn)題。例如前面的示例輸出，多個(gè)證據(jù)證明有JAVA進(jìn)程占用了大量CPU資源，之后的性能調(diào)優(yōu)就可以針對(duì)應(yīng)用程序進(jìn)行。