如何在命令行模式下使用已有的Linux性能分析

當(dāng)你登陸一臺(tái) Linux 服務(wù)器之后，因?yàn)橐粋€(gè)問題要做性能分析時(shí)：你會(huì)在第 1 分鐘內(nèi)做哪些檢測呢？

在 Netflix，我們有很多 EC2 的 Linux 機(jī)器，并且也需要很多性能分析工具來監(jiān)控和檢查它們的性能。包括有針對云上的監(jiān)控工具 Atlas，和按需要進(jìn)行實(shí)例分析的 Vector。雖然這些工具能幫助我們解決大多數(shù)問題，但是我們有時(shí)候還需要登陸機(jī)器實(shí)例去運(yùn)行一些標(biāo)準(zhǔn)的 Linux 性能分析工具。

最開始的 60 秒：總結(jié)在這篇文章中，Netflix 的性能分析工程師團(tuán)隊(duì)會(huì)給你展示在最開始的 60 秒內(nèi)，如何在命令行模式下使用已有的 Linux 標(biāo)準(zhǔn)工具進(jìn)行性能優(yōu)化檢測。在 60 秒內(nèi)只需要通過運(yùn)行下面的 10 個(gè)命令就可以對系統(tǒng)資源使用和運(yùn)行進(jìn)程有一個(gè)很高程度的了解。尋找錯(cuò)誤信息和飽和度指標(biāo)，并且可以顯示為請求隊(duì)列的長度，或者等待時(shí)長。因?yàn)樗鼈兌己苋菀桌斫猓缓缶褪琴Y源利用率。飽和度是指一個(gè)資源已經(jīng)超過了它自己的負(fù)荷能力。

有些命令需要安裝 sysstat 工具包。這些命令展示的指標(biāo)會(huì)幫助你完成一些 USE（Utilization，Saturation，Errors） 方法：定位性能瓶頸的方法論。包括了檢查使用率（Utilization），飽和度（Saturation），所有資源（比如 CPU，內(nèi)存，磁盤等）的錯(cuò)誤指標(biāo)（Errors）。同樣也要關(guān)注你什么時(shí)候檢查和排除一個(gè)資源問題，因?yàn)橥ㄟ^排除可以縮小分析范圍，同時(shí)也指導(dǎo)了任何后續(xù)的檢查。

下面的章節(jié)將會(huì)通過一個(gè)生產(chǎn)系統(tǒng)中的例子來介紹這些命令。要了解更多這些工具的信息，也可以查看它們的幫助手冊。

1. uptime

$ uptime

23:51:26 up 21:31， 1 user， load average： 30.02， 26.43， 19.02

這是一個(gè)快速展示系統(tǒng)平均負(fù)載的方法，這也指出了等待運(yùn)行進(jìn)程的數(shù)量。在 Linux 系統(tǒng)中，這些數(shù)字包括等待 CPU 運(yùn)行的進(jìn)程數(shù)，也包括了被不可中斷 I/O（通常是磁盤 I/O）阻塞的進(jìn)程。這給出了資源負(fù)載的很直接的展示，可以在沒有其它工具的幫助下更好的理解這些數(shù)據(jù)。它是唯一快捷的查看系統(tǒng)負(fù)載的方式。

這三個(gè)數(shù)字是以遞減的方式統(tǒng)計(jì)了過去 1 分鐘，5 分鐘和 15 分鐘常數(shù)的平均數(shù)。這三個(gè)數(shù)字給我們直觀展示了隨著時(shí)間的變化系統(tǒng)負(fù)載如何變化。例如，如果你被叫去查看一個(gè)有問題的服務(wù)器，并且 1 分鐘的所代表的值比 15 分鐘的值低很多，那么你可能由于太遲登陸機(jī)器而錯(cuò)過了問題發(fā)生的時(shí)間點(diǎn)。

在上面的例子中，平均負(fù)載顯示是在不斷增加的，1 分鐘的值是 30，相比 15 分鐘的值 19 來說是增加了。這個(gè)數(shù)字這么大就意味著有事情發(fā)生了：可能是 CPU 需求；vmstat 或者 mpstat 會(huì)幫助確認(rèn)到底是什么，這些命令會(huì)在本系列的第 3 和第 4 個(gè)命令中介紹。

2. dmesg | tail

這里展示的是最近 10 條系統(tǒng)消息日志，如果系統(tǒng)消息沒有就不會(huì)展示。主要是看由于性能問題導(dǎo)致的錯(cuò)誤。上面這個(gè)例子中包含了殺死 OOM 問題的進(jìn)程，丟棄 TCP 請求的問題。

所以要記得使用這個(gè)命令， dmesg 命令值得一用。

3. vmstat 1

對虛擬內(nèi)存統(tǒng)計(jì)的簡短展示，vmstat 是一個(gè)常用工具（最早是幾十年前為 BSD 創(chuàng)建的）。它每一行打印關(guān)鍵的服務(wù)信息統(tǒng)計(jì)摘要。

vmstat 使用參數(shù) 1 來運(yùn)行的時(shí)候，是每 1 秒打印一條統(tǒng)計(jì)信息。在這個(gè)版本的 vmstat 中，輸出的第一行展示的是自從啟動(dòng)后的平均值，而不是前一秒的統(tǒng)計(jì)。所以現(xiàn)在，可以跳過第一行，除非你要看一下抬頭的字段含義。

每列含義說明：

r： CPU 上的等待運(yùn)行的可運(yùn)行進(jìn)程數(shù)。這個(gè)指標(biāo)提供了判斷 CPU 飽和度的數(shù)據(jù)，因?yàn)樗话?I/O 等待的進(jìn)程?？山忉尀椋骸皉” 的值比 CPU 數(shù)大的時(shí)候就是飽和的。

free：空閑內(nèi)存，單位是 k。如果這個(gè)數(shù)比較大，就說明你還有充足的空閑內(nèi)存?！癴ree -m” 和下面第 7 個(gè)命令，可以更詳細(xì)的分析空閑內(nèi)存的狀態(tài)。

si，so：交換進(jìn)來和交換出去的數(shù)據(jù)量，如果這兩個(gè)值為非 0 值，那么就說明沒有內(nèi)存了。

us，sy，id，wa，st：這些是 CPU 時(shí)間的分解，是所有 CPU 的平均值。它們是用戶時(shí)間，系統(tǒng)時(shí)間（內(nèi)核），空閑，等待 I/O 時(shí)間，和被偷的時(shí)間（這里主要指其它的客戶，或者使用 Xen，這些客戶有自己獨(dú)立的操作域）。

CPU 時(shí)間的分解可以幫助確定 CPU 是不是非常忙（通過用戶時(shí)間和系統(tǒng)時(shí)間累加判斷）。持續(xù)的 I/O 等待則表明磁盤是瓶頸。這種情況下 CPU 是比較空閑的，因?yàn)槿蝿?wù)都由于等待磁盤 I/O 而被阻塞。你可以把等待 I/O 看作是另外一種形式的 CPU 空閑，而這個(gè)命令給了為什么它們空閑的線索。

系統(tǒng)時(shí)間對于 I/O 處理來說是必須的。比較高的平均系統(tǒng)時(shí)間消耗，比如超過了 20%，就有必要進(jìn)一步探索分析了：也有可能是內(nèi)核處理 I/O 效率不夠高導(dǎo)致。

在上面的例子中，CPU 時(shí)間幾乎都是用戶級(jí)別的，說明這是一個(gè)應(yīng)用級(jí)別的使用情況。如果 CPU 的使用率平均都超過了 90%。這不一定問題；可以使用 “r” 列來檢查使用飽和度。

4. mpstat -P ALL 1

這個(gè)命令分打印各個(gè) CPU 的時(shí)間統(tǒng)計(jì)，可以看出整體 CPU 的使用是不是均衡的。有一個(gè)使用率明顯較高的 CPU 就可以明顯看出來這是一個(gè)單線程應(yīng)用。

5. pidstat 1

pidstat 命令有點(diǎn)像 top 命令中的為每個(gè) CPU 統(tǒng)計(jì)信息功能，但是它是以不斷滾動(dòng)更新的方式打印信息，而不是每次清屏打印。這個(gè)對于觀察隨時(shí)間變化的模式很有用，同時(shí)把你看到的信息（復(fù)制粘貼）記到你的調(diào)查記錄中。

上面的例子可以看出是 2 個(gè) java 進(jìn)程在消耗 CPU。%CPU 列是所有 CPU 的使用率；1591% 是說明這個(gè) java 進(jìn)程消耗了幾乎 16 個(gè) CPU 核。

6. iostat -xz 1

這個(gè)工具對于理解塊設(shè)備（比如磁盤）很有用，展示了請求負(fù)載和性能數(shù)據(jù)。具體的數(shù)據(jù)看下面字段的解釋：

r/s， w/s， rkB/s， wkB/s：這些表示設(shè)備上每秒鐘的讀寫次數(shù)和讀寫的字節(jié)數(shù)（單位是 k 字節(jié)）。這些可以看出設(shè)備的負(fù)載情況。性能問題可能就是簡單的因?yàn)榇罅康奈募虞d請求。

await：I/O 等待的平均時(shí)間（單位是毫秒）。這是應(yīng)用程序所等待的時(shí)間，包含了等待隊(duì)列中的時(shí)間和被調(diào)度服務(wù)的時(shí)間。過大的平均等待時(shí)間就預(yù)示著設(shè)備超負(fù)荷了或者說設(shè)備有問題了。

avgqu-sz：設(shè)備上請求的平均數(shù)。數(shù)值大于 1 可能表示設(shè)備飽和了（雖然設(shè)備通常都是可以支持并行請求的，特別是在背后掛了多個(gè)磁盤的虛擬設(shè)備）。

%util：設(shè)備利用率。是使用率的百分?jǐn)?shù)，展示每秒鐘設(shè)備工作的時(shí)間。這個(gè)數(shù)值大于 60% 則會(huì)導(dǎo)致性能很低（可以在 await 中看），當(dāng)然這也取決于設(shè)備特點(diǎn)。這個(gè)數(shù)值接近 100% 則表示設(shè)備飽和了。

如果存儲(chǔ)設(shè)備是一個(gè)邏輯磁盤設(shè)備，后面掛載了多個(gè)磁盤，那么 100% 的利用率則只是表示有些 I/O 是在 100% 處理，然而后端的磁盤或許遠(yuǎn)遠(yuǎn)沒有飽和，還可以處理更多的請求。

請記住，磁盤 I/O 性能低不一定是應(yīng)用程序的問題。許多技術(shù)通常都被用來實(shí)現(xiàn)異步執(zhí)行 I/O，所以應(yīng)用程序不會(huì)直接阻塞和承受延時(shí)（比如：預(yù)讀取和寫緩沖技術(shù)）。

7. free -m

右面兩列展示的是：

buffers：用于塊設(shè)備 I/O 緩沖的緩存。

cached：用于文件系統(tǒng)的頁緩存。

我們只想檢測這些緩存的數(shù)值是否接近 0 。不為 0 的可能導(dǎo)致較高的磁盤 I/O（通過 iostat 命令來確認(rèn)）和較差的性能問題。上面的例子看起來沒問題，都還有很多 M 字節(jié)。

“-/+ buffers/cache” 這一行提供了對已使用和空閑內(nèi)存明確的統(tǒng)計(jì)。Linux 用空閑內(nèi)存作為緩存，如果應(yīng)用程序需要，可以快速拿回去。所以應(yīng)該包含空閑內(nèi)存那一列，這里就是這么統(tǒng)計(jì)的。甚至有一個(gè)網(wǎng)站專門來介紹 Linux 內(nèi)存消耗的問題：linuxatemyram。

如果在 Linux 上使用了 ZFS 文件系統(tǒng)，則可能會(huì)更亂，因?yàn)楫?dāng)我們在開發(fā)一些服務(wù)的時(shí)候，ZFS 有它自己的文件系統(tǒng)緩存，而這部分內(nèi)存的消耗是不會(huì)在 free -m 這個(gè)命令中合理的反映的。顯示了系統(tǒng)內(nèi)存不足，但是 ZFS 的這部分緩存是可以被應(yīng)用程序使用的。

8. sar -n DEV 1

使用這個(gè)工具是可以檢測網(wǎng)絡(luò)接口的吞吐：rxkB/s 和 txkB/s，作為收發(fā)數(shù)據(jù)負(fù)載的度量，也是檢測是否達(dá)到收發(fā)極限。在上面這個(gè)例子中，eth0 接收數(shù)據(jù)達(dá)到 22 M 字節(jié)/秒，也就是 176 Mbit/秒（網(wǎng)卡的上限是 1 Gbit/秒）。

這個(gè)版本的工具還有一個(gè)統(tǒng)計(jì)字段： %ifutil，用于統(tǒng)計(jì)設(shè)備利用率（全雙工雙向最大值），這個(gè)利用率也可以使用 Brendan 的 nicstat 工具來測量統(tǒng)計(jì)。在這個(gè)例子中 0.00 這種情況就似乎就是沒有統(tǒng)計(jì)，這個(gè)和 nicstat 一樣，這個(gè)值是比較難統(tǒng)計(jì)正確的。

9. sar -n TCP，ETCP 1

這是對 TCP 關(guān)鍵指標(biāo)的統(tǒng)計(jì)，它包含了以下內(nèi)容：

active/s：每秒本地發(fā)起的 TCP 連接數(shù)（例如通過 connect（） 發(fā)起的連接）。

passive/s：每秒遠(yuǎn)程發(fā)起的連接數(shù)（例如通過 accept（） 接受的連接）。

retrans/s：每秒 TCP 重傳數(shù)。

這種主動(dòng)和被動(dòng)統(tǒng)計(jì)數(shù)通常用作對系統(tǒng)負(fù)載的粗略估計(jì)：新接受連接數(shù)（被動(dòng)），下游連接數(shù)（主動(dòng)）?？梢园阎鲃?dòng)看作是外部的，被動(dòng)的是內(nèi)部，但是這個(gè)通常也不是非常準(zhǔn)確（例如：當(dāng)有本地到本地的連接時(shí)）。

重傳是網(wǎng)絡(luò)或者服務(wù)器有問題的一個(gè)信號(hào)；可能是一個(gè)不可靠的網(wǎng)絡(luò)（例如：公網(wǎng)），或者可能是因?yàn)榉?wù)器過載了開始丟包。上面這個(gè)例子可以看出是每秒新建一個(gè) TCP 連接。

10. top

top 命令包含了很多我們前面提到的指標(biāo)。這個(gè)命令可以很容易看出指標(biāo)的變化表示負(fù)載的變化，這個(gè)看起來和前面的命令有很大不同。

top 的一個(gè)缺陷也比較明顯，很難看出變化趨勢，其它像 vmstat 和 pidstat 這樣的工具就會(huì)很清晰，它們是以滾動(dòng)的方式輸出統(tǒng)計(jì)信息。所以如果你在看到有問題的信息時(shí)沒有及時(shí)的暫停下來（Ctrl-S 是暫停， Ctrl-Q 是繼續(xù)），那么這些有用的信息就會(huì)被清屏。

Follow-on Analysis還有很多可以使用來深挖系統(tǒng)問題的命令和技術(shù)，可以看看 Brendan 在 2015 年講的 Linux 性能工具介紹 ，這里面講述了 40 多個(gè)命令，涵蓋了可觀測性，基準(zhǔn)測試，調(diào)優(yōu)，靜態(tài)性能調(diào)優(yōu)，分析和跟蹤等多個(gè)方面。

作者：helightxu，騰訊 IEG 開發(fā)工程師

編輯：hfy