用于衡量CPU的繁忙程度的正確指標(biāo)

1. 引言

可能你認(rèn)為的 90% CPU 利用率意味著這樣的情形：

而實(shí)際卻可能是這樣的：

CPU 并非 90% 的時(shí)間都在忙著，很大一部分時(shí)間在等待，或者說“停頓(Stalled)”了。這種情況表示處理器流水線停頓，一般由資源競(jìng)爭(zhēng)、數(shù)據(jù)依賴等原因造成。多數(shù)情況下表現(xiàn)為等待訪存操作，其中又以讀操作為主。在停頓周期內(nèi)，不能執(zhí)行指令，這意味著你的程序不往前走。值得注意的是，圖中 “Stalled” 狀態(tài)所占的比例是作者依據(jù)生產(chǎn)環(huán)境中的典型場(chǎng)景計(jì)算而來，具有普遍現(xiàn)實(shí)意義。因此，大多時(shí)候 CPU 處于停頓狀態(tài)，而你卻不知道，因?yàn)?CPU 利用率這個(gè)指標(biāo)沒有告訴你真相。通過進(jìn)一步分析 CPU 停頓的原因，可以指導(dǎo)代碼優(yōu)化，提高執(zhí)行效率，這是我們深入理解CPU微架構(gòu)的動(dòng)力之一。

2. CPU 利用率的真實(shí)含義是什么？

我們通常所說的CPU利用率是指 “non-idle time”：即CPU不執(zhí)行 idle thread 的時(shí)間。操作系統(tǒng)內(nèi)核會(huì)在上下文切換時(shí)記錄CPU的運(yùn)行時(shí)間。假設(shè)一個(gè) non-idle thread 開始運(yùn)行，100ms 后結(jié)束，內(nèi)核會(huì)認(rèn)為這段時(shí)間內(nèi) CPU 利用率為 100%。這種度量方式源于分時(shí)復(fù)用系統(tǒng)。早在阿波羅登月艙的導(dǎo)航計(jì)算機(jī)中，idle thread 當(dāng)時(shí)被叫做 “DUMMY JOB”，工程師通過比對(duì)運(yùn)行 “DUMMY JOB” 和 “實(shí)際任務(wù)” 的時(shí)間來衡量導(dǎo)航系統(tǒng)的利用率。

那么這個(gè)所謂“利用率”的問題在哪兒呢？

當(dāng)今時(shí)代，CPU 執(zhí)行速度遠(yuǎn)遠(yuǎn)大于內(nèi)存訪問速度，等待訪存的時(shí)間成為占用 CPU 時(shí)間的主要部分。當(dāng)你在 top 中看到很高的 “%CPU”，你可能認(rèn)為處理器是瓶頸，但實(shí)際上卻是內(nèi)存。在過去很長(zhǎng)一段時(shí)間內(nèi)，CPU 頻率增長(zhǎng)的速度大于 DRAM 訪存延時(shí)降低的速度（CPU DRAM gap），直到2005年前后，處理器廠商們才開始放棄“頻率路線”，轉(zhuǎn)向多核、超線程技術(shù)，再加上多處理器架構(gòu)，這些都導(dǎo)致訪存需求急劇上升。盡管廠商通過增大 cache 容量、優(yōu)化 cache 策略、提升總線帶寬來試圖緩解訪存瓶頸，但我們的程序仍深受 CPU stall 困擾。

3. 如何真正辨別 CPU 在做些什么？

在 PMC(Performance Monitoring Counters) 的幫助下，我們能看到更多的 CPU 運(yùn)行狀態(tài)信息。下圖中，perf采集了10秒內(nèi)全部 CPU 的運(yùn)行狀態(tài)。

這里我們重點(diǎn)關(guān)注的核心度量指標(biāo)是 IPC(instructions per cycle)，它表示平均每個(gè) CPU cycle 執(zhí)行的指令數(shù)量，很顯然該數(shù)值越大性能越好。上圖中IPC 為 0.78，看起來還不錯(cuò)，是不是 78% busy 呢？現(xiàn)代處理器一般有多條流水線，運(yùn)行perf的那臺(tái)機(jī)器，IPC 的理論值可達(dá)到 4.0。如果我們從 IPC的角度來看，這臺(tái)機(jī)器只運(yùn)行到其處理器最高速度的 19.5%（0.78 / 4.0)。幸運(yùn)的是，在處理器內(nèi)部，有很多 PMU event，可用來幫助我們分析造成 CPU stall 的原因。用好 PMU 需要我們熟悉處理器微架構(gòu)，可以參考 Intel SDM。

4. 最佳實(shí)踐是什么？

如果 IPC < 1.0, 很可能是 Memory stall 占主導(dǎo)，可從軟件和硬件兩個(gè)方面考慮這個(gè)問題。軟件方面：減少不必要的訪存操作，提升 cache 命中率，盡量訪問本地節(jié)點(diǎn)內(nèi)存；硬件方面：增加 cache 容量，加快訪存速度，提升總線帶寬。

如果IPC > 1.0, 很可能是計(jì)算密集型的程序?？梢栽噲D減少執(zhí)行指令的數(shù)量：消除不必要的工作?；鹧鎴DCPU flame graphs，非常適用于分析這類問題。硬件方面：嘗試超頻、使用更多的 core 或 hyperthread。作者根據(jù)PMU相關(guān)的工作經(jīng)驗(yàn)，設(shè)定了1.0這個(gè)閾值，用于區(qū)分訪存密集型(memory-bound)和計(jì)算密集型(cpu-bound)程序。讀者可以根據(jù)自己的實(shí)際工作平臺(tái)，合理調(diào)整這個(gè)閾值。

5. 性能工具應(yīng)該告訴我們什么？

作者認(rèn)為，性能工具中使用 %CPU 時(shí)都應(yīng)該附帶上 IPC，或者將 %CPU 拆分為指令執(zhí)行消耗 cycle(%INS) 和 stalled 的 cycle(%STL)。對(duì)應(yīng)到top，在 Linux 系統(tǒng)有一個(gè)能夠顯示每個(gè)處理器 IPC 的工具tiptop:

6. 其他可能讓 CPU 利用率引起誤解的因素

除了訪存導(dǎo)致的 stall 容易讓人誤解 CPU 利用率外，還有其他一些因素：

溫度原因?qū)е绿幚砥?stall；

Turboboost 干擾了時(shí)鐘速率；

內(nèi)核使得時(shí)鐘速率加快；

平均帶來的問題：1分鐘利用率平均 80%，掩蓋了中間 100% 部分；

自旋鎖: CPU 一直在被使用，同時(shí) IPC 也很高，但是應(yīng)用邏輯上并沒有任何進(jìn)展。

7. 更新：CPU 利用率真的錯(cuò)了嗎?

這篇文章引起了大量留言：

http://www.brendangregg.com/blog/2017-05-09/cpu-utilization-is-wrong.html的留言欄;

https://news.ycombinator.com/item?id=14301739

https://www.reddit.com/r/programming/comments/6a6v8g/cpu_utilization_is_wrong/

總結(jié)下作者的回答是：這里討論的并不是 iowait (那是磁盤IO)，而且如果你已經(jīng)確認(rèn)是訪存密集型，是有些處理辦法（參考上面）。

那么 CPU 利用率指標(biāo)是確確實(shí)實(shí)錯(cuò)誤的，還是只是容易誤導(dǎo)？如作者前面所說，他認(rèn)為許多人把高 CPU 利用率理解為瓶頸在 CPU 上，這一行為才是錯(cuò)誤的；其實(shí)單看 CPU 利用率并不清楚瓶頸在何處，很多時(shí)候瓶頸是在外部。這個(gè)指標(biāo)技術(shù)上看是否正確？如果 CPU stall 的周期并不能被其他地方使用，它們是不是也就因此是“忙于等待“（聽起來有點(diǎn)矛盾）？在有些情況，確實(shí)如此，你可以說 CPU 利用率作為操作系統(tǒng)級(jí)別的指標(biāo)技術(shù)上看是對(duì)的，但是容易產(chǎn)生誤導(dǎo)。從另一個(gè)角度來說，有超線程的情況下，那些 stalled 的周期是可以被其他線程使用的，這時(shí) “%CPU” 可能會(huì)將可用的周期統(tǒng)計(jì)為正在使用，這種情況是錯(cuò)誤的。這篇文章作者想關(guān)注的是解釋清楚這個(gè)問題，并給出解決方法建議，但沒錯(cuò)，CPU 利用率這個(gè)指標(biāo)本身也是存在一些問題的。

當(dāng)你可能會(huì)說利用率作為一個(gè)指標(biāo)已經(jīng)不對(duì)，Andrian Cockcroft之前討論已經(jīng)指出過 (http://www.hpts.ws/papers/2007/Cockcroft_HPTS-Useless.pdf)。

8. 結(jié)論

CPU 利用率已經(jīng)開始成為一個(gè)容易誤導(dǎo)的指標(biāo)：它包含訪存導(dǎo)致的等待周期，這樣會(huì)影響一些新應(yīng)用。也許 “%CPU” 應(yīng)該重命名為 “%CYC”（cycles的縮寫）。要清楚知道 “%CPU” 的含義，需要使用其他指標(biāo)進(jìn)行輔助，其中就包括每周期指令數(shù)(IPC)。IPC < 1.0 多半意味著訪存密集型，IPC > 1.0 多半意味著計(jì)算密集型。作者之前的文章中涵蓋有 IPC 說明，以及用于測(cè)量 IPC 的 Performance Monitoring Counters（PMCs）的介紹。

所有的性能監(jiān)控產(chǎn)品如果展示 “%CPU”，都應(yīng)該同時(shí)展示 PMC 指標(biāo)用于解釋其真實(shí)意義，不要誤導(dǎo)用戶。比如，可以把 “%CPU” 和 “IPC” 一起放，或者說指令執(zhí)行消耗周期和 stalled 周期。有這些指標(biāo)之后，開發(fā)者和操作者就能夠知道該如何更好地對(duì)應(yīng)用和系統(tǒng)進(jìn)行調(diào)優(yōu)。