1. 引言
可能你認(rèn)為的 90% CPU 利用率意味著這樣的情形:
而實(shí)際卻可能是這樣的:
CPU 并非 90% 的時(shí)間都在忙著,很大一部分時(shí)間在等待,或者說“停頓(Stalled)”了。這種情況表示處理器流水線停頓,一般由資源競(jìng)爭(zhēng)、數(shù)據(jù)依賴等原因造成。多數(shù)情況下表現(xiàn)為等待訪存操作,其中又以讀操作為主。在停頓周期內(nèi),不能執(zhí)行指令,這意味著你的程序不往前走。值得注意的是,圖中 “Stalled” 狀態(tài)所占的比例是作者依據(jù)生產(chǎn)環(huán)境中的典型場(chǎng)景計(jì)算而來,具有普遍現(xiàn)實(shí)意義。因此,大多時(shí)候 CPU 處于停頓狀態(tài),而你卻不知道,因?yàn)?CPU 利用率這個(gè)指標(biāo)沒有告訴你真相。通過進(jìn)一步分析 CPU 停頓的原因,可以指導(dǎo)代碼優(yōu)化,提高執(zhí)行效率,這是我們深入理解CPU微架構(gòu)的動(dòng)力之一。
2. CPU 利用率的真實(shí)含義是什么?
我們通常所說的CPU利用率是指 “non-idle time”:即CPU不執(zhí)行 idle thread 的時(shí)間。操作系統(tǒng)內(nèi)核會(huì)在上下文切換時(shí)記錄CPU的運(yùn)行時(shí)間。假設(shè)一個(gè) non-idle thread 開始運(yùn)行,100ms 后結(jié)束,內(nèi)核會(huì)認(rèn)為這段時(shí)間內(nèi) CPU 利用率為 100%。這種度量方式源于分時(shí)復(fù)用系統(tǒng)。早在阿波羅登月艙的導(dǎo)航計(jì)算機(jī)中,idle thread 當(dāng)時(shí)被叫做 “DUMMY JOB”,工程師通過比對(duì)運(yùn)行 “DUMMY JOB” 和 “實(shí)際任務(wù)” 的時(shí)間來衡量導(dǎo)航系統(tǒng)的利用率。
那么這個(gè)所謂“利用率”的問題在哪兒呢?
當(dāng)今時(shí)代,CPU 執(zhí)行速度遠(yuǎn)遠(yuǎn)大于內(nèi)存訪問速度,等待訪存的時(shí)間成為占用 CPU 時(shí)間的主要部分。當(dāng)你在 top 中看到很高的 “%CPU”,你可能認(rèn)為處理器是瓶頸,但實(shí)際上卻是內(nèi)存。在過去很長(zhǎng)一段時(shí)間內(nèi),CPU 頻率增長(zhǎng)的速度大于 DRAM 訪存延時(shí)降低的速度(CPU DRAM gap),直到2005年前后,處理器廠商們才開始放棄“頻率路線”,轉(zhuǎn)向多核、超線程技術(shù),再加上多處理器架構(gòu),這些都導(dǎo)致訪存需求急劇上升。盡管廠商通過增大 cache 容量、優(yōu)化 cache 策略、提升總線帶寬來試圖緩解訪存瓶頸,但我們的程序仍深受 CPU stall 困擾。
3. 如何真正辨別 CPU 在做些什么?
在 PMC(Performance Monitoring Counters) 的幫助下,我們能看到更多的 CPU 運(yùn)行狀態(tài)信息。下圖中,perf采集了10秒內(nèi)全部 CPU 的運(yùn)行狀態(tài)。
這里我們重點(diǎn)關(guān)注的核心度量指標(biāo)是 IPC(instructions per cycle),它表示平均每個(gè) CPU cycle 執(zhí)行的指令數(shù)量,很顯然該數(shù)值越大性能越好。上圖中IPC 為 0.78,看起來還不錯(cuò),是不是 78% busy 呢?現(xiàn)代處理器一般有多條流水線,運(yùn)行perf的那臺(tái)機(jī)器,IPC 的理論值可達(dá)到 4.0。如果我們從 IPC的角度來看,這臺(tái)機(jī)器只運(yùn)行到其處理器最高速度的 19.5%(0.78 / 4.0)。幸運(yùn)的是,在處理器內(nèi)部,有很多 PMU event,可用來幫助我們分析造成 CPU stall 的原因。用好 PMU 需要我們熟悉處理器微架構(gòu),可以參考 Intel SDM。
4. 最佳實(shí)踐是什么?
如果 IPC < 1.0, 很可能是 Memory stall 占主導(dǎo),可從軟件和硬件兩個(gè)方面考慮這個(gè)問題。軟件方面:減少不必要的訪存操作,提升 cache 命中率,盡量訪問本地節(jié)點(diǎn)內(nèi)存;硬件方面:增加 cache 容量,加快訪存速度,提升總線帶寬。
如果IPC > 1.0, 很可能是計(jì)算密集型的程序??梢栽噲D減少執(zhí)行指令的數(shù)量:消除不必要的工作?;鹧鎴DCPU flame graphs,非常適用于分析這類問題。硬件方面:嘗試超頻、使用更多的 core 或 hyperthread。作者根據(jù)PMU相關(guān)的工作經(jīng)驗(yàn),設(shè)定了1.0這個(gè)閾值,用于區(qū)分訪存密集型(memory-bound)和計(jì)算密集型(cpu-bound)程序。讀者可以根據(jù)自己的實(shí)際工作平臺(tái),合理調(diào)整這個(gè)閾值。
5. 性能工具應(yīng)該告訴我們什么?
作者認(rèn)為,性能工具中使用 %CPU 時(shí)都應(yīng)該附帶上 IPC,或者將 %CPU 拆分為指令執(zhí)行消耗 cycle(%INS) 和 stalled 的 cycle(%STL)。對(duì)應(yīng)到top,在 Linux 系統(tǒng)有一個(gè)能夠顯示每個(gè)處理器 IPC 的工具tiptop:
6. 其他可能讓 CPU 利用率引起誤解的因素
除了訪存導(dǎo)致的 stall 容易讓人誤解 CPU 利用率外,還有其他一些因素:
溫度原因?qū)е绿幚砥?stall;
Turboboost 干擾了時(shí)鐘速率;
內(nèi)核使得時(shí)鐘速率加快;
平均帶來的問題:1分鐘利用率平均 80%,掩蓋了中間 100% 部分;
自旋鎖: CPU 一直在被使用,同時(shí) IPC 也很高,但是應(yīng)用邏輯上并沒有任何進(jìn)展。
7. 更新:CPU 利用率真的錯(cuò)了嗎?
這篇文章引起了大量留言:
http://www.brendangregg.com/blog/2017-05-09/cpu-utilization-is-wrong.html的留言欄;
https://news.ycombinator.com/item?id=14301739
https://www.reddit.com/r/programming/comments/6a6v8g/cpu_utilization_is_wrong/
總結(jié)下作者的回答是:這里討論的并不是 iowait (那是磁盤IO),而且如果你已經(jīng)確認(rèn)是訪存密集型,是有些處理辦法(參考上面)。
那么 CPU 利用率指標(biāo)是確確實(shí)實(shí)錯(cuò)誤的,還是只是容易誤導(dǎo)?如作者前面所說,他認(rèn)為許多人把高 CPU 利用率理解為瓶頸在 CPU 上,這一行為才是錯(cuò)誤的;其實(shí)單看 CPU 利用率并不清楚瓶頸在何處,很多時(shí)候瓶頸是在外部。這個(gè)指標(biāo)技術(shù)上看是否正確?如果 CPU stall 的周期并不能被其他地方使用,它們是不是也就因此是“忙于等待“(聽起來有點(diǎn)矛盾)?在有些情況,確實(shí)如此,你可以說 CPU 利用率作為操作系統(tǒng)級(jí)別的指標(biāo)技術(shù)上看是對(duì)的,但是容易產(chǎn)生誤導(dǎo)。從另一個(gè)角度來說,有超線程的情況下,那些 stalled 的周期是可以被其他線程使用的,這時(shí) “%CPU” 可能會(huì)將可用的周期統(tǒng)計(jì)為正在使用,這種情況是錯(cuò)誤的。這篇文章作者想關(guān)注的是解釋清楚這個(gè)問題,并給出解決方法建議,但沒錯(cuò),CPU 利用率這個(gè)指標(biāo)本身也是存在一些問題的。
當(dāng)你可能會(huì)說利用率作為一個(gè)指標(biāo)已經(jīng)不對(duì),Andrian Cockcroft之前討論已經(jīng)指出過 (http://www.hpts.ws/papers/2007/Cockcroft_HPTS-Useless.pdf)。
8. 結(jié)論
CPU 利用率已經(jīng)開始成為一個(gè)容易誤導(dǎo)的指標(biāo):它包含訪存導(dǎo)致的等待周期,這樣會(huì)影響一些新應(yīng)用。也許 “%CPU” 應(yīng)該重命名為 “%CYC”(cycles的縮寫)。要清楚知道 “%CPU” 的含義,需要使用其他指標(biāo)進(jìn)行輔助,其中就包括每周期指令數(shù)(IPC)。IPC < 1.0 多半意味著訪存密集型,IPC > 1.0 多半意味著計(jì)算密集型。作者之前的文章中涵蓋有 IPC 說明,以及用于測(cè)量 IPC 的 Performance Monitoring Counters(PMCs)的介紹。
所有的性能監(jiān)控產(chǎn)品如果展示 “%CPU”,都應(yīng)該同時(shí)展示 PMC 指標(biāo)用于解釋其真實(shí)意義,不要誤導(dǎo)用戶。比如,可以把 “%CPU” 和 “IPC” 一起放,或者說指令執(zhí)行消耗周期和 stalled 周期。有這些指標(biāo)之后,開發(fā)者和操作者就能夠知道該如何更好地對(duì)應(yīng)用和系統(tǒng)進(jìn)行調(diào)優(yōu)。
-
cpu
+關(guān)注
關(guān)注
68文章
10781瀏覽量
210533 -
IPC
+關(guān)注
關(guān)注
3文章
337瀏覽量
51726
原文標(biāo)題:震驚,用了這么多年的 CPU 利用率,其實(shí)是錯(cuò)的
文章出處:【微信號(hào):LinuxDev,微信公眾號(hào):Linux閱碼場(chǎng)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論