淺談無(wú)法避開(kāi)的Linux 系統(tǒng)故障

作為程序員，和 Linux 打交道，在服務(wù)器上分析系統(tǒng)性能情況，我覺(jué)得是每一個(gè)后端工程師都無(wú)法避開(kāi)的事情。

無(wú)論你是開(kāi)發(fā)還是運(yùn)維，可能都經(jīng)歷過(guò)這樣的場(chǎng)景：

流量高峰期，服務(wù)器 CPU 使用率過(guò)高報(bào)警，你登錄 Linux 上去 top 完之后，卻不知道怎么進(jìn)一步定位，到底是系統(tǒng) CPU 資源太少，還是程序并發(fā)部分寫(xiě)得有問(wèn)題？

系統(tǒng)并沒(méi)有跑什么吃內(nèi)存的程序，但在敲完 free 命令之后，卻發(fā)現(xiàn)已經(jīng)沒(méi)什么內(nèi)存了，到底是哪里占用了內(nèi)存？為什么？

一大早就收到 Zabbix 告警，你發(fā)現(xiàn)某臺(tái)存放監(jiān)控?cái)?shù)據(jù)的數(shù)據(jù)庫(kù)主機(jī) CPU 的 I/O Wait 較高，該怎么辦？

Linux 性能問(wèn)題一直是程序員頭上的“緊箍咒”，大多數(shù)時(shí)候，我們只能看到“癥狀”，卻不知道從哪兒下手排查和解決。就算看了很多資料和書(shū)籍，一旦涉及到具體問(wèn)題，還是會(huì)一臉懵逼。

在我看來(lái)，與其上來(lái)就去啃厚厚的原理書(shū)，把自己的信心壓垮，不如帶著問(wèn)題，對(duì)癥下藥。說(shuō)說(shuō)我的經(jīng)驗(yàn)，有 3 點(diǎn)我覺(jué)得比較重要：

先掌握性能優(yōu)化的思路和方法，嘗試大量 Linux 性能工具；

把性能問(wèn)題跟系統(tǒng)原理關(guān)聯(lián)起來(lái)，特別是把應(yīng)用程序、庫(kù)函數(shù)、系統(tǒng)調(diào)用、內(nèi)核和硬件等不同的層級(jí)貫穿起來(lái)；

最終從學(xué)習(xí)到輸出，從實(shí)踐中總結(jié)經(jīng)驗(yàn)。

這其中，一開(kāi)始就勸退你的，可能就是 Linux 性能工具的使用，它除了要考慮性能指標(biāo)的目的外，還要結(jié)合待分析的環(huán)境來(lái)綜合選取。

雖說(shuō)咱有布倫丹·格雷格（Brendan Gregg）大師整理的性能工具圖譜，相信你也多少參考過(guò)，但其實(shí)它還不夠具體，使用時(shí)還要去查找每個(gè)工具的手冊(cè)，對(duì)比分析做出選擇。

所以每次用的時(shí)候，我就在想，有沒(méi)有更好的方法來(lái)理解這些工具呢？剛剛開(kāi)始研究的時(shí)候，可沒(méi)少在網(wǎng)上找資料，但總是零散、不成體系，最終我找到了倪朋飛《Linux 性能優(yōu)化實(shí)戰(zhàn)》專(zhuān)欄中，總結(jié)的幾個(gè)性能工具圖。

他根據(jù)「性能指標(biāo)」的不同，將工具劃分為 CPU、內(nèi)存、磁盤(pán) I / O 及網(wǎng)絡(luò)，4 大類(lèi)型，總算是一次性讓我把性能工具搞明白了。

看這些圖，就很清晰了，比如，當(dāng)遇到 I/O 性能問(wèn)題時(shí)，可以根據(jù)不同的性能指標(biāo)，使用 iostat、iotop、blktrace 等工具分析磁盤(pán) I/O 的瓶頸。

編輯：黃飛