如何選擇一個 Linux Tracer

tracer 是一個高級的性能分析和診斷工具，但是不要讓這名詞唬住你，如果你使用過 strace 和tcpdump，其實你就已經(jīng)使用過 tracer 了。系統(tǒng) tracer 可以獲取更多的系統(tǒng)調(diào)用和數(shù)據(jù)包。它們通常能跟蹤任意的內(nèi)核和應(yīng)用程序。

有太多的 Linux tracer 可以選擇。每一種都有其官方的（或非官方的）的卡通的獨角獸吉祥物，足夠撐起一臺"兒童劇"了。

那么我們應(yīng)該使用哪個 tracer 呢？

我會為兩類讀者回答這個問題，大部分人和性能/內(nèi)核工程師。過一段時間這些可能會發(fā)生變化，我會持續(xù)跟進(jìn)并補充，大概會一年更新一次。

多數(shù)人

多數(shù)人 (開發(fā)者，系統(tǒng)管理員，開發(fā)管理者，運維人員，評測人員，等等) 不關(guān)心系統(tǒng)追蹤器的細(xì)節(jié)。下面是對于追蹤器你應(yīng)該知道和做的：

1. 使用perf_events分析CPU性能

使用 perf_events 做 CPU 性能分析。性能指標(biāo)可以使用?flame graph?等工具做可視化。

Linux perf_events (又稱 "perf"，同命令名) 是 Linux 用戶的官方追蹤器和性能分析器。內(nèi)置于內(nèi)核代碼，有很好維護(hù)（近來獲得快速增強），通常通過 linux 命令行工具包添加。

perf 有很多功能，如果只能推薦一個，我選擇 CPU 性能分析。盡管這只是采樣，而不是從技術(shù)上追蹤事件。最難的部分是獲取完整的棧和信息，我為 java 和 node.js 做的一個演講?Linux Profiling at Netflix?中已經(jīng)說過這個問題

2.了解其他的Tracer

正如我一個朋友說的：“你不需要知道如何操作 X 射線機器，但是一旦你吞了一枚硬幣，你得知道這得去做 X 射線”，你應(yīng)該了解各種 tracer 都能做什么，這樣就能在你工作中真正需要 tracer 的時候，你既可以選擇稍后學(xué)習(xí)使用，也可以雇相應(yīng)的人來完成。

簡短來說：幾乎所有的東西都可以使用 tracer 來進(jìn)行分析和跟蹤。如，文件系統(tǒng)，網(wǎng)絡(luò)處理器，硬件驅(qū)動器，全部的應(yīng)用程序?？梢钥匆幌挛业膫€人網(wǎng)站上關(guān)于?ftrace的文章，還有我寫的關(guān)于perf_events?文檔介紹，可以做為一個追蹤(或者性能分析)的例子。

3. 尋求前端支持工具

如果你正想買一個能支持跟蹤 Linux 的性能分析工具（有許多賣這類工具的公司）。想像一下，只需要直接點擊一下界面就能“洞察”整個系統(tǒng)內(nèi)核，包括隱藏的不同堆棧位置的熱圖，我在Monitorama talk?中介紹了一個這樣帶圖形界面的工具。

我開源了一些我自己開發(fā)的前端工具，盡管只是 CLI （命令行界面）而不是（圖形界面）。這些工具也會讓人們更加快速容易的使用 tracer。比如下面的例子，用我的 perf_tool，跟蹤一個新進(jìn)程:

在 Netflix 上，我們創(chuàng)建了一個?Vector，一個分析工具的實例同時也是 Linux 上的 tracer 的最終前端。

致性能或內(nèi)核工程師

?

我們的工作變的越來越困難，很多的人會問我們怎么樣去追蹤，哪種路徑可以用！為了正確理解一個路徑，你經(jīng)常需要花上至少100個小時才能做到。理解所有的 linux 路徑去做出理性的決定是一個浩大的工程。（我可能是唯一一個接近做到這件事情的人）

這里是我的建議，可以二選其一：

A) 選中一個全能的路徑，并且使它標(biāo)準(zhǔn)化，這將涉及花費大量的時間去弄清楚它在測試環(huán)境中的細(xì)微差別和安全性。我現(xiàn)在推薦 SystemTap 的最新版本（ie，從BPF slides和?dtrace4linux?主要是 Paul Fox 一個人在業(yè)余時間完成的，它是 Sun DTrace 的 Linux 版本。它引入矚目，還有一些 provider 可以運行，但是從某種程度上來說還不完整，更多的是一種實驗性的工具（不安全）。我認(rèn)為，顧忌到許可問題，人們會小心翼翼的為 dtrace4linux 貢獻(xiàn)代碼：由于當(dāng)年 Sun 開源DTrace 使用的是 CDDL 協(xié)議，而 dtrace4linux 也不大可能最終進(jìn)入 Linux kernel。Paul 的方法很可能會使其成為一個 add-on。我很樂意看到 Linux 平臺上的 DTrace 和這個項目的完成，我認(rèn)為當(dāng)我加入 Netflix 后將會花些時間來協(xié)助完成這個項目。然而，我還是要繼續(xù)使用內(nèi)置的 tracers，如 ftrace 和 perf_events。

8.OL DTrace

Oracle Linux DTrace為了將 DTrace 引入 Linux，特別是 Oracle Linux，做出了很大的努力。這些年來發(fā)布的多個版本表明了它的穩(wěn)定進(jìn)展。開發(fā)者們以一種對這個項目的前景看好的態(tài)度談?wù)撝倪M(jìn) DTrace 測試套件。很多有用的 provider 已經(jīng)完成了，如：syscall, profile, sdt, proc, sched 以及 USDT。我很期待 fbt（function boundary tracing, 用于內(nèi)核動態(tài)跟蹤）的完成，它是 Linux 內(nèi)核上非常棒的 provider。OL DTrace 最終的成功將取決于人們對運行 Oracle Linux（為技術(shù)支持付費）有多大興趣，另一方面取決于它是否完全開源：它的內(nèi)核元件是開源的，而我沒有看到它的用戶級別代碼。

9. sysdig

sysdig是一個使用類tcpdump語法來操作系統(tǒng)事件的新tracer，它使用lua提交進(jìn)程。它很優(yōu)秀，它見證了系統(tǒng)跟蹤領(lǐng)域的變革。它的局限性在于它只在當(dāng)前進(jìn)行系統(tǒng)調(diào)用，在提交進(jìn)行時將所有事件轉(zhuǎn)儲為用戶級別。你可以使用系統(tǒng)調(diào)用做很多事情，然而我還是很希望它能支持跟蹤點、kprobe和uprobe。我還期待它能支持eBPF做內(nèi)核摘要。目前，sysdig開發(fā)者正在增加容器支持。留意這些內(nèi)容。