分類問題統(tǒng)計指標入門：混淆矩陣、召回、誤檢率、AUROC

縮寫

AUC曲線下面積（Area Under the Curve）

AUROC接受者操作特征曲線下面積（Area Under the Receiver Operating Characteristic curve）

大多數(shù)時候，AUC都是指AUROC，這是一個不好地做法，正如Marc Claesen指出的那樣，AUC有歧義（可能是任何曲線），而AUROC沒有歧義。

AUROC解釋

AUROC有一些等價的解釋：

均勻抽取的隨機陽性樣本排名在均勻抽取的隨機陰性樣本之前的期望

陽性樣本排名在均勻抽取的隨機陰性樣本之前的期望比例

若排名在一個隨機抽取的隨機陰性樣本前分割，期望的真陽性率

陰性樣本排名在均勻抽取的隨機陽性樣本之后和期望比例

若排名在一個均勻抽取的隨機陽性樣本后分割，期望的假陽性率

更多閱讀：如何推導(dǎo)AUROC的概率解釋（https://stats.stackexchange.com/questions/180638/how-to-derive-the-probabilistic-interpretation-of-the-auc/277721#277721）

AUROC計算

假設(shè)我們有一個概率二元分類器，比如邏輯回歸。

在討論ROC曲線（接受者操作特征曲線）之前，我們需要理解混淆矩陣（confusion matrix）的概念。一個二元預(yù)測可能有4個結(jié)果：

我們預(yù)測0，而真實類別是0：這被稱為真陰性（True Negative），即，我們正確預(yù)測類別為陰性（0）。比如，殺毒軟件沒有將一個無害的文件識別為病毒。

我們預(yù)測0，而真實類別是1：這被稱為假陰性（False Negative），即，我們錯誤預(yù)測類別為陰性（0）。比如，殺毒軟件沒有識別出一個病毒。

我們預(yù)測1，而真實類別是0：這被稱為假陽性（False Positive），即，我們錯誤預(yù)測類別為陽性（1）。比如，殺毒軟件將一個無害的文件識別為病毒。

我們預(yù)測1，而真實類別是1：這被稱為真陽性（True Positive），即，我們正確預(yù)測類別為陽性（1）。比如，殺毒軟件正確地識別出一個病毒。

我們統(tǒng)計模型做出的預(yù)測，數(shù)一下這四種結(jié)果各自出現(xiàn)了多少次，可以得到混淆矩陣：

在上面的混淆矩陣示例中，在分類的50個數(shù)據(jù)點中，45個分類正確，5個分類錯誤。

當比較兩個不同模型的時候，使用單一指標常常比使用多個指標更方便，下面我們基于混淆矩陣計算兩個指標，之后我們會將這兩個指標組合成一個：

真陽性率（TPR），即，靈敏度、命中率、召回，定義為TP/(TP+FN)。從直覺上說，這一指標對應(yīng)被正確識別為陽性的陽性數(shù)據(jù)點占所有陽性數(shù)據(jù)點的比例。換句話說，TPR越高，我們遺漏的陽性數(shù)據(jù)點就越少。

假陽性率（FPR），即，誤檢率，定義為FP/(FP+TN)。從直覺上說，這一指標對應(yīng)被誤認為陽性的陰性數(shù)據(jù)點占所有陰性數(shù)據(jù)點的比例。換句話說，F(xiàn)PR越高，我們錯誤分類的陰性數(shù)據(jù)點就越多。

為了將FPR和TPR組合成一個指標，我們首先基于不同的閾值（例如：0.00; 0.01, 0.02, …, 1.00）計算前兩個指標的邏輯回歸，接著將它們繪制為一個圖像，其中FPR值為橫軸，TPR值為縱軸。得到的曲線為ROC曲線，我們考慮的指標是該曲線的AUC，稱為AUROC。

下圖展示了AUROC的圖像：

在上圖中，藍色區(qū)域?qū)?yīng)接受者操作特征曲線（AUROC）。對角虛線為隨機預(yù)測器的ROC曲線：AUROC為0.5. 隨機預(yù)測器通常用作基線，以檢驗?zāi)Ｐ褪欠裼杏谩?/p>

如果你希望得到一些第一手的經(jīng)驗：

Python:http://scikit-learn.org/stable/auto_examples/model_selection/plot_roc.html

MATLAB:http://www.mathworks.com/help/stats/perfcurve.html