OpenOOD v1.5：更全面、更精確的分布外檢測(cè)代碼庫(kù)及測(cè)試平臺(tái)

導(dǎo)語(yǔ)：

你是否想了解分布外檢測(cè)（OOD detection）的最前沿方法及其表現(xiàn)卻迷失在在數(shù)量繁多的論文中？你是否想自己解決OOD檢測(cè)問(wèn)題卻苦于沒(méi)有一個(gè)統(tǒng)一的代碼庫(kù)/測(cè)試平臺(tái)來(lái)開(kāi)發(fā)和測(cè)試性能？OpenOOD 1.5版本將解決如上困惑！

一、導(dǎo)讀

對(duì)于訓(xùn)練好的圖像分類器，能讓其可靠地在開(kāi)放世界中工作的一個(gè)關(guān)鍵能力便是檢測(cè)未知的、分布外的（out-of-distribution， OOD）樣本。例如我們利用一組貓狗照片訓(xùn)練出了一個(gè)貓狗分類器。對(duì)于分布內(nèi)的（in-distribution， ID）樣本，也就是這里的貓、狗圖片，我們自然期待分類器能夠準(zhǔn)確地將它們識(shí)別到相應(yīng)的類別中去。而對(duì)于分布外的OOD樣本，也就是除了貓狗之外的任何圖片（例如飛機(jī)、水果等等），我們希望模型能夠檢測(cè)出它們是未知的、新穎的物體/概念，因而無(wú)法將它們判別到分布內(nèi)的貓或狗任何一類中。這個(gè)問(wèn)題便是分布外檢測(cè)（OOD detection），其近年來(lái)吸引了廣泛的關(guān)注，新工作層出不窮。然而領(lǐng)域快速擴(kuò)張的同時(shí)，追蹤、衡量領(lǐng)域的發(fā)展現(xiàn)狀卻由于種種原因成了一件難事。

原因1：不一致的測(cè)試OOD數(shù)據(jù)集。深度學(xué)習(xí)各個(gè)任務(wù)的快速發(fā)展都離不開(kāi)統(tǒng)一的測(cè)試數(shù)據(jù)集（就像圖像分類有CIFAR，ImageNet，物體檢測(cè)有PASCAL VOC，COCO）。然而不幸的是OOD檢測(cè)領(lǐng)域一直以來(lái)都缺乏統(tǒng)一的、被廣泛采用的OOD數(shù)據(jù)集。這就造成了在上圖中，當(dāng)我們回看已有工作的實(shí)驗(yàn)設(shè)定時(shí)，會(huì)發(fā)現(xiàn)所用的OOD數(shù)據(jù)十分不一致（例如對(duì)于CIFAR-10是ID數(shù)據(jù)的情況，有些工作使用MNIST，SVHN作為OOD，有些工作使用CIFAR-100，Tiny ImageNet作為OOD）。在這樣的情況下，直接公平地比較全部方法面臨巨大困難。

原因2：令人困惑的術(shù)語(yǔ)。除了OOD檢測(cè)外，另外一些術(shù)語(yǔ)比如“開(kāi)集識(shí)別”（Open-Set Recognition， OSR），“新類檢測(cè)”（Novelty Detection）也常常出現(xiàn)在文獻(xiàn)中。它們本質(zhì)上都在關(guān)注同一個(gè)問(wèn)題，僅在一些實(shí)驗(yàn)設(shè)定的細(xì)節(jié)上有著微小差別。然而不同的術(shù)語(yǔ)會(huì)導(dǎo)致方法之間形成不必要的分支，例如OOD檢測(cè)和OSR就曾經(jīng)被當(dāng)作是兩個(gè)獨(dú)立的任務(wù)，而不同分支之間的方法（盡管在解決同一個(gè)問(wèn)題）也很少被放在一起比較。

原因3：錯(cuò)誤的操作。在許多工作中，研究者們往往直接使用OOD測(cè)試集中的樣本來(lái)調(diào)參甚至訓(xùn)練模型。這樣的操作會(huì)對(duì)方法的OOD檢測(cè)能力做出高估。

以上的問(wèn)題顯然是對(duì)領(lǐng)域的有序發(fā)展不利的，我們迫切需要一個(gè)統(tǒng)一的基準(zhǔn)和平臺(tái)來(lái)測(cè)試評(píng)估現(xiàn)有以及未來(lái)的OOD檢測(cè)方法。OpenOOD 在這樣的挑戰(zhàn)下應(yīng)運(yùn)而生。其第一版邁出了重要的一步，然而有著規(guī)模小、可用性有待提升的問(wèn)題。因此在OpenOOD全新版本v1.5中，我們進(jìn)一步做了加強(qiáng)和升級(jí)，試圖打造一個(gè)全面、準(zhǔn)確、易用的測(cè)試平臺(tái)供廣大研究者使用?？偨Y(jié)來(lái)看，OpenOOD有著如下重要的特性和貢獻(xiàn)：

1.龐大、模塊化的代碼庫(kù)。該代碼庫(kù)將模型結(jié)構(gòu)、數(shù)據(jù)預(yù)處理、后處理器、訓(xùn)練、測(cè)試等等進(jìn)行了解藕及模塊化，方便復(fù)用以及開(kāi)發(fā)。目前OpenOOD實(shí)現(xiàn)了近40種最先進(jìn)的針對(duì)圖像分類任務(wù)的OOD檢測(cè)方法。

2.可一鍵測(cè)試的評(píng)估器。如上圖所示，僅用幾行代碼，OpenOOD的評(píng)估器就可以在指定的ID數(shù)據(jù)集上給出所提供的分類器、后處理器的OOD檢測(cè)測(cè)試結(jié)果。相應(yīng)的OOD數(shù)據(jù)是由評(píng)估器內(nèi)部所確定并提供的，這保證了測(cè)試的一致性和公平性。該評(píng)估器也同時(shí)支持標(biāo)準(zhǔn)OOD檢測(cè)（standard OOD detection）和全譜OOD檢測(cè)（full-spectrum OOD detection）兩種場(chǎng)景（后文會(huì)有更多介紹）。

3.在線排行榜。利用OpenOOD，我們?cè)贑IFAR-10，CIFAR-100， ImageNet-200，ImageNet-1K四個(gè)ID數(shù)據(jù)集上比較了近40種OOD檢測(cè)方法的性能，并將結(jié)果制作成了公開(kāi)排行榜。希望能夠幫助大家隨時(shí)了解領(lǐng)域內(nèi)最有效、最有潛力的方法。

4.實(shí)驗(yàn)結(jié)果中的新發(fā)現(xiàn)。根據(jù)OpenOOD全面的實(shí)驗(yàn)結(jié)果，我們?cè)谡撐闹刑峁┝嗽S多新發(fā)現(xiàn)。例如，盡管看起來(lái)與OOD檢測(cè)關(guān)系不大，但數(shù)據(jù)增強(qiáng)（data augmentation）實(shí)際上能有效提升OOD檢測(cè)的性能，且這方面提升與具體OOD檢測(cè)手段帶來(lái)的提升是正交、互補(bǔ)的。另外，我們發(fā)現(xiàn)已有方法在全譜OOD檢測(cè)上的表現(xiàn)并不盡如人意，這也將是未來(lái)領(lǐng)域內(nèi)一個(gè)重要的待解決問(wèn)題。

二、問(wèn)題描述

這一部分會(huì)簡(jiǎn)略、通俗地描述標(biāo)準(zhǔn)與全譜OOD檢測(cè)的目標(biāo)。對(duì)于更詳細(xì)、正式的描述，歡迎大家閱讀我們的論文。

首先討論一些背景。在我們所考慮的圖像分類場(chǎng)景下，分布內(nèi)（ID）數(shù)據(jù)是由相應(yīng)的分類任務(wù)所定義的。例如對(duì)于CIFAR-10分類，ID分布就對(duì)應(yīng)著它的10個(gè)語(yǔ)義類別。OOD的概念是相對(duì)于ID形成的：ID語(yǔ)義類別之外的、與ID類別不同的任何語(yǔ)義類別所對(duì)應(yīng)的圖片都是分布外OOD圖片。與此同時(shí)，我們需要討論如下兩種類型的分布偏移（distributional shift）。

Semantic Shift：深層語(yǔ)義層面上的分布變化，對(duì)應(yīng)上圖橫軸。例如訓(xùn)練時(shí)語(yǔ)義類別是貓、狗，測(cè)試時(shí)語(yǔ)義類別是飛機(jī)、水果。

Covariate Shift：表層統(tǒng)計(jì)層面上的分布變化（而語(yǔ)義不變），對(duì)應(yīng)上圖縱軸。例如訓(xùn)練時(shí)是貓、狗的干凈自然照片，測(cè)試時(shí)是加了噪聲或手繪的貓、狗圖片。

有了上述背景，再結(jié)合上圖就可以很好理解標(biāo)準(zhǔn)以及全譜OOD檢測(cè)。

標(biāo)準(zhǔn)OOD檢測(cè)

目標(biāo)（1）：在ID分布上訓(xùn)練一個(gè)分類器，使其能夠準(zhǔn)確對(duì)ID數(shù)據(jù)進(jìn)行分類。這里假設(shè)測(cè)試ID數(shù)據(jù)與訓(xùn)練ID數(shù)據(jù)不存在covariate shift。

目標(biāo)（2）：基于訓(xùn)練好的分類器，設(shè)計(jì)OOD檢測(cè)方法使其能夠?qū)θ我鈽颖具M(jìn)行ID/OOD的二分類區(qū)分。在上圖中對(duì)應(yīng)的是將（a）和（c） + （d）區(qū)分開(kāi)來(lái)。

全譜OOD檢測(cè)

目標(biāo)（1）：與標(biāo)準(zhǔn)OOD檢測(cè)類似，但區(qū)別在于考慮了covariate shift，也就是無(wú)論測(cè)試ID圖片相比訓(xùn)練圖片是否有covariate shift，分類器都需要精準(zhǔn)分類到相應(yīng)的ID類別中（例如貓狗分類器不僅應(yīng)該準(zhǔn)確分類“干凈”貓狗圖片，還應(yīng)當(dāng)能泛化到帶噪、模糊的貓狗圖片上）。

目標(biāo)（2）：同樣考慮covariate-shifted ID樣本，需要將其與正常（沒(méi)有covariate shift）的ID樣本一同與OOD樣本判別開(kāi)來(lái)。對(duì)應(yīng)上圖中區(qū)分（a） + （b）和（c） + （d）。

為什么全譜OOD檢測(cè)很重要？熟悉的小伙伴可能已經(jīng)發(fā)現(xiàn)，全譜OOD檢測(cè)中的目標(biāo)（1）實(shí)際上對(duì)應(yīng)著另一個(gè)很重要的研究課題——分布外泛化（OOD generalization）。需要澄清一下，OOD泛化中的OOD指的是存在covariate shift的樣本，而OOD檢測(cè)中的OOD指的是存在semantic shift的樣本。這兩種偏移（shift）都是現(xiàn)實(shí)世界中十分常見(jiàn)的，然而現(xiàn)有的OOD 泛化和標(biāo)準(zhǔn)OOD檢測(cè)都僅僅只考慮了其中一種而忽略了另一種。與之相反，全譜OOD檢測(cè)在同一場(chǎng)景下將兩種偏移自然地考慮在了一起，更準(zhǔn)確地反映了我們對(duì)于一個(gè)理想分類器在開(kāi)放世界中表現(xiàn)的預(yù)期。

三、實(shí)驗(yàn)結(jié)果及新發(fā)現(xiàn)

在1.5版本中，OpenOOD對(duì)近40種方法在6個(gè)基準(zhǔn)（benchmark）數(shù)據(jù)集（4個(gè)針對(duì)標(biāo)準(zhǔn)OOD檢測(cè)，2個(gè)針對(duì)全譜OOD檢測(cè)）上做了統(tǒng)一、全面的測(cè)試。論文中對(duì)所實(shí)現(xiàn)的方法及數(shù)據(jù)集都進(jìn)行了描述，歡迎大家查閱。全部實(shí)驗(yàn)也都可以在OpenOOD的代碼庫(kù)中復(fù)現(xiàn)。這里我們直接討論從對(duì)比結(jié)果中得到的發(fā)現(xiàn)。

發(fā)現(xiàn)1：沒(méi)有贏家通吃（no single winner）。在上表中，不難發(fā)現(xiàn)并沒(méi)有任何一個(gè)方法能夠在全部基準(zhǔn)數(shù)據(jù)集上持續(xù)地給出突出表現(xiàn)。例如后處理的方法（post-hoc inference methods）ReAct和ASH在大數(shù)據(jù)集ImageNet上表現(xiàn)優(yōu)異，但在CIFAR上相比其他方法并沒(méi)有優(yōu)勢(shì)。與之相反，一些在訓(xùn)練中加入約束的方法（training methods），例如RotPred和LogitNorm，在小數(shù)據(jù)集上要優(yōu)于后處理方法，但在ImageNet上并不突出。

發(fā)現(xiàn)2：數(shù)據(jù)增強(qiáng)有效（data augmentations help）。如上表所示，盡管數(shù)據(jù)增強(qiáng)并不是專門為OOD檢測(cè)所設(shè)計(jì)的，但它們卻能有效提升OOD檢測(cè)的表現(xiàn)。更令人驚喜的是，數(shù)據(jù)增強(qiáng)帶來(lái)的提升與具體OOD后處理方法帶來(lái)的提升是互相放大的。這里以AugMix為例，當(dāng)它與最簡(jiǎn)單的MSP后處理器結(jié)合時(shí)，在ImageNet-1K near-OOD檢測(cè)率上達(dá)到了77.49%，僅比不適用數(shù)據(jù)增強(qiáng)的交叉熵?fù)p失（corss-entropy loss）訓(xùn)練的檢測(cè)率77.38%高1.47%。然而當(dāng)AugMix與更先進(jìn)的ASH后處理器結(jié)合時(shí)，相應(yīng)的檢測(cè)率比交叉熵基線高了3.99%，并達(dá)到了我們測(cè)試中最高的82.16%。這樣的結(jié)果顯示了數(shù)據(jù)增強(qiáng)與后處理器的結(jié)合對(duì)于未來(lái)進(jìn)一步提升OOD檢測(cè)能力是非常有潛力的。

發(fā)現(xiàn)3：全譜OOD檢測(cè)對(duì)現(xiàn)有方法提出了挑戰(zhàn)（full-spectrum detection poses challenge for current detectors）。從上圖中可以清晰的看出，當(dāng)場(chǎng)景從標(biāo)準(zhǔn)OOD檢測(cè)切換為全譜OOD檢測(cè)時(shí)（也即在測(cè)試ID數(shù)據(jù)中加入了covariate-shifted ID圖片），絕大多數(shù)方法的性能都表現(xiàn)出了顯著的退化（大于10%的檢測(cè)率的下降）。這代表著當(dāng)前方法傾向于將實(shí)際語(yǔ)義未發(fā)生變化的covariate-shifted ID圖片標(biāo)記為OOD。該行為與人類的感知（同時(shí)也是全譜OOD檢測(cè)的目標(biāo)）是相悖的：假設(shè)一個(gè)人類標(biāo)記員在標(biāo)記貓狗圖片，此時(shí)給他/她出示帶噪、模糊的貓狗圖片，他/她應(yīng)當(dāng)仍會(huì)識(shí)別出那是貓/狗，是分布內(nèi)ID數(shù)據(jù)而不是未知的分布外OOD數(shù)據(jù)?？偟膩?lái)看，目前方法無(wú)法有效地解決全譜OOD檢測(cè)，而我們相信這將是未來(lái)領(lǐng)域內(nèi)的一大重要問(wèn)題。

此外還有許多發(fā)現(xiàn)沒(méi)有列在這里，例如數(shù)據(jù)增強(qiáng)對(duì)于全譜OOD檢測(cè)仍舊有效等等。再次歡迎大家閱讀我們的論文。

四、展望

我們希望OpenOOD的代碼庫(kù)、測(cè)試器、排行榜、基準(zhǔn)數(shù)據(jù)集以及詳實(shí)的測(cè)試結(jié)果能夠匯集各路研究人員的力量一起來(lái)推動(dòng)領(lǐng)域發(fā)展。十分期待大家使用OpenOOD進(jìn)行OOD檢測(cè)的開(kāi)發(fā)、測(cè)試。我們也歡迎任意形式的對(duì)OpenOOD的貢獻(xiàn)，包括但不限于提出反饋，將最新的方法添加到OpenOOD代碼庫(kù)和排行榜中，擴(kuò)展未來(lái)版本OpenOOD等等。