模型在Close set和在Open set的表現(xiàn)是否存在一定的相關(guān)性呢

2. 介紹

參考一篇綜述，首先介紹兩個(gè)概念：

Close Set Recognition，閉集識(shí)別：指 訓(xùn)練集中的類別和測(cè)試集中的類別是一致的，例如最常用最經(jīng)典的ImageNet-1k。所有在測(cè)試集中的圖像的類別都在訓(xùn)練集中出現(xiàn)過(guò)，沒(méi)有未知種類的圖像。從AlexNet到VGG，再到ResNet，以及最近大火的Visual Transformer，都能夠比較好的處理這一類別的任務(wù)。

Open Set Recognition，開集識(shí)別：指對(duì)一個(gè)在訓(xùn)練集上訓(xùn)練好的模型，當(dāng)利用一個(gè)測(cè)試集（該測(cè)試集的中包含訓(xùn)練集中沒(méi)有的類別）進(jìn)行測(cè)試時(shí)，如果輸入已知類別數(shù)據(jù)，輸出具體的類別，如果輸入的是未知類別的數(shù)據(jù)，則進(jìn)行合適的處理（識(shí)別為unknown或者out-of-distribution）。例如在利用一個(gè)數(shù)據(jù)集訓(xùn)練好了一個(gè)模型可以對(duì)狗和人進(jìn)行分類，而輸入一張狗的圖像，由于softmax這種方式的設(shè)定，模型可能會(huì)告訴你80%的概率為人，但顯然這是不合理的，限制了模型泛化性能提升。而我們想要的結(jié)果，是當(dāng)輸入不為貓和人的圖像（比如狗）時(shí)，模型輸出為未知類別，輸入人或貓圖像，模型輸出對(duì)應(yīng)具體的類別。

由于現(xiàn)實(shí)場(chǎng)景中更多的是開放和非靜態(tài)的環(huán)境，所以在模型部署中，經(jīng)常會(huì)出現(xiàn)一些沒(méi)有見過(guò)的情況，所以這種考慮開集檢測(cè)的因素，對(duì)模型的部署十分有必要。那么模型在Close set和在Open set的表現(xiàn)是否存在一定的相關(guān)性呢？下面我們來(lái)了解一份ICLR 2021的工作來(lái)嘗試?yán)斫夂吞剿鲀烧咧g的關(guān)系。

在本文中，作者重新評(píng)估一些open set識(shí)別的方法，通過(guò)探索是否訓(xùn)練良好的閉集的分類器通過(guò)分析baseline的數(shù)據(jù)集，可以像最近的算法一樣執(zhí)行。要做到這一點(diǎn),我們首先研究了分類器的閉集和開集性能之間的關(guān)系。

雖然人們可能期望更強(qiáng)的close set分類器過(guò)度擬合到train set出現(xiàn)的類別，因此在OSR中表現(xiàn)較差。其實(shí)最簡(jiǎn)單的方法也非常直觀，就是‘maximum softmax probability (MSP) baseline，即經(jīng)過(guò)softmax輸出的最大的概率值。而該論文展示了在close set和open set上開放集的表現(xiàn)是高度相關(guān)的，這一點(diǎn)是非常關(guān)鍵的。而且展這種趨勢(shì)在不同的數(shù)據(jù)集、目標(biāo)以及模型架構(gòu)中都是成立的。并在ImageNet-1k這個(gè)量級(jí)上的數(shù)據(jù)集進(jìn)行評(píng)估，更能說(shuō)明該方法的有效性。

但僅僅觀察到這種現(xiàn)象，這種contribution雖然有意義，但可能也不足以支撐一篇頂會(huì)oral，所以自然要基于這一現(xiàn)象展開一些方法上的設(shè)計(jì)，來(lái)提升開集檢測(cè)的表現(xiàn)。根據(jù)這一觀察，論文提出一種通過(guò)改善close set性能的方式來(lái)進(jìn)一步提升open set上的表現(xiàn)。

具體來(lái)說(shuō)，我們引入了更多的增強(qiáng)、更好的學(xué)習(xí)率調(diào)度和標(biāo)簽平滑等策略，這些策略顯著提高了MSP基線的close set和open set性能。我們還建議使用maximum logit score(MLS)，而不是MSP來(lái)作為開放集指標(biāo)。通過(guò)這些調(diào)整，可以在不改變模型結(jié)構(gòu)的情況下，非常有效的提升模型open set狀態(tài)下的識(shí)別性能。

3. 方法

首先就是一張非常直觀的圖，在不用的數(shù)據(jù)集上，對(duì)OSR和CSR兩個(gè)任務(wù)的表現(xiàn)進(jìn)行比較。論文首先利用標(biāo)準(zhǔn)基準(zhǔn)數(shù)據(jù)集上，選取三種有代表性的開放集識(shí)別方法，包括MSP，ARPL以及ARPL+CS。然后利用一個(gè)類似于VGG形態(tài)的的輕量級(jí)模型，在不同的分類數(shù)據(jù)集上進(jìn)行檢測(cè)?？梢钥吹絆SR和CSR兩個(gè)任務(wù)的表現(xiàn)是呈現(xiàn)出高度的正相關(guān)的。

對(duì)于理論上的證明，論文選取了模型校準(zhǔn)的角度來(lái)解讀。直觀地說(shuō)，模型校準(zhǔn)的目的是量化模型是否具有感知對(duì)象類別的能力，即是否可以把低置信度的預(yù)測(cè)與高錯(cuò)誤率相關(guān)聯(lián)。也就是說(shuō)如果給了很低的置信度，而錯(cuò)誤率又是很高的，那么就可以定義為模型沒(méi)有被很好地校準(zhǔn)。反之，則說(shuō)明模型被很好地校準(zhǔn)了。

到目前為止，論文已經(jīng)證明了在單一、輕量級(jí)架構(gòu)和小規(guī)模數(shù)據(jù)集上封閉集和開放集性能之間的相關(guān)性——盡管我們強(qiáng)調(diào)它們是OSR文獻(xiàn)中現(xiàn)有的標(biāo)準(zhǔn)基準(zhǔn)。如上圖，論文又在在大規(guī)模數(shù)據(jù)集(ImageNet-1k)上試驗(yàn)了一系列架構(gòu)。和在CIFAR-10等小數(shù)據(jù)集一致，該數(shù)據(jù)集也存在上述的現(xiàn)象。

至于，獲得更好的open set recognition上的表現(xiàn)，也就非常直接了。就是通過(guò)各種優(yōu)化方式、訓(xùn)練策略的設(shè)計(jì)，讓模型可以能夠在close set上具有更好的性能。完整的細(xì)節(jié)和用于提高封閉集性能的方法的表格明細(xì)可以在論文，以及附錄中更好地了解。

論文還提出一種新的評(píng)估close set性能的方式。以前的工作指出，開放集的例子往往比封閉集的例子具有更低的norm。因此，我們建議在開放集評(píng)分規(guī)則中使用最大對(duì)數(shù)，而不是softmax概率。Logits是深度分類器中最后一個(gè)線性層的原始輸出，而softmax操作涉及到一個(gè)歸一化，從而使輸出可以被解釋為一個(gè)概率向量的和為1。由于softmax操作將logits中存在的大部分特征幅度信息歸一化，作者發(fā)現(xiàn)logits能帶來(lái)更好的開放集檢測(cè)結(jié)果。

這種新的方式，改善了在所有數(shù)據(jù)集上的性能，并大大縮小了與最先進(jìn)方法的差距，各數(shù)據(jù)集的AUROC平均絕對(duì)值增加了13.9%。如果以報(bào)告的baseline和當(dāng)前最先進(jìn)的方法之間的差異比例來(lái)計(jì)算，這意味著平均差異減少了87.2%。MLS方法還在TinyImageNet上取得了新的領(lǐng)先優(yōu)勢(shì)，比OpenHybrid高出3.3%。

另外，作者指出，目前的標(biāo)準(zhǔn)OSRbaseline評(píng)價(jià)方式有兩個(gè)缺點(diǎn)：

它們都只涉及小規(guī)模的數(shù)據(jù)集；

它們?nèi)狈?duì)構(gòu)成 "語(yǔ)義類 "的明確定義。

后者對(duì)于將開放集領(lǐng)域與其他研究問(wèn)題，如out-of-distribution以及outlier的檢測(cè)，進(jìn)行區(qū)分非常重要。OSR旨在識(shí)別測(cè)試圖像是否與訓(xùn)練類有語(yǔ)義上的不同，而不是諸如模型對(duì)其預(yù)測(cè)不確定或是否出現(xiàn)了低層次的distribution shift。所以作者基于這兩個(gè)缺點(diǎn)，提出來(lái)了新的baseline用于評(píng)估open set的性能。具體關(guān)于數(shù)據(jù)集的細(xì)節(jié)，可以參考原文

4. 結(jié)論

在這篇文章中，作者給出了模型的閉集準(zhǔn)確率與開集識(shí)別能力正相關(guān)的觀點(diǎn)，同時(shí)通過(guò)實(shí)驗(yàn)驗(yàn)證了加強(qiáng)模型的閉集性能能夠幫助我們獲得更強(qiáng)的開集能力。對(duì)于 Open-Set Recognition 具有啟發(fā)意義。

審核編輯：劉清