李飛飛等人ICLR2019論文構(gòu)建人類眼睛感知評估（HYPE），帶給你新的認(rèn)知

生成模型通常使用人工評估來確定和證明進(jìn)展。不幸的是，現(xiàn)有的人類評估方法目前還沒有標(biāo)準(zhǔn)化，李飛飛等人ICLR2019論文構(gòu)建人類眼睛感知評估（HYPE），帶給你新的認(rèn)知。

HYPE是一種人類眼睛感知評估，它具有四大特點：

（1）以感知的心理物理學(xué)研究為基礎(chǔ)，

（2）在一個模型的不同隨機(jī)抽樣輸出集合中是可靠的，

（3）能夠產(chǎn)生可分離的模型性能，

（4）在成本和時間上是有效的。

我們引入了兩種變體：一種是在自適應(yīng)時間約束下測量視覺感知，以確定模型輸出顯示為真實的閾值（例如250毫秒），另一種是在無時間約束的假圖像和真實圖像上測量人為錯誤率的較便宜變體。

我們測試了六種最先進(jìn)的生成對抗網(wǎng)絡(luò)和兩種采樣技術(shù)，利用四種數(shù)據(jù)集（CelebA, FFHQ, CIFAR-10和ImageNet）生成有條件和無條件圖像。我們發(fā)現(xiàn)HYPE可以跟蹤模型之間的相對改進(jìn)，并通過引導(dǎo)抽樣確認(rèn)這些測量是一致且可復(fù)制的。

圖1：我們的人的評估指標(biāo)，HYPE，可以一直區(qū)分彼此模型：這里，我們比較不同的生成模型在FFHQ上的表現(xiàn)。50%的分?jǐn)?shù)代表取自真實的不可區(qū)分的結(jié)果，而50%以上的分?jǐn)?shù)代表超現(xiàn)實。

我們進(jìn)行了兩次大規(guī)模實驗。首先，在CelebA-64，我們通過四個生成對抗網(wǎng)絡(luò)（GANs）展示了HYPE在無條件人臉生成上的表現(xiàn)。我們還在FFHQ-1024上評估了的兩個較新的GANs。HYPE表明，GANs之間有明顯的、可測量的知覺差異；這種排名在HYPE和HYPE∞上都是相同的。表現(xiàn)最好的模型StyleGAN在FFHQ上接受了訓(xùn)練，并使用截尾技巧（截斷技巧）進(jìn)行了采樣，HYPE∞表現(xiàn)27.6%，這表明改進(jìn)的機(jī)會很大。我們可以以60美元的價格用30名人工評估人員用10分鐘的時間重現(xiàn)這些結(jié)果，以95%的置信區(qū)間。

我們在ImageNet的和CIFAR-10數(shù)據(jù)集上對HYPE的性能進(jìn)行了測試。當(dāng)產(chǎn)生CIFAR-10時，像BEGAN這樣的早期GANs在HYPE∞中是不可分離的：它們沒有一個能產(chǎn)生令人信服的結(jié)果，證明這是一項比面部生成更困難的任務(wù)。較新的StyleGAN顯示出可分離的改進(jìn)，這表明它比以前的模型有了進(jìn)步。有了ImageNet-5，GANs已經(jīng)改進(jìn)了被認(rèn)為“更容易”生成的類（例如檸檬），但在所有較難生成類（例如法國號）的模型中，它的分?jǐn)?shù)始終較低。

對于研究人員來說，HYPE是一種快速的解決方案，可以測量他們的生成模型，只需點擊一下就可以得出可靠的分?jǐn)?shù)并測量進(jìn)展。

HYPE：人眼感知評價的基準(zhǔn)

HYPE在Amazon Mechanical Turk上向眾包評估人員逐個顯示一系列圖像，并要求評估人員評估每個圖像是真是假。一半的圖像是真實圖像，從模型的訓(xùn)練集（例如，F(xiàn)FHQ, CelebA, ImageNet或CIFAR-10）中繪制。另一半來自模型的輸出。我們使用現(xiàn)代眾包培訓(xùn)和質(zhì)量控制技術(shù)來確保高質(zhì)量的標(biāo)簽。模型創(chuàng)建者可以選擇執(zhí)行兩種不同的評估：HYPEtime，它收集時間限制的感知閾值來測量心理測量功能并報告人們進(jìn)行準(zhǔn)確分類所需的最短時間；HYPE∞，一種簡單的方法，它在無時間限制的情況下評估人們的錯誤率。

圖2：使用在FFHQ上訓(xùn)練的StyleGAN的截斷技巧采樣的示例圖像。右邊的圖像顯示出最高的HYPE∞分?jǐn)?shù)，最高的人類感知。

HYPEtime：基于心理物理學(xué)的知覺保真度

我們的第一種方法，HYPEtime，測量時間限制的知覺閾值。它屬于心理學(xué)文獻(xiàn)，一個專門研究人類如何感知刺激的領(lǐng)域，在感知圖像時評估人類時間閾值。我們的評估方案遵循所謂的自適應(yīng)階梯法（圖3）程序。圖像在有限的時間內(nèi)被閃爍，之后評估者被要求判斷它是真是假。如果評估者一直回答正確，樓梯會下降并以更少的時間閃爍下一個圖像。如果評估者不正確，樓梯會上升并提供更多的時間。

圖3：自適應(yīng)階梯法向評估者顯示不同時間曝光的圖像。正確時減少，錯誤時增加。模態(tài)暴露測量他們的感知閾值。

這個過程需要足夠的迭代來收斂到評估者的感知閾值：他們能夠保持有效性能的最短曝光時間。這個過程產(chǎn)生了所謂的心理測量功能，即時間刺激暴露與準(zhǔn)確性的關(guān)系。例如，對于一組易于識別的生成圖像，人類評估人員將立即降低到最低毫秒曝光。HYPEtime為每個評估者顯示三個樓梯塊。圖像評估從3-2-1倒計時時鐘開始，每個數(shù)字顯示500毫秒。然后顯示當(dāng)前曝光時間的采樣圖像。每幅圖像后立即快速顯示四幅感知掩模圖像各30毫秒。這些噪聲面罩被扭曲，以防止圖像消失后的視網(wǎng)膜后像和進(jìn)一步的感官處理。我們使用現(xiàn)有的紋理合成算法生成遮罩。每次提交報告時，HYPE都會向評估者揭示報告是否正確。圖像曝光范圍[100毫秒，1000毫秒]，來源于感知文獻(xiàn)。所有塊從500毫秒開始，持續(xù)150個圖像（50%生成，50%真實），根據(jù)之前的工作經(jīng)驗調(diào)整值。在3向上/1向下自適應(yīng)階梯方法之后，曝光時間以10毫秒的增量增加，并以30毫秒的降幅減少，理論上這會導(dǎo)致接近人類感知閾值的75%精度閾值。每個評估人員在不同的圖像集上完成多個稱為塊的樓梯。因此，我們觀察到模型的多個度量。我們采用三個區(qū)塊，以平衡評估人員的疲勞。我們對各模塊的模態(tài)暴露時間進(jìn)行平均，以計算每個評估者的最終值。分?jǐn)?shù)越高表明模型越好，其輸出需要更長的時間曝光才能從真實圖像中辨別出來。

HYPE∞：成本效益近似

在前面的方法的基礎(chǔ)上，我們引入了HYPE∞：一種簡單、快速、廉價的方法，在除去HYPEtime后優(yōu)化速度、成本和解釋的方便性。HYPE∞在給定的無限評估時間內(nèi)，從感知時間的測量值轉(zhuǎn)變?yōu)槿祟惼垓_率的測量值。HYPE∞分?jǐn)?shù)測量任務(wù)的總誤差，使測量能夠捕獲假圖像和真實圖像上的誤差，以及假圖像看起來比真實圖像更逼真時超現(xiàn)實生成的效果。HYPE∞比HYPEtime需要更少的圖像才能找到穩(wěn)定的值，經(jīng)驗上可以減少6倍的時間和成本（每個評估者10分鐘，而不是60分鐘，同樣的速度是每小時12美元）。分?jǐn)?shù)越高越好：10%的HYPE∞表示只有10%的圖像欺騙了人，而50%的人則表示人們偶然會誤認(rèn)為真實和虛假圖像，從而使虛假圖像與真實圖像無法區(qū)分。超過50%的分?jǐn)?shù)表明是超現(xiàn)實的圖像，因為評估者錯誤的圖像的概率大于偶然性。HYPE∞向每個評估者顯示總共100張圖像：50張真實圖像和50張假圖像。我們計算錯誤判斷的圖像比例，并將K圖像上n個評價者的判斷匯總，得出給定模型的最終得分。

設(shè)計一致可靠

為了確保我們報告的分?jǐn)?shù)是一致和可靠的，我們需要從模型中充分抽樣，并雇用、鑒定和適當(dāng)支付足夠的評估人員。

采樣足夠的模型輸出。從特定模型中選擇要評估的K圖像是公平和有用評估的關(guān)鍵組成部分。我們必須對足夠多的圖像進(jìn)行采樣，以充分捕捉模型的生成多樣性，同時在評估中平衡這一點與可跟蹤成本。我們遵循現(xiàn)有的工作，通過從每個模型中抽取k=5000個生成圖像和從訓(xùn)練集中抽取k=5000個真實圖像來評估生成輸出。從這些樣本中，我們隨機(jī)選擇要給每個評價者的圖像。

評估人員的質(zhì)量。為了獲得一個高質(zhì)量的評估人員庫，每個人都需要通過一個資格鑒定任務(wù)。這種任務(wù)前過濾方法，有時被稱為面向人的策略，其性能優(yōu)于執(zhí)行任務(wù)后數(shù)據(jù)過濾或處理的面向過程的策略。我們的鑒定任務(wù)顯示100個圖像（50個真實圖像和50個假圖像），沒有時間限制。評估人員必須正確分類65%的真實和虛假圖像。該閾值應(yīng)被視為一個超參數(shù)，并可能根據(jù)教程中使用的GANs和所選評估者的期望識別能力而改變。我們根據(jù)100個答案中65個二項選擇答案的累積二項式概率選擇65%：只有千分之一的概率評價者有資格通過隨機(jī)猜測。

與任務(wù)本身不同的是，虛假的資格圖像是從多個不同的GANs抽取出的，以確保所有主體都具有公平的主體資格。資格鑒定是偶爾進(jìn)行的，這樣一批評估人員就可以根據(jù)需要評估新的模型。

付款。評估人員的基本工資為1美元，用于完成資格鑒定任務(wù)。為了激勵評估人員在整個任務(wù)中保持參與，資格認(rèn)證后的所有進(jìn)一步薪酬都來自每幅正確標(biāo)記的圖像0.02美元的獎金，通?？傆嫻べY為12美元/小時。

實驗1：人臉的HYPEtime和HYPE∞

我們報告了HYPEtime的結(jié)果，并證明HYPE∞的結(jié)果與HYPEtime的結(jié)果接近，只是成本和時間的一小部分。

HYPEtime

CelebA-64。我們發(fā)現(xiàn)StyleGANtrunc的HYPE得分最高（模式曝光時間），平均為439.3毫秒，這表明評估者需要近半秒的曝光來準(zhǔn)確分類StyleGANtrunc圖像（表？？）StyleGANtrunc之后是ProGAN，速度為363.7毫秒，時間下降17%。BEGAN 和WGAN-GP都很容易被識別為假的，因此它們在可用的最小曝光時間100毫秒左右排在第三位。BEGAN 和WGAN-GP都表現(xiàn)出一種觸底效應(yīng)——快速一致地達(dá)到最小曝光時間100毫秒。

為了證明模型之間的可分性，我們報告了單向方差分析（ANOVA）測試的結(jié)果，其中每個模型的輸入是每個模型的30個評估者的模式列表。ANOVA結(jié)果證實存在統(tǒng)計學(xué)上顯著的綜合差異（F（3，29）=83.5，P<0.0001）。使用Tukey測試進(jìn)行的成對事后分析證實，除了BEGAN 和?WGAN-GP (n.s.).之外，所有模型對都是可分離的（所有p<0.05）。

FFHQ-1024.我們發(fā)現(xiàn)，StyleGANtrunc的曝光時間比StyleGANno-trunc高，分別為363.2 毫秒和240.7 毫秒（表1）。雖然95%的置信區(qū)間代表2.7 毫秒的保守重疊，但未配對的t-test證實兩種模型之間的差異是顯著的（t（58）=2.3，p=0.02）。

HYPE常數(shù)

CelebA-64。表2是CelebA-64的HYPE∞結(jié)果。我們發(fā)現(xiàn)StyleGANtrunc使得HYPE∞得分最高，50.7%會欺騙評估者。StyleGANtrunc之后是ProGAN，為40.3%，開始于10.0%，WGAN-GP為3.8%。無重疊的置信區(qū)間，方差分析檢驗顯著（F（3，29）=404.4，P<0.001）。成對的事后Tukey檢驗表明，所有的模型對都是可分離的（p<0.05）。值得注意的是，HYPE∞導(dǎo)致了BEGAN 和?WGAN-GP的可分離結(jié)果，而在HYPEtime中，由于自下而上的影響，它們不可分離。

表2：在CelebA-64上訓(xùn)練的四個GANs上的HYPE∞。與直覺相反，真實誤差隨著假圖像上的誤差而增加，因為評價者變得更加困惑，兩種分布之間的區(qū)分因素變得更加難以辨別。

FFHQ-1024.我們觀察到StyleGANtrunc和StyleGANno-trunc之間的一致可分離性差異，以及模型之間的清晰輪廓（表3）。HYPE∞將StyleGANtrunc（27.6%）排在StyleGANtrunc（19.0%）之上，沒有重疊的CIs?？煞蛛x性通過未配對t檢驗（t（58）=8.3，p<0.001）得到確認(rèn)。

表3:FFHQ-1024培訓(xùn)的StyleGANtrunc和StyleGANno-trunc上的HYPE∞。評價者經(jīng)常被StyleGANtrunc欺騙。

準(zhǔn)確度和時間的成本權(quán)衡

HYPE的目標(biāo)之一是節(jié)約成本和時間。當(dāng)運行HYPE時，在準(zhǔn)確性和時間以及準(zhǔn)確性和成本之間有一個內(nèi)在的權(quán)衡。這是由大量法律驅(qū)動的：在眾包任務(wù)中招聘額外的評估人員通常會產(chǎn)生更一致的結(jié)果，但成本更高（因為每個評估人員的工作都是付費的），而且完成的時間更長（因為必須招聘更多的評估人員，并且必須完成他們的工作）。

為了處理這種權(quán)衡，我們在StyleGANtrunc上運行了一個HYPE∞實驗。我們用60個評估者完成了一個額外的評估，并計算了95%的自舉置信區(qū)間，從10到120個評估者中進(jìn)行選擇（圖4）。我們看到CI開始聚集大約30名評估人員，這是我們推薦的要招聘的評估人員數(shù)量。

圖4：更多評估者對CI的影響

對評估人員的付款按照“方法”一節(jié)中的描述進(jìn)行計算。在30個評估者中，在一個模型上運行HYPEtime的成本約為360美元，而在同一個模型上運行HYPE∞的成本約為60美元。兩項任務(wù)的每個評估人員的報酬約為12美元/小時，評估人員平均花在一項HYPE任務(wù)上的時間為一小時，在HYPE∞任務(wù)上花費的時間為10分鐘。因此，HYPE∞的目標(biāo)是在保持一致性的同時，運行起來要比HYPEtime便宜得多。

與自動化指標(biāo)的比較

由于FID是最常用的無條件圖像生成評估方法之一，因此有必要在相同的模型上將HYPE與FID進(jìn)行比較。我們還比較了兩個新的自動化指標(biāo)：KID，一個獨立于樣本大小的無偏估計量，以及F1/8（精度），它獨立的捕獲保真度。我們通過Spearman秩次相關(guān)系數(shù)表明，HYPE分?jǐn)?shù)與FID不相關(guān)（ρ=-0.029，p=0.96），其中-1.0的Spearman相關(guān)性是理想的，因為較低的FID和較高的HYPE分?jǐn)?shù)表示更強(qiáng)的模型。因此，我們發(fā)現(xiàn)，F(xiàn)ID與人類的判斷并不高度相關(guān)。同時，HYPE時間和HYPE∞之間具有很強(qiáng)的相關(guān)性（ρ=1.0，p=0.0），其中1.0是理想的，因為它們是直接相關(guān)的。我們通過評估CelebA-64和FFHQ-1024的50K生成和50K真實圖像的標(biāo)準(zhǔn)協(xié)議計算FID，重現(xiàn)StyleGANno-trunc的分?jǐn)?shù)。Kid（ρ=?0.609，p=0.20）和精度（ρ=0.657，p=0.16）均顯示出與人類的統(tǒng)計上不顯著但中等水平的相關(guān)性。

模型訓(xùn)練時的HYPE∞

HYPE也可以用來評估模型培訓(xùn)的進(jìn)展。我們發(fā)現(xiàn)隨著StyleGAN訓(xùn)練的進(jìn)展，HYPE∞分?jǐn)?shù)從4k時的29.5%上升到9k時的45.9%，到25k時的50.3%（f（2，29）=63.3，p<0.001）。

實驗2：人臉以外的HYPE∞

現(xiàn)在我們轉(zhuǎn)到另一個流行的圖像生成任務(wù)：對象。實驗1表明，HYPE∞是HYPEtime的一個有效且具有成本效益的變體，這里我們只關(guān)注HYPE∞。

ImageNet-5

我們評估了五個ImageNet類上的條件圖像生成（表4）。我們還報告了FID、KID和F1/8（精度分?jǐn)?shù)。為了評估每個對象類中三個GAN的相對有效性，我們計算了五個單向方差分析，每個對象類一個方差分析。我們發(fā)現(xiàn)，對于來自三個簡單類的圖像，HYPE∞分?jǐn)?shù)是可分離的：薩摩耶（狗）（F（2，29）=15.0，p<0.001），檸檬（F（2，29）=4.2，p=0.017），和圖書館（F（2，29）=4.9，p=0.009）。配對后驗表明，這一差異僅在SN-GAN和兩個BigGAN變體之間有顯著性。我們還觀察到，模型具有不同的優(yōu)勢，例如SN-GAN更適合生成圖書館而不是薩摩耶。

表4：在ImageNet上訓(xùn)練的三個模型上的HYPE∞和在五種類別里有條件抽樣。BigGAN的表現(xiàn)通常優(yōu)于SN-GAN。BigGANtrunc和BigGANno-trunc不可分離。

與自動化指標(biāo)的比較。所有三個GANs的Spearman秩次相關(guān)系數(shù)在所有五個分類中均顯示，HYPE∞分?jǐn)?shù)與KID（ρ=-0.377，p=0.02）、FID（ρ=-0.282，p=0.01）之間存在一個低到中等的相關(guān)性，與精度的相關(guān)性可忽略不計（ρ=-0.067，p=0.81）。我們的ImageNet-5任務(wù)需要一些相關(guān)性，因為這些度量使用預(yù)訓(xùn)練的ImageNet嵌入來測量生成數(shù)據(jù)和實際數(shù)據(jù)之間的差異。

有趣的是，我們發(fā)現(xiàn)這種相關(guān)性依賴于GAN：僅考慮SN-GAN，我們發(fā)現(xiàn)KID（ρ=?0.500，p=0.39）、FID（ρ=?0.300，p=0.62）和精度（ρ=?0.205，p=0.74）的系數(shù)更強(qiáng)。當(dāng)只考慮BigGAN時，我們發(fā)現(xiàn)FID（ρ=?0.151，p=0.68）、FID（ρ=?0.067，p=0.85）和精度（ρ=?0.164，p=0.65）的系數(shù)要弱得多。這說明了這些自動度量的一個重要缺陷：它們與人類關(guān)聯(lián)的能力取決于度量正在評估的生成模型，根據(jù)模型和任務(wù)而變化。

CIFAR-10

針對CIFAR-10上無條件生成的困難任務(wù)，我們在實驗1中使用了相同的四種模型體系結(jié)構(gòu)：CelebA-64。表5顯示HYPE∞能夠?qū)tyleGANtrunc與早期的BEGAN, WGAN-GP, 和ProGAN分離，這表明StyleGAN是其中第一個在CIFAR-10無條件對象生成方面取得人類可感知進(jìn)展的。

表5:CIFAR-10上的四種型號。StyleGANtrunc可以從CIFAR-10生成逼真的圖像。

與自動化指標(biāo)的比較。所有四個GAN的Spearman秩次相關(guān)系數(shù)均為中等，但統(tǒng)計學(xué)上不顯著，與KID（ρ=-0.600，p=0.40）和FID（ρ=0.600，p=0.40）和精度（ρ=-800，p=0.20）的相關(guān)性。

討論與結(jié)論

預(yù)期用途。我們創(chuàng)造了一個HYPE作為解決方案，人類對生成模型的評估。研究人員可以上傳他們的模型，獲得分?jǐn)?shù)，并通過我們的在線部署比較進(jìn)展。在高使用率期間（如比賽），retainer模式允許在10分鐘內(nèi)使用HYPE∞進(jìn)行評估，而不是默認(rèn)的30分鐘。

局限性：HYPE的擴(kuò)展可能需要不同的任務(wù)設(shè)計。在文本生成（翻譯、標(biāo)題生成）的情況下，HYPE需要對感知時間閾值進(jìn)行更長、更大范圍的調(diào)整。除了測量真實性之外，其他指標(biāo)，如多樣性、過度擬合、糾纏度、訓(xùn)練穩(wěn)定性、計算和樣本效率，都是可以納入但不在本文范圍內(nèi)的額外基準(zhǔn)。有些可能更適合全自動評估。

結(jié)論：HYPE為生成模型提供了兩個人類評估基準(zhǔn)：

（1）以心理物理學(xué)為基礎(chǔ)，

（2）提供產(chǎn)生可靠結(jié)果的任務(wù)設(shè)計，

（3）單獨的模型性能，

（4）具有成本和時間效率。

我們引入兩個基準(zhǔn)：使用時間感知閾值的HYPEtime和報告無時間限制的錯誤率的HYPE∞。我們展示了我們的方法在六種模型中的圖像生成效果：StyleGAN、Sn-GAN、BigGAN、ProGAN、Begin、WGAN-gp、四種圖像數(shù)據(jù)集Celeba-64、FFHQ-1024、CIFAR-10、ImageNet-5，以及兩種采樣方法。{有、無截斷技巧}。