用遷移學(xué)習(xí)探明CV任務(wù)的底層結(jié)構(gòu)

今天凌晨，第31屆計(jì)算機(jī)視覺和模式識別大會（CVPR）在美國鹽湖城正式召開。本屆大會一共收到3309篇投稿文章，最終接受979篇，接受率為29.6%，其中斯坦福和伯克利研究人員合作的Taskonomy: Disentangling Task Transfer Learning斬獲最佳論文，圖賓根大學(xué)教授Andreas Geiger和FAIR何凱明獲得PAMI年輕學(xué)者獎。

雖然這幾天學(xué)界大牛都忙著在twitter上譴責(zé)特朗普政府的“零容忍”移民政策，但CVPR 2018火熱依舊，大會剛開幕，官網(wǎng)就因訪問量過大掛了（現(xiàn)已恢復(fù)）。下面是論智帶來的最佳論文預(yù)覽，如有錯誤，歡迎留言指出。

視覺任務(wù)之間是否存在相關(guān)性？就像表面法線可以被用來簡化圖像深度估計(jì)。針對這些問題，直覺給出了積極的答案，暗示視覺任務(wù)中可能存在某種“結(jié)構(gòu)”。掌握這種結(jié)構(gòu)是意義重大的；它是遷移學(xué)習(xí)的基礎(chǔ)，也為確定各種任務(wù)之間的冗余提供了理論依據(jù)，例如，它允許我們在各種相關(guān)任務(wù)中無縫重復(fù)使用監(jiān)督，或是用一個模型完成多種任務(wù)而不增加復(fù)雜度。

本文提出了一種完全計(jì)算的方法，從26個2D、2.5D、3D和語義任務(wù)中提取遷移學(xué)習(xí)相關(guān)性關(guān)系，進(jìn)而建模視覺任務(wù)空間結(jié)構(gòu)。該產(chǎn)品已經(jīng)上線，是遷移學(xué)習(xí)的計(jì)算分類圖。此外，文章還探究了這個結(jié)構(gòu)的作用，比如利用提取到的non-trivial關(guān)系減少任務(wù)對標(biāo)記數(shù)據(jù)量的需求。實(shí)驗(yàn)表明，對于10個不同的視覺任務(wù)，這種方法可以減少2/3的標(biāo)記數(shù)據(jù)量，同時模型的性能和單獨(dú)訓(xùn)練的模型基本一致。

物體識別、深度估計(jì)、邊緣檢測、姿態(tài)估計(jì)等都是常見的計(jì)算機(jī)視覺任務(wù)，它們也被學(xué)界看作是有價值的研究課題。其中的一些任務(wù)是高度相關(guān)的，比如我們知道表面法線和深度估計(jì)存在衍生關(guān)系，空間中消失的點(diǎn)對目標(biāo)定位也有一定作用。但對于其他關(guān)系，我們掌握的知識就很有限了，例如，我們還沒有弄清關(guān)鍵點(diǎn)檢測和空間中的陰影為什么能被一起用來進(jìn)行姿態(tài)估計(jì)。

計(jì)算機(jī)視覺確實(shí)沒有明確使用這些關(guān)系，近年來學(xué)界在開發(fā)先進(jìn)學(xué)習(xí)模型上已經(jīng)取得了令人矚目的成就，如ConvNets，它們能從多對(x, y)中找到X到Y(jié)的復(fù)雜映射。當(dāng)然，x∈X，y∈Y，這些前提是訓(xùn)練數(shù)據(jù)給出的，也就是我們常說的完全監(jiān)督學(xué)習(xí)。監(jiān)督學(xué)習(xí)的一個缺點(diǎn)是會導(dǎo)致模型只能解決一類孤立的問題，這也意味著每接受一個新任務(wù)，模型就得從頭開始訓(xùn)練——我們需要大量標(biāo)記數(shù)據(jù)。

如果模型掌握了各種任務(wù)之間的關(guān)系，它需要的監(jiān)督學(xué)習(xí)就更少，計(jì)算壓力也更輕，而且預(yù)測效率更高。但到目前為止，這個關(guān)系是未知的。因此本文的目標(biāo)是揭示任務(wù)空間底層結(jié)構(gòu)，并提出一個計(jì)算機(jī)視覺任務(wù)之間的映射框架。這里的“結(jié)構(gòu)”指的是任務(wù)間的相關(guān)性集合，即這個任務(wù)能給那個任務(wù)提供多少有用的信息。

論文作者在這里用的是完全計(jì)算的方法，在前饋神經(jīng)網(wǎng)絡(luò)中，每一層都包含將輸入映射到輸出所需信息的抽象表征，這些表征可以被用來計(jì)算對輸出的貢獻(xiàn)程度，繼而推導(dǎo)任務(wù)之間的相關(guān)性矩陣。簡而言之，這里需要用到完全抽樣的遷移學(xué)習(xí)，從不同任務(wù)中提取相關(guān)的遷移策略。經(jīng)實(shí)驗(yàn)證實(shí)，最后獲得的模型大大降低了對標(biāo)記數(shù)據(jù)量的需求，同時這個架構(gòu)在普通數(shù)據(jù)集上也能使用。

工具

上述任務(wù)可以被定義如下：在有限的監(jiān)督預(yù)算γ內(nèi)（計(jì)算量、數(shù)據(jù)量和時間限制），我們要在一組任務(wù)T = {t1, ..., tn}中實(shí)現(xiàn)任務(wù)集體性能的最大化。其中γ表示允許從頭開始訓(xùn)練的最大任務(wù)數(shù)（源任務(wù)），T表示我們想要完成的任務(wù)集（目標(biāo)任務(wù)），S表示可以訓(xùn)練的任務(wù)集（源任務(wù)），那么

V=T ∪ S是任務(wù)詞典；

T ? T ∩ S是我們想要完成但沒法訓(xùn)練的任務(wù)（target-only）；

T ∩ S既是目標(biāo)任務(wù)，也是源任務(wù)；

S ? T ∩ S是可以訓(xùn)練的任務(wù)，但我們對它們不感興趣（source-only）。

什么是Taxonomy？

Taxonomy，也就是任務(wù)分類法是一個定向的超圖模型，它可以從給定任務(wù)詞典里找出可遷移的元素。正如上文提到的，我們手里有一個源任務(wù)集和一個目標(biāo)任務(wù)集，它們相交的邊表示一個可行的遷移方案，具體預(yù)測性能由雙方權(quán)重決定。為了預(yù)測T的全局最優(yōu)遷移策略，我們需要用到這些邊，因此taskonomy的作用是生成一系列圖（如上面動圖），它的參數(shù)由監(jiān)督預(yù)算、選擇的任務(wù)、遷移順序和遷移函數(shù)表達(dá)構(gòu)成。

創(chuàng)建taskonomy

taskonomy的創(chuàng)建過程可分為4步：I.在S中，訓(xùn)練針對特定任務(wù)的神經(jīng)網(wǎng)絡(luò)；II.源任務(wù)和目標(biāo)任務(wù)間的所有可遷移元素都已經(jīng)訓(xùn)練好了，用多輸入任務(wù)對一輸出任務(wù)訓(xùn)練一個高階遷移函數(shù)；III.用AHP（層次分析法）獲得歸一化的遷移相關(guān)性；IV.用BIP（二元整數(shù)規(guī)劃）查找全局遷移taskonomy。

任務(wù)詞典

如下圖所示，任務(wù)詞典中一共有26種計(jì)算機(jī)視覺任務(wù)，涵蓋2D、2.5D、3D和語義任務(wù)等常見主題。需要注意的是，這個詞典應(yīng)該是所有可以想象的視覺任務(wù)的采樣集，而不是詳盡的列表。采樣允許我們稀疏地模擬視覺任務(wù)的密集空間，并依靠假設(shè)把成果推廣到詞典以外的任務(wù)中。采樣空間越規(guī)則/越好，成果的通用性就越好。

任務(wù)詞典

數(shù)據(jù)集

論文作者制作了一個室內(nèi)場景的大型高質(zhì)量數(shù)據(jù)集：

通過對齊的網(wǎng)格記錄像素級的幾何信息；

通過蒸餾從ImageNet、MS COCO和MIT Places圖像中提取語義信息；

一致的攝影角度，相機(jī)功能完整；

高清晰度的圖像；

是ImageNet的3倍。

這個數(shù)據(jù)集大小有12TB，如果讀者有使用的興趣，可直接聯(lián)系作者申請：zamir@eecs.berkeley.edu / zamir@cs.stanford.edu。

步驟1：特定任務(wù)建模

為S中的每個任務(wù)訓(xùn)練一個專用的神經(jīng)網(wǎng)絡(luò)（完全監(jiān)督），這些特定網(wǎng)絡(luò)有一個均勻的encoder-decoder架構(gòu)，其中編碼器很大，能提取強(qiáng)大的表征；解碼器相對較小，但足以實(shí)現(xiàn)良好的性能。

步驟2：遷移模型

給定一個源任務(wù)s和一個目標(biāo)任務(wù)t，其中s∈S，t∈T，如上圖所示，從輸入任務(wù)s和輸出任務(wù)t中，我們的遷移網(wǎng)絡(luò)應(yīng)該能學(xué)到一些有關(guān)遷移函數(shù)的知識。其中，編碼器從圖片I中提取的表征是Es(I)，輸出函數(shù)Ds→t中包含參數(shù)θs→t，它的目標(biāo)是使損失Lt最?。?/p>

其中ft(I)是t對于圖像I的真值，因?yàn)镋s(I)可能無法基于t和s的相關(guān)性，完美地解決任務(wù)t，所以函數(shù)Ds→t就為兩者的相關(guān)性提供了一個可用的參考指標(biāo)。

步驟3：用AHP進(jìn)行歸一化處理

既然已經(jīng)獲得了任務(wù)間的相關(guān)性，我們自然希望能建立一個跨任務(wù)的、具有可傳遞性的相關(guān)性矩陣。對于這個目標(biāo)，如果只是簡單地把Ls→t匯總到矩陣中，那顯然是有問題的，因?yàn)樗鼈兛缍忍?，而且處于不同的任?wù)空間中，因此適當(dāng)?shù)臍w一化是必須的。

這里我們不能直接把它線性縮小到[0, 1]內(nèi)，因?yàn)閾p失-性能曲線是未知的，這樣粗暴的縮小沒有效果。論文采用的是一種序數(shù)方法，它把輸出性能和損失假設(shè)為單調(diào)變化，這之后，對于每個t，Wt是遷移到t的所有可行源任務(wù)的成對矩陣。(i, j)處的值是保留測試集中圖像的百分比，即Dtest，其中si遷移到t比sj遷移到t更優(yōu)（Dsi→t(I) > Dsj→t(I)）。

對矩陣Wt做拉普拉斯平滑，把閾值控制在[0.001,0.999]，然后計(jì)算Wt' = Wt/WtT，這樣矩陣就能量化si和sj的差距，顯示兩者的倍數(shù)關(guān)系：

步驟4：計(jì)算全局Taxonomy

現(xiàn)在已經(jīng)有了歸一化的相關(guān)性矩陣，我們還需要制定一項(xiàng)全局遷移策略，最大限度地提高所有任務(wù)的集體性能，同時盡量減少所用的監(jiān)督。這個問題可以表示為子圖選擇，其中任務(wù)是節(jié)點(diǎn)，傳輸是邊。最佳子圖選擇理想源節(jié)點(diǎn)和從這些源任務(wù)到目標(biāo)任務(wù)的最佳邊，同時滿足源節(jié)點(diǎn)數(shù)量不超過監(jiān)督預(yù)算。

對于這個問題，論文使用的方法是布爾整數(shù)規(guī)劃（BIP），詳情這里不再具體介紹。

BIP計(jì)算出的關(guān)系圖

實(shí)驗(yàn)

在論文正文中，作者沒有明確給出自己的模型和其他state-of-art模型的具體對比情況，他們在附錄（taskonomy.stanford.edu/taskonomysuppCVPR2018.pdf）和FCRN做了對比，發(fā)現(xiàn)兩者在性能上并沒有多大差距，但因?yàn)檎撐哪Ｐ驼莆樟巳蝿?wù)底層結(jié)構(gòu)知識，在遷移上更加得心應(yīng)手，使用的標(biāo)記數(shù)據(jù)更少，用時也更短。

小結(jié)

本文提出了一種利用遷移學(xué)習(xí)對計(jì)算機(jī)視覺任務(wù)空間進(jìn)行建模的方法，并展示了它在減少標(biāo)記數(shù)據(jù)量方面的實(shí)用性。任務(wù)空間本身就是一個有趣的研究對象，但本文的研究還只是皮毛。對于這個框架，論文作者還提出了一些應(yīng)注意的假設(shè)：

Model Dependence：盡管本文驗(yàn)證了成果在各種架構(gòu)和數(shù)據(jù)集上的穩(wěn)定性，但這不意味著它是萬能的，它在原則上還是只適用于特性模型和特定數(shù)據(jù)。

Compositionality：本文通過一組常用的人工定義的計(jì)算機(jī)視覺任務(wù)來進(jìn)行建模，那么在此基礎(chǔ)上的進(jìn)階做法應(yīng)該是把這些任務(wù)作為觀察樣本，進(jìn)一步探究它們和其他冷門任務(wù)的相關(guān)性。

Space Regularity：本文通過一個采樣詞典對密集空間進(jìn)行建模，盡管它表現(xiàn)出了良好的通用性，但為了證實(shí)這種通用性，我們還需要對計(jì)算空間的屬性做更嚴(yán)謹(jǐn)?shù)难芯俊?/p>

Transferring to Non-visual and Robotic Tasks：既然遷移學(xué)習(xí)在計(jì)算機(jī)視覺任務(wù)中能找出任務(wù)空間的底層結(jié)構(gòu)，那它在其他領(lǐng)域的任務(wù)中應(yīng)該也有用武之地，比如機(jī)器人研究，也許它能被用于解決機(jī)器人對下游任務(wù)的感知問題。

Lifelong Learning：在終身學(xué)習(xí)問題中，系統(tǒng)是不斷演變的，任務(wù)數(shù)量也是不斷增加的，對于這類情況，本文的一次性建模方法就不再適用了，它需要考慮更多的新因素。