基于預(yù)訓(xùn)練視覺-語言模型的跨模態(tài)Prompt-Tuning

論文：CPT：Colorful Prompt Tuning for Pre-Training Vision-Language Models

狀態(tài)：Work in Progress

單位：清華大學(xué)、新加坡國立大學(xué)

鏈接：https://arxiv.org/pdf/2109.11797.pdf

提取摘要

預(yù)訓(xùn)練的視覺語言模型 （VL-PTMs） 在將自然語言融入圖像數(shù)據(jù)中顯示出有前景的能力，促進(jìn)了各種跨模態(tài)任務(wù)。

然而，作者注意到模型pre-training和finetune的客觀形式之間存在顯著差距，導(dǎo)致需要大量標(biāo)記數(shù)據(jù)來刺激 VL-PTMs 對下游任務(wù)的視覺基礎(chǔ)能力。

為了應(yīng)對這一挑戰(zhàn)，本文提出了跨模態(tài)提示調(diào)優(yōu)Cross-modal Prompt Tuning（CPT，或者，彩色-Color提示調(diào)優(yōu)），這是一種用于finetune VL-PTMs 的新范式，它在圖像和文本中使用基于顏色的共同參照標(biāo)記重新構(gòu)建了視覺定位問題，使之成為一個填空問題，最大限度地縮小差距。

通過這種方式，本文的Prompt-Tuning方法可以讓 VL-PTMs 在少樣本甚至零樣本的強(qiáng)大的視覺預(yù)測能力。

綜合實(shí)驗(yàn)結(jié)果表明，Prompt-Tuning的 VL-PTMs 大大優(yōu)于 finetune 的方法（例如，在 RefCOCO 評估中，一次平均提高 17.3% 準(zhǔn)確度，one shot下平均相對標(biāo)準(zhǔn)偏差降低73.8%）。

數(shù)據(jù)和代碼會在之后公開，小伙伴們不要急~

方法介紹

背景：該任務(wù)為Visual Grounding視覺定位問題，通過一個給定的expression來定位在圖像中的位置。

Pre-training和fine-tuning

比如有一張識別好的圖片和下面的文字：

普通使用MLM（masked language modeling）的預(yù)訓(xùn)練模型的到VL-PTMs方法為：

就是使用［mask］機(jī)制來預(yù)測被被掩蓋的token。

而finetune的話，就是使用傳統(tǒng)的［CLS］來遷就下游的任務(wù)，比如做二分類：

而使用被大規(guī)模數(shù)據(jù)預(yù)訓(xùn)練的模型通過［CLS］來遷就下游任務(wù)，其實(shí)并不可解釋，而反過來讓下游帶著任務(wù)來到預(yù)訓(xùn)練模型的［mask］戰(zhàn)場上，才能更能發(fā)揮其作用呀。

CPT： Cross-model Prompt Tuning

CPT方法首先將圖片用不同顏色來區(qū)分不同的實(shí)體模塊：

其次將Query Text插入到color-based的模板（eg. is in ［mask］ color）里：

最后在［mask］上預(yù)測對應(yīng)的該是哪個顏色即可，語義上非常行得通。

模型公式

普通Finetune for VL-PLMs

首先從圖片 I 中通過目標(biāo)檢測工具，檢測出一系列的region：

最終這些被選出來的region和Query Text（w）將被放入：

其中［IMG］、［CLS］和［SEP］為特殊token。

其中圖片regions的representation通過視覺的encoder獲得，而文本的就是lookup即可，最后通過預(yù)訓(xùn)練模型VL-PLMs會得到：

最終使用隱層finetune做分類即可。

但是，finetuned VL-PLMs需要大量的標(biāo)注數(shù)據(jù)來提高視覺定位的效果，這個也是一個弊端吧。

Cross-Modal Prompt Tuning - CPT

上面說過了，CPT需要兩個部分：

視覺子prompt

文本子prompt

視覺子prompt，目的是為了區(qū)分每一個region通過可分辨的標(biāo)記，比如顏色，比如RGB （255， 0， 0）表示red，RGB和text要對應(yīng)起來。

這里要注意的是，這個子prompt是直接加在原圖片上的，所以既沒有改變模型結(jié)果，又沒有改變參數(shù)。

文本子prompt，目的就是在圖片和Query Text之間建立一個鏈接，這里使用的模板為：

然后，VL-PTMs模型通過這樣的提示（prompt）來決定哪個顏色的region填在這個空里最恰當(dāng)：

實(shí)驗(yàn)

和finetune相比，CPT在zero-shot和few-shot下，性能可以說是爆表，巨額提升。在全量數(shù)據(jù)下，也能達(dá)到最佳值或者接近最佳值：

CPT在其他視覺任務(wù)上的應(yīng)用

實(shí)體檢測

謂元分類

場景圖分類

總之，Prompt方法就是通過模板重新定義了任務(wù)，讓模型更具有解釋性，本篇文章第一次將Prompt用在了Vision-Language上，未來還會有很大的研究動向，感興趣的小伙伴可以細(xì)讀原文。

編輯：jq