基于k近鄰與高斯噪聲的虛擬困難樣本增強(qiáng)方法

在本文中，我們將介紹亞馬遜團(tuán)隊(duì)在ACL2022中的一篇論文VaSCL，該論文在SimCSE的基礎(chǔ)上，提出了一種基于k近鄰與高斯噪聲的虛擬困難樣本增強(qiáng)方法。作者在無(wú)監(jiān)督訓(xùn)練中，進(jìn)行困難樣本增強(qiáng)，從而提高了模型的性能，并且超過(guò)了SimCSE。

論文標(biāo)題：

Virtual Augmentation Supported Contrastive Learning of Sentence Representations

論文鏈接：

https://arxiv.org/abs/2110.08552

01

引言

在ACL2021中，陳丹琦團(tuán)隊(duì)提出了使用Dropout進(jìn)行正樣本增強(qiáng)的對(duì)比學(xué)習(xí)方法SimCSE，該方法操作簡(jiǎn)單卻十分有效，在無(wú)監(jiān)督對(duì)比學(xué)習(xí)中取得了非常好的效果。在有監(jiān)督SimCSE中，作者對(duì)困難負(fù)樣本的作用進(jìn)行了探究實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果證明，引入困難負(fù)樣本后，有監(jiān)督SimCSE的指標(biāo)從84.9提升至86.2。這說(shuō)明，在對(duì)比學(xué)習(xí)中，引入困難樣本是能夠提升模型效果的。

然而在無(wú)監(jiān)督SimCSE中，作者僅使用dropout的方式進(jìn)行了正樣本增強(qiáng)，沒(méi)有額外引入困難樣本，這在一定程度上限制了模型的能力?；谶@個(gè)動(dòng)機(jī)，亞馬遜提出了一種基于k近鄰與高斯噪聲的虛擬困難樣本增強(qiáng)的無(wú)監(jiān)督對(duì)比學(xué)習(xí)方法VaSCL。

02

論文解讀

基于Dropout的對(duì)比損失

在介紹VaSCL模型之前，我們先簡(jiǎn)單回顧一下無(wú)監(jiān)督SimCSE。假設(shè)訓(xùn)練時(shí)的batch size為N，將一個(gè)batch的數(shù)據(jù)記作，將同一個(gè)樣本分別輸入模型中兩次，使用不同的dropout mask編碼得到兩個(gè)向量和。則在規(guī)模為N的batch中，與的InfoNCE損失為：

基于k近鄰的虛擬增強(qiáng)對(duì)比損失

在無(wú)監(jiān)督SimCSE的損失函數(shù)的基礎(chǔ)上，作者還設(shè)計(jì)了一種基于k近鄰的虛擬困難樣本增強(qiáng)的損失函數(shù)。

將通過(guò)模型編碼之后得到向量序列。

作者通過(guò)以下方式獲得第i個(gè)句向量的虛擬困難樣本：

正樣本增強(qiáng)：對(duì)添加高斯噪聲，得到，其中就是經(jīng)過(guò)高斯增強(qiáng)后的正樣本。

獲得k近鄰：獲得在中距離最近的k個(gè)負(fù)樣本，在本文中我們稱之為k近鄰，記作。

對(duì)于來(lái)說(shuō)，是正樣本，是負(fù)樣本集合。則對(duì)于，k近鄰虛擬增強(qiáng)的對(duì)比損失如下。分子表示拉近與的距離，分母表示拉遠(yuǎn)與負(fù)樣本之間的距離。

在CV中，我們會(huì)為輸入的圖片添加高斯噪聲以增加模型的泛化性。添加了高斯噪聲的圖片，肉眼能看出微小的區(qū)別，但不會(huì)影響整張圖片的語(yǔ)義信息。所以為句向量添加合適的高斯噪聲，理論上也不會(huì)對(duì)句向量的語(yǔ)義信息產(chǎn)生很大的改變。

在的k近鄰中，存放的是距離最近的k個(gè)負(fù)樣本，也就是與最相似的k個(gè)負(fù)樣本。只要batch size足夠大，我們可以近似認(rèn)為，就是的困難負(fù)樣本集合，同樣也是的困難負(fù)樣本集合。

如何獲得上述的高斯噪聲呢？最容易想到的做法便是隨機(jī)生成一個(gè)高斯噪聲，直接添加到句向量中。但是為了提高模型的訓(xùn)練難度，生成更高質(zhì)量的高斯噪聲，作者生成若干個(gè)候選高斯噪聲，然后選出一個(gè)使得最大化的高斯噪聲。

從上述操作可以看出，對(duì)于最優(yōu)的高斯噪聲，作者希望它增強(qiáng)后的正樣本與的距離盡可能遠(yuǎn)，與負(fù)樣本的距離盡可能近，作者希望這個(gè)高斯噪聲能夠?qū)δＰ彤a(chǎn)生盡可能大的迷惑性。通過(guò)這個(gè)高斯噪聲，我們就可以得到困難正樣本，并且從某種意義來(lái)說(shuō)，也使得與的距離盡可能拉近，達(dá)到了增強(qiáng)負(fù)樣本難度的目的，做法確實(shí)挺巧妙。

VaSCL對(duì)比損失

將上述兩種對(duì)比損失進(jìn)行組合，得到最終的VaSCL損失函數(shù)：

這個(gè)損失函數(shù)的含義如下：

對(duì)于每個(gè)句子，拉近同一個(gè)句子經(jīng)過(guò)dropout之后的兩個(gè)句向量之間的距離，拉遠(yuǎn)它們與其他句子的距離。

對(duì)于每個(gè)句子，拉近原句向量與高斯噪聲增強(qiáng)之后的句向量的距離，拉遠(yuǎn)它們與k近鄰負(fù)樣本之間的距離。

03

實(shí)驗(yàn)結(jié)果

作者分別在STS任務(wù)、短文本聚類、意圖識(shí)別等任務(wù)中進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如下表所示?？梢钥吹?，在三種任務(wù)中，絕大部分?jǐn)?shù)據(jù)集上，VaSCL的表現(xiàn)都要優(yōu)于SimCSE，這表明了基于k近鄰與高斯噪聲的困難樣本增強(qiáng)的有效性。

04

總結(jié)

SimCSE通過(guò)dropout mask這種簡(jiǎn)單的方法，避免了人工進(jìn)行正樣本增強(qiáng)所帶來(lái)的語(yǔ)義改變的問(wèn)題，并且在無(wú)監(jiān)督訓(xùn)練中取得了不錯(cuò)的效果。而VaSCL論文延續(xù)了SimCSE這種思想，引入了高斯噪聲進(jìn)行正樣本增強(qiáng)，有著異曲同工之妙。

VaSCL在SimCSE的基礎(chǔ)上，也進(jìn)行了困難樣本的增強(qiáng)。在進(jìn)行高斯噪聲增強(qiáng)時(shí)，使得增強(qiáng)的樣本與原始樣本盡可能不相似，與負(fù)樣本盡可能相似，已達(dá)到【混淆視聽(tīng)】的效果。通過(guò)這種方式，VaSCL在絕大多數(shù)據(jù)集上的表現(xiàn)，也超過(guò)了SimCSE。

審核編輯 ：李倩