如何在Prompt Learning下引入外部知識達到好文本分類效果

背景

利用Prompt Learning（提示學習）進行文本分類任務(wù)是一種新興的利用預(yù)訓(xùn)練語言模型的方式。在提示學習中，我們需要一個標簽詞映射（verbalizer），將[MASK]位置上對于詞表中詞匯的預(yù)測轉(zhuǎn)化成分類標簽。例如{POLITICS: "politics", SPORTS: "sports"} 這個映射下，預(yù)訓(xùn)練模型在[MASK]位置對于politics/sports這個標簽詞的預(yù)測分數(shù)會被當成是對POLITICS/SPORTS這個標簽的預(yù)測分數(shù)。

手工定義或自動搜索得到的verbalizer有主觀性強覆蓋面小等缺點，我們使用了知識庫來進行標簽詞的擴展和改善，取得了更好的文本分類效果。同時也為如何在Prompt Learning下引入外部知識提供了參考。

方法

我們提出使用知識庫擴展標簽詞，通過例如相關(guān)詞詞表，情感詞典等工具，基于手工定義的初始標簽詞進行擴展。例如，可以將{POLITICS: "politics", SPORTS: "sports"} 擴展為以下的一些詞：

表1: 基于知識庫擴展出的標簽詞。

圖1: 以問題分類任務(wù)為例的KPT流程圖。

之后我們可以通過一個多對一映射將多個詞上的預(yù)測概率映射到某個標簽上。

但是由于知識庫不是為預(yù)訓(xùn)練模型量身定做的，使用知識庫擴展出的標簽詞具有很大噪音。例如SPORTS擴展出的movement可能和POLITICS相關(guān)性很大，從而引起混淆；又或者POLITICS擴展出的machiavellian（為奪取權(quán)力而不擇手段的）則可能由于詞頻很低不容易被預(yù)測到，甚至被拆解成多個token而不具有詞語本身的意思。

因此我們提出了三種精調(diào)以及一種校準的方法。

01

頻率精調(diào)

我們利用預(yù)訓(xùn)練模型M本身對于標簽詞v的輸出概率當成標簽詞的先驗概率，用來估計標簽詞的先驗出現(xiàn)頻率。我們把頻率較小的標簽詞去掉。

公式1: 頻率精調(diào)。C代表語料庫。

02

相關(guān)性精調(diào)

有的標簽詞和標簽相關(guān)性不大，有些標簽詞會同時和不同標簽發(fā)生混淆。我們利用TF-IDF的思想來賦予每個標簽詞一個對于特定類別的重要性。

公式2: 相關(guān)性精調(diào)，r(v,y)是一個標簽詞v和標簽y的相關(guān)性，類似于TF項。右邊一項則類似IDF項，我們要求這一項大也就是要求v和其非對應(yīng)類相關(guān)性小。

03

可學習精調(diào)

在少樣本實驗中，我們可以為每個標簽詞賦予一個可學習的權(quán)重，因此每個標簽詞的重要性就變成：

公式3：可學習的標簽詞權(quán)重。

04

基于上下文的校準

在零樣本實驗中不同標簽詞的先驗概率可能差得很多，例如預(yù)測 basketball可能天然比fencing大，會使得很多小眾標簽詞影響甚微。我們使用校準的方式來平衡這種影響。

公式4: 基于上下文的校準，分母是公式1中的先驗概率。

使用上以上這些精調(diào)方法，我們知識庫擴展的標簽詞就能有效使用了。

實驗

表2：零樣本文本分類任務(wù)。

如表2所示，零樣本上相比于普通的Prompt模板，性能有15個點的大幅長進。相比于加上了標簽詞精調(diào)的也最多能有8個點的提高。我們提出的頻率精調(diào)，相關(guān)性精調(diào)等也各有用處。

表3：少樣本文本分類任務(wù)。

如表3所示，在少樣本上我們提出的可學習精調(diào)搭配上相關(guān)性精調(diào)也有較大提升。AUTO和SOFT都是自動的標簽詞優(yōu)化方法，其中SOFT以人工定義的標簽詞做初始化，可以看到這兩種方法的效果都不如KPT。

圖2: SPORTS和BUSINESS類的知識庫擴展的標簽詞對于預(yù)測的貢獻。

標簽詞的可視化表明，每一條句子可能會依賴不同的標簽詞進行預(yù)測，完成了我們增加覆蓋面的預(yù)期。

總結(jié)

最近比較受關(guān)注的Prompt Learning方向，除了template的設(shè)計，verbalizer的設(shè)計也是彌補MLM和下游分類任務(wù)的重要環(huán)節(jié)。我們提出的基于知識庫的擴展，直觀有效。同時也為如何在預(yù)訓(xùn)練模型的的利用中引入外部知識提供了一些參考。

審核編輯：郭婷