一種處理多標(biāo)簽文本分類的新穎推理機(jī)制

研究動(dòng)機(jī)

多標(biāo)簽文本分類（multi-label text classification, 簡(jiǎn)稱MLTC）的目的是在給定文本后要求模型預(yù)測(cè)其多個(gè)非互斥的相關(guān)標(biāo)簽。該任務(wù)在許多自然語言處理任務(wù)上都有體現(xiàn)。如在表1中，需要給該文檔打上標(biāo)簽：basketball、NBA、sport。

表1多標(biāo)簽文本分類的例子

一種處理MLTC的簡(jiǎn)單方法是將其轉(zhuǎn)換為多個(gè)獨(dú)立的二分類問題。該方法被稱為BinaryRelevance (BR)，由于其簡(jiǎn)單性而被大規(guī)模使用。但該方法的弊端也十分明顯，即該方法完全忽略了標(biāo)簽之間的相關(guān)信息。直覺上，知道一些標(biāo)簽——如上例中的basketball及NBA——會(huì)使得預(yù)測(cè)其他標(biāo)簽（如sport）更加簡(jiǎn)單。研究者指出對(duì)于多標(biāo)簽分類任務(wù)而言，有效利用標(biāo)簽之間的相關(guān)性是有益的、甚至是必要的。為此，涌現(xiàn)出許多利用標(biāo)簽關(guān)系的算法，其中最知名的就是算法Classifier Chains（CC）。該算法將多個(gè)二分類器串聯(lián)起來，其中每個(gè)分類器使用之前分類器的預(yù)測(cè)結(jié)果作為額外的輸入。該方法將潛在的標(biāo)簽依賴納入考慮，但該問題的最大缺陷在于不同的標(biāo)簽順序會(huì)產(chǎn)生天壤之別的性能。同時(shí)，CC算法的鏈?zhǔn)浇Y(jié)構(gòu)使得算法無法并行，在處理大規(guī)模數(shù)據(jù)集時(shí)效率低下。

近年來，也有學(xué)者將標(biāo)簽集合視作標(biāo)簽序列，并使用基于神經(jīng)網(wǎng)絡(luò)的端到端模型（seq2seq）來處理該任務(wù)。相較于CC預(yù)測(cè)所有標(biāo)簽，這類seq2seq的模型只預(yù)測(cè)相關(guān)標(biāo)簽。因此該類模型的決策鏈條長(zhǎng)度更短，性能更優(yōu)。但這類模型的性能強(qiáng)烈依賴于標(biāo)簽的順序。在多標(biāo)簽數(shù)據(jù)集中，標(biāo)簽本質(zhì)上是無序的集合，未必可以線性排列。學(xué)者們指出不同的標(biāo)簽順序?qū)τ趯W(xué)習(xí)和預(yù)測(cè)有著重大影響。舉例來說，對(duì)于表1中的例子，如果標(biāo)簽序列以sport開始，則對(duì)于預(yù)測(cè)其他相關(guān)標(biāo)簽的幫助不大。

02

—

解決方案

為了處理上述問題，我們提出了Multi-Label Reasoner（ML-Reasoner），一個(gè)基于推理機(jī)制的算法。ML-Reasoner的框架如圖1所示，我們?yōu)槊恳粋€(gè)標(biāo)簽分配一個(gè)二分類器，它們同時(shí)預(yù)測(cè)所有標(biāo)簽以滿足標(biāo)簽的無序性質(zhì)。這樣的話，ML-Reasoner可以同時(shí)計(jì)算每一個(gè)標(biāo)簽相關(guān)的概率。例如在處理上例時(shí)，ML-Reasoner可能認(rèn)為標(biāo)簽NBA相關(guān)的概率為0.9，basketball的為0.7，sport為0.55，football為0.3.這樣，ML-Reasoner就完全避免依賴標(biāo)簽順序。同時(shí)為了有效利用標(biāo)簽的相關(guān)性，我們?cè)O(shè)置了一種新穎的迭代推理機(jī)制，即將上一輪對(duì)所有標(biāo)簽相關(guān)的預(yù)測(cè)作為下一次迭代的額外特征輸入。這種方法使得ML-Reasoner可以在每一輪的迭代中完善預(yù)測(cè)結(jié)果。舉例來說，考慮到標(biāo)簽NBA與basketball相關(guān)的概率較高，模型可以在后續(xù)迭代中，將標(biāo)簽sport的概率調(diào)高。

圖1 Multi-Label Reasoner整體框架圖

具體到Reasoner的實(shí)現(xiàn)，我們將其劃分為五個(gè)組件，其相關(guān)交互關(guān)系見圖2。

圖2多標(biāo)簽文本分類的Reasoner模塊

- Text Encoder將詞語序列轉(zhuǎn)換為稠密的向量表示，主要負(fù)責(zé)抽取文本特征；

- Label Encoder將上一輪次所有標(biāo)簽的相關(guān)概率轉(zhuǎn)換為相應(yīng)的標(biāo)簽表示；

- Attention模塊負(fù)責(zé)計(jì)算文本與不同標(biāo)簽之間的相關(guān)性；

- Combiner則將文本的原始特征與標(biāo)簽特征進(jìn)行整合；

- 具有相同結(jié)構(gòu)但不同參數(shù)的Classifier則預(yù)測(cè)各個(gè)標(biāo)簽的相關(guān)性。

至于損失函數(shù)，我們選擇了Binary Cross Entropy (BCE)。更具體的設(shè)置請(qǐng)參見原文。

03

—

實(shí)驗(yàn)

我們?cè)趦蓚€(gè)常用的多標(biāo)簽文本分類數(shù)據(jù)集Arxiv Acadmeic Paper Dataset（AAPD）及Reuters Corpus Volum I （RCV1-V2）上進(jìn)行了實(shí)驗(yàn)。AAPD數(shù)據(jù)量更少、標(biāo)簽密度更大，分類難度更大。評(píng)價(jià)指標(biāo)則選用了hamming loss，micro-precision，micro-recall及micro-F1；其中hamming loss越低越好，其他則越高越好。至于基準(zhǔn)模型，我們選用了經(jīng)典模型如BR、CC、LP，也有性能優(yōu)越的seq2seq模型如CNN-RNN、SGM，還有其他一些表現(xiàn)卓越的多標(biāo)簽文本分類模型如LSAN，之外也將seq2set納入進(jìn)來作為比較。seq2set使用強(qiáng)化學(xué)習(xí)算法來緩解seq2seq模型對(duì)于標(biāo)簽順序的依賴程度。同時(shí)，為了驗(yàn)證ML-Reasoner在不同文本編碼器上能帶來的性能提升，我們分別使用了CNN、LSTM及BERT作為ML-Reasoner框架中的Text Encoder模塊。實(shí)驗(yàn)結(jié)果如表2所示。

表2 ML-Reasoner及基準(zhǔn)模型在兩個(gè)數(shù)據(jù)集上的性能

從表中可以看出，ML-Reasoner在兩個(gè)數(shù)據(jù)集上均達(dá)到了SOTA水準(zhǔn)，且在三種不同文本編碼器上都能帶來顯著提升。

為了驗(yàn)證ML-Reasoner可以完全避免對(duì)標(biāo)簽順序的依賴，我們隨機(jī)打亂AAPD數(shù)據(jù)集的標(biāo)簽順序，并進(jìn)行了測(cè)試；各個(gè)模型的性能如表3所示。從表中可以看到，CC及seq2seq模型的性能受標(biāo)簽順序的劇烈影響；seq2set可以顯著緩解seq2seq的問題；而ML-Reasoner則完全不受標(biāo)簽順序的影響。

表3各模型在標(biāo)簽打亂的AAPD數(shù)據(jù)集上的性能

我們也通過燒蝕實(shí)驗(yàn)（見圖3），確定了推理機(jī)制確實(shí)是性能提升的關(guān)鍵。

圖3 ML-Reasoner（T=1,2,5）及CNN-Round（T=1,2,5）在AAPD測(cè)試集上的性能雷達(dá)圖

我們也探究了迭代次數(shù)對(duì)模型性能的影響，由圖4可知，進(jìn)行了一次推理就可以帶來顯著提升；而推理次數(shù)的再次提高并不能帶來更多的提升。這可能是因?yàn)槟Ｐ图皵?shù)據(jù)集的選擇導(dǎo)致的。

圖4不同迭代輪數(shù)下的ML-Reasoner在AAPD測(cè)試集上的性能雷達(dá)圖

為了進(jìn)一步理解Reasoner發(fā)揮作用的機(jī)制，我們從數(shù)據(jù)集中選取了一些典型示例（見表4）。在第一個(gè)例子中，模型通過推理將相關(guān)標(biāo)簽math.OC添上；模型處理第二個(gè)例子時(shí)，則將無關(guān)標(biāo)簽cs.LO剔除；有時(shí)添加與刪除的動(dòng)作也會(huì)同時(shí)發(fā)生（見第三個(gè)例子）。當(dāng)然，推理偶爾也會(huì)使預(yù)測(cè)結(jié)果變差（見第四、第五個(gè)例子）。

表4 AAPD測(cè)試集中一些由于推理機(jī)制預(yù)測(cè)結(jié)果出現(xiàn)變化的實(shí)例

為了驗(yàn)證上述例子的變化確實(shí)是因?yàn)榭紤]了標(biāo)簽之間的相關(guān)性，我們進(jìn)一步統(tǒng)計(jì)模型在添加或刪除某個(gè)標(biāo)簽時(shí)與其他標(biāo)簽的共現(xiàn)頻率。從圖5中，可以觀察到模型往往在添加某個(gè)標(biāo)簽時(shí)，其共現(xiàn)頻率（第二行）與真實(shí)共現(xiàn)頻率接近（第一行）；而刪除某個(gè)標(biāo)簽時(shí)，其共現(xiàn)頻率（第三行）與真實(shí)共現(xiàn)頻率（第一行）則相差較遠(yuǎn)。

圖5 AAPD標(biāo)簽的共現(xiàn)頻率圖

04

—

結(jié)論

在本文中，我們提出了算法ML-Reasoner。該算法可以同時(shí)預(yù)測(cè)所有標(biāo)簽進(jìn)而避免了對(duì)標(biāo)簽順序的依賴；之外，他通過新穎的推理機(jī)制利用了標(biāo)簽之間的高階關(guān)系。實(shí)驗(yàn)結(jié)果表明了ML-Reasoner在捕獲標(biāo)簽依賴之間的有效性；進(jìn)一步的分析驗(yàn)證了其確實(shí)未對(duì)標(biāo)簽順序產(chǎn)生依賴。一些經(jīng)驗(yàn)性試驗(yàn)也揭示了該算法發(fā)揮作用的機(jī)制。由于ML-Reasoner未顯式利用標(biāo)簽之間的關(guān)系，如層次結(jié)構(gòu)等，如何將這些信息納入考慮是值得進(jìn)一步探索的。

原文標(biāo)題：【IPM2020】一種處理多標(biāo)簽文本分類的新穎推理機(jī)制

文章出處：【微信公眾號(hào)：深度學(xué)習(xí)自然語言處理】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。

責(zé)任編輯：haq