一窺AMR圖譜在自然語言處理中的應(yīng)用

引言

TreeBank 作為自然語言語法的結(jié)構(gòu)化表示可謂廣為人知，其實在語義層面也有一種類似的結(jié)構(gòu)化方法——抽象語義表示（Abstract Meaning Representation，AMR）。它能記錄自然語言文本中最重要的語義信息，但并不限制實際表達(dá)時的語法結(jié)構(gòu)。本次分享我們將向讀者介紹 ACL 2022 中與 AMR 有關(guān)的三篇論文，一窺 AMR 圖譜在自然語言處理中的應(yīng)用。

文章概覽

Graph Pre-training for AMR Parsing and Generation

AMR 既不會自動從文本中展現(xiàn)出來，也無法自行表達(dá)一個句子。因此對于 AMR 而言，最重要的任務(wù)就是從文本中構(gòu)建 AMR，以及根據(jù) AMR 生成文本。目前的主流模型均以預(yù)訓(xùn)練語言模型作為基礎(chǔ)，然而本文作者指出，傳統(tǒng)的預(yù)訓(xùn)練方法面向文本，存在任務(wù)形式錯配的問題。因此，本文首次提出將直接針對 AMR 的圖預(yù)訓(xùn)練任務(wù)應(yīng)用至預(yù)訓(xùn)練語言模型中，并取得了不錯的效果。

Variational Graph Autoencoding as Cheap Supervision for AMR Coreference Resolution

理論上我們可以利用 AMR 圖譜分析多個句子甚至一篇文章的語義，但必須通過指代消融將多個指代相同實體的節(jié)點合并。目前的模型一方面需要大量的圖譜數(shù)據(jù)用于訓(xùn)練，另一方面卻對數(shù)據(jù)噪聲較為敏感。本文作者通過將變分圖自編碼器引入既有的 AMR 指代消融模型，成功將存在一定錯誤的自動標(biāo)注 AMR 圖譜數(shù)據(jù)納入訓(xùn)練數(shù)據(jù)中，使模型性能得到了顯著提高。

AMR-DA: Data Augmentation by Abstract Meaning Representation

AMR 圖譜可以助力多種自然語言處理任務(wù)，不過本文探討的卻是一個比較另類的應(yīng)用——自然語言數(shù)據(jù)增強。面向文本的數(shù)據(jù)增強方法或者容易導(dǎo)致病句，或者難以提供足夠的數(shù)據(jù)多樣性；相反，面向 AMR 的數(shù)據(jù)增強可以在輕微改變甚至不改變語義的前提下，生成通順而多變的文本?；谏鲜鲇^察，本文在兩個主流任務(wù)上比較了傳統(tǒng)方法與 AMR 數(shù)據(jù)增強的效果，并分析了 AMR 方法的優(yōu)勢所在。

論文細(xì)節(jié)

研究動機

人工標(biāo)注 AMR 圖譜往往費時費力，因此設(shè)計能相互轉(zhuǎn)換文本與 AMR 的自動模型就顯得非常重要。其中，從文本構(gòu)建 AMR 稱為 AMR 解析（parsing），而根據(jù) AMR 生成文本則稱為 AMR 生成（generation）。目前主流的方法是將 AMR 圖譜按照一定的節(jié)點順序（如 DFS 序列）表示為一個字符串，然后應(yīng)用序列到序列（seq2seq）模型；然而，通常的序列到序列模型是基于文本設(shè)計的，并不能很好地學(xué)習(xí) AMR 特有的圖結(jié)構(gòu)。

為了實現(xiàn)能更好地利用圖結(jié)構(gòu)的模型，本文作者探究了以下三個問題：能否設(shè)計完全基于圖的預(yù)訓(xùn)練任務(wù)（即圖到圖任務(wù)）作為文本預(yù)訓(xùn)練的補充？怎樣有效結(jié)合這兩類形式不同的訓(xùn)練任務(wù)？能否引入其它模型自動標(biāo)注的 AMR（存在一定噪聲）？本文即沿著上述三個問題，分別在 AMR 解析與生成兩個任務(wù)上進(jìn)行了實驗與分析。

圖訓(xùn)練任務(wù)

為了與既有的模型結(jié)果對齊，本文依然沿用了基于文本的 BART 模型，輸入或輸出序列化的 AMR 圖譜。BART 的預(yù)訓(xùn)練任務(wù)是文本去噪，即從添加了噪聲的文本中重建原始內(nèi)容，其中噪聲包括語段的增刪、調(diào)換、掩碼（MASK）覆蓋等。顯然如果直接對序列化 AMR 圖譜應(yīng)用這些操作，很可能會破壞圖譜表示，導(dǎo)致模型難以利用結(jié)構(gòu)信息恢復(fù)原始圖譜。

為此，作者巧妙地設(shè)計了兩類能夠表示為文本去噪的圖預(yù)訓(xùn)練任務(wù)——節(jié)點/邊重建和子圖重建。其中，節(jié)點/邊重建任務(wù)隨機選取原始 AMR 圖譜中部分節(jié)點和邊，并用掩碼標(biāo)簽覆蓋，要求模型恢復(fù)這些節(jié)點和邊的原始標(biāo)簽；子圖重建任務(wù)則進(jìn)一步將一個完整的隨機子圖替換為掩碼節(jié)點，要求模型恢復(fù)整個子圖。這些基于圖譜的變換既可以分別應(yīng)用于不同的輸入，也可以同時使用。

通過加入一些限制條件，上述兩個任務(wù)都能以文本掩碼、語段交換等形式套用既有的 BART 預(yù)訓(xùn)練流程。這樣一方面可以在不改動既有模型架構(gòu)的前提下進(jìn)行圖訓(xùn)練任務(wù)，另一方面可以增強模型對比結(jié)果的說服力。

聯(lián)合訓(xùn)練框架

解決了任務(wù)設(shè)計的問題，還需要考慮如何統(tǒng)一圖訓(xùn)練與文本訓(xùn)練。本文作者注意到，這兩類預(yù)訓(xùn)練任務(wù)和下游任務(wù)（AMR 解析與生成）都可以表示為如下形式：輸入一段文本或一個 AMR 圖譜，輸出另一段文本或另一個 AMR 圖譜；然而不難發(fā)現(xiàn)，預(yù)訓(xùn)練任務(wù)的輸入與輸出有相同的形式，但下游任務(wù)卻并非如此——兩類任務(wù)的形式錯配了。

作者認(rèn)為，這一錯配是目前序列到序列模型性能瓶頸的來源之一：模型在預(yù)訓(xùn)練階段難以學(xué)習(xí)文本與圖譜信息交互的部分，然而無論是 AMR 解析還是生成任務(wù)都高度依賴這些交互信息。因此，他們進(jìn)一步提出了文本-圖譜聯(lián)合預(yù)訓(xùn)練框架，即模型同時輸入文本與圖譜信息，輸出期望的文本或圖譜。如此一來，上述各種任務(wù)無非是將其中一個輸入源置空而已。

在這樣一個統(tǒng)一的框架下，本文提出了將文本與圖譜結(jié)合起來的預(yù)訓(xùn)練任務(wù)——其中一類是同時輸入文本與圖譜，但向其中某個輸入添加噪聲，并要求模型復(fù)原；另一類是同時向兩個輸入添加噪聲，并要求模型恢復(fù)其中一個。各個任務(wù)的損失函數(shù)與通常的去噪任務(wù)無異，均為交叉熵?fù)p失，且訓(xùn)練期間可以同時加入所有任務(wù)，目標(biāo)損失函數(shù)即為所有任務(wù)的損失函數(shù)之和。

與單純的文本或圖訓(xùn)練任務(wù)相比，模型能同時利用文本與圖譜的信息，就有機會強化模型理解雙方交互的水平。此外，根據(jù)預(yù)訓(xùn)練樣本量的不同，訓(xùn)練樣本的噪聲水平會逐漸提高（即掩碼出現(xiàn)的頻率），使模型能漸進(jìn)地學(xué)習(xí)。

實驗設(shè)計

利用以上提到的圖訓(xùn)練與聯(lián)合訓(xùn)練任務(wù)，本文選取 AMR 2.0 與 AMR 3.0 兩個人工標(biāo)注數(shù)據(jù)集作為訓(xùn)練集和主要測試集，并額外在 New3、小王子（LP）以及 Bio AMR 等小型數(shù)據(jù)集上測試模型的跨領(lǐng)域性能。此外為了回答第三個問題——能否利用自動標(biāo)注數(shù)據(jù)，作者又從 Gigaword 語料庫（兩個主數(shù)據(jù)集的語料來源）隨機抽取部分句子，并采用 SPRING 模型生成自動標(biāo)注的 AMR 圖譜，作為預(yù)訓(xùn)練專用的附加數(shù)據(jù)集。

AMR 解析與 AMR 生成兩個任務(wù)均采用原版 BART 作為核心模型，并通過驗證集指標(biāo)選取最優(yōu)模型。AMR 解析任務(wù)采用目前主流的 Smatch 分?jǐn)?shù)及其子項作為評價指標(biāo)，AMR 生成任務(wù)則選取 BLEU、CHRF++ 和 METEOR 等文本生成評價指標(biāo)。

結(jié)果及分析

下圖展示了在驗證集上各種預(yù)訓(xùn)練任務(wù)組合的效果，可見當(dāng)模型是針對圖譜去噪預(yù)訓(xùn)練時，解析任務(wù)的性能提升更明顯，生成任務(wù)的性能提升更明顯，且組合所有任務(wù)的效果是最好的。另外作者進(jìn)一步發(fā)現(xiàn)，兩種圖預(yù)訓(xùn)練形式都能提供一定程度的幫助，且子圖重建的貢獻(xiàn)更大一些。

下圖列出了一些驗證集上的其它實驗結(jié)果。其中，左圖比較了兩種訓(xùn)練范式下的模型性能，顯示通過聯(lián)合訓(xùn)練框架預(yù)訓(xùn)練的模型在兩個任務(wù)上都優(yōu)于采用傳統(tǒng)任務(wù)預(yù)訓(xùn)練的模型；右圖則統(tǒng)計了添加自帶噪聲的自動標(biāo)注數(shù)據(jù)參加預(yù)訓(xùn)練后的指標(biāo)變化，表明在本文提出的訓(xùn)練范式下，即使是自動標(biāo)注數(shù)據(jù)也可以有效改善模型的性能。

主數(shù)據(jù)集上的測試結(jié)果如下圖所示，包括 AMR 解析與 AMR 生成任務(wù)，可見本文提出的模型與其它主流模型相比，在各項指標(biāo)上幾乎都實現(xiàn)了突破，甚至在生成任務(wù)上用較小的 bart-base 達(dá)到或超過了用 bart-large 作為核心的其它模型。值得注意的是，在這些模型中，本文提出的模型在利用自動標(biāo)注數(shù)據(jù)時的表現(xiàn)是最好的——作者指出這是因為去噪預(yù)訓(xùn)練任務(wù)可以更好地容忍一定的數(shù)據(jù)噪聲。

此外，模型在跨領(lǐng)域數(shù)據(jù)集上的表性能也顯著優(yōu)于參與比較的其它模型，顯示模型有更強的領(lǐng)域適應(yīng)能力，作者認(rèn)為是由于新的預(yù)訓(xùn)練任務(wù)減輕了模型在精調(diào)階段的災(zāi)難遺忘現(xiàn)象。

最后，本文作者還討論了應(yīng)對復(fù)雜程度不同的 AMR 圖譜時，模型在兩個任務(wù)上的表現(xiàn)。從下圖的結(jié)果可以看到，模型的性能改進(jìn)（特別是 AMR 生成）在更大、更深的圖上更加明顯，并且對有不同平均入度的圖也都有性能提升。

研究動機

雖然 AMR 是針對句子標(biāo)注的，但從定義來看，它并不限制語義表達(dá)的規(guī)模，因此對一篇文章中每個句子生成 AMR 圖譜并整體處理是完全可行的。但在許多文章中，多個句子往往會涉及同一個實體，因此有必要將表達(dá)相同實體的 AMR 節(jié)點合并為一個聚類節(jié)點——這就是 AMR 上的指代消融任務(wù)。

早期的 AMR 指代消融主要有兩種方式，其一是人工設(shè)計匹配規(guī)則，其二是通過對齊 AMR 與文本，將面向文本的指代消融結(jié)果套用至 AMR 上。最近的研究開始聚焦于直接將基于神經(jīng)網(wǎng)絡(luò)的文本指代消融模型改造為專用于 AMR 圖譜的模型，取得了不錯的成果；但正如上文所述，這類方法依然需要面對標(biāo)注數(shù)據(jù)不足的困境。為了幫助模型走出這一困境，本文作者同樣試圖挖掘自動標(biāo)注數(shù)據(jù)的潛力，使神經(jīng)網(wǎng)絡(luò)模型也能很好地應(yīng)用于 AMR 指代消融任務(wù)中。

模型結(jié)構(gòu)

本文研究的基準(zhǔn)模型稱為 AMRCoref，是一個直接在 AMR 圖譜上計算指代聚類的模型。整個模型由節(jié)點編碼、圖譜編碼、概念識別與指代聚類四個階段組成，其中概念識別需要確定 AMR 中各個節(jié)點的類別（功能詞、實體、動詞等），而指代聚類就專注于判斷節(jié)點之間有無指代關(guān)聯(lián)——模型正是基于后面這兩個階段的損失函數(shù)訓(xùn)練的。

為了讓模型能學(xué)習(xí)帶有噪聲的自動標(biāo)注數(shù)據(jù)，本文將 AMRCoref 中圖譜編碼采用的 GRN 替換為變分圖自編碼器（VGAE）。VGAE 由一個局部圖編碼器和一個局部圖解碼器組成，其中前者與 AMRCoref 的圖譜編碼階段作用相同，利用 GCN、GAT 或 GRN 將各個節(jié)點的編碼相互融合；后者則通過點積等運算試圖重建 AMR 的邊集——解碼器的目標(biāo)正是要讓邊集重建損失以及變分限制懲罰之和最小。

新的 VGAE-AMRCoref 模型有兩種訓(xùn)練方式：直接訓(xùn)練和圖編碼預(yù)訓(xùn)練。直接訓(xùn)練法與原始的 AMRCoref 基本相同，只是額外增加了 VGAE 的解碼器損失；圖編碼預(yù)訓(xùn)練則只考慮解碼器損失，預(yù)訓(xùn)練完畢后再針對下游任務(wù)精調(diào)。

實驗設(shè)計

本文選擇了 MS-AMR 基準(zhǔn)測試作為訓(xùn)練集和主測試集，并在小王子（LP）數(shù)據(jù)集上測試了跨領(lǐng)域性能；圖編碼預(yù)訓(xùn)練采用 AMR 3.0（下文稱 AMR-gold）數(shù)據(jù)集。為了檢驗?zāi)Ｐ屠米詣訕?biāo)注數(shù)據(jù)的能力，作者額外為 AMR-gold 的每個句子自動生成了 AMR 圖譜，組成同樣用于預(yù)訓(xùn)練的 AMR-silver 數(shù)據(jù)集。指代消融的評測指標(biāo)由 MUC、B3 和 CEAF-phi4 的 F-1 分?jǐn)?shù)組成。

根據(jù)驗證集上的實驗結(jié)果，VGAE-AMRCoref 模型采用 GAT 作為圖編碼器。參與比較的模型包括一個基于節(jié)點字符串匹配的規(guī)則模型、一個結(jié)合文本指代消融與 AMR 對齊的模型和 AMRCoref；此外，AMRCoref 和 VGAE-AMRCoref 的節(jié)點編碼均考慮包含 BERT 編碼與不包含兩個版本。所有實驗結(jié)果均取 5 個隨機種子下的平均值。

結(jié)果及分析

下圖展示了各個模型在兩個不同的測試集上的指代消融性能。即使是未經(jīng)過預(yù)訓(xùn)練階段的 VGAE-AMRCoref，其性能也與 AMRCoref 相當(dāng)；而加入預(yù)訓(xùn)練任務(wù)后，模型性能得到了顯著提升，特別是在跨領(lǐng)域數(shù)據(jù)集上表現(xiàn)突出。另外，在節(jié)點編碼中引入 BERT 編碼可以讓模型略有改進(jìn)，但并不明顯。

此外，本文作者還進(jìn)行了若干消融實驗。下圖顯示了采用不同版本解碼器損失的實驗結(jié)果，可見無論是邊集重建損失亦或變分限制懲罰都能改進(jìn)模型性能，且后者的效果更好一些。

圖編碼器層數(shù)與模型性能的關(guān)系如下圖所示，不難發(fā)現(xiàn)圖神經(jīng)網(wǎng)絡(luò)中常見的過平滑現(xiàn)象依然存在——當(dāng)編碼器超過 3 層時，模型性能開始下降——這與 AMRCoref 的實驗結(jié)果一致。

最后，下圖比較了將不同規(guī)模的 AMR-gold 與 AMR-silver 作為預(yù)訓(xùn)練數(shù)據(jù)集時模型的效果。總體而言，越多的預(yù)訓(xùn)練數(shù)據(jù)能帶來越高的分?jǐn)?shù)，對兩個數(shù)據(jù)集而言都是如此。盡管自動標(biāo)注的 AMR-silver 在小數(shù)據(jù)量時會稍微降低模型性能，但只要數(shù)據(jù)量達(dá)到一定水平，自動標(biāo)注數(shù)據(jù)依然能帶來可觀的提升。作者在此也提出，如果能用更大規(guī)模的語料庫與更好的 AMR 解析模型，那么采用自動標(biāo)注數(shù)據(jù)預(yù)訓(xùn)練的 VGAE-AMRCoref 仍然存在提升空間。

研究動機

長期以來，數(shù)據(jù)增強技術(shù)（Data Augmentation，DA）在自然語言處理領(lǐng)域的應(yīng)用都不算多。一方面，易于存儲的文本數(shù)據(jù)確實能以語料庫的形式提供大量樣本；但另一方面，目前的方法大部分難以在合理性與多樣性之間達(dá)到平衡——基于單詞的數(shù)據(jù)增強（如增刪調(diào)換）很容易造出病句或矛盾句，而基于句子的數(shù)據(jù)增強（如往復(fù)翻譯）則難以創(chuàng)造多變的句式，容易導(dǎo)致過擬合。

為了找到兼顧合理性與多樣性的數(shù)據(jù)增強方法，本文作者將目光轉(zhuǎn)向了 AMR。AMR 不限制語法的設(shè)定使得單個 AMR 圖譜能夠生成多種句式不同的句子，而且在一定范圍內(nèi)修改 AMR 并不會顯著影響其語義。這些特性就使得 AMR 成為了自然語言數(shù)據(jù)增強的有力中介。

AMR 數(shù)據(jù)增強

AMR 數(shù)據(jù)增強（AMR-DA）包括三個階段：首先需要將文本語料解析為 AMR 圖譜，然后根據(jù)需求在 AMR 圖譜上作少量修改，最后從修改后的 AMR 圖譜生成新的文本。其中，AMR 解析模型選擇上文提到的 SPRING 模型，而 AMR 生成模型則采用了基于 T5 的預(yù)訓(xùn)練文本生成模型。

需要特別介紹的是 AMR 圖譜的修改操作，包括不修改（Ori）、隨機調(diào)換（RS）、隨機刪除（RD）、隨機插入（RI）和同義詞替換（SR）五種操作。

不修改操作即保持原有的 AMR 圖譜不變，單純利用生成模型實現(xiàn)文本改寫；

隨機調(diào)換每次將兩個概念節(jié)點連同其連邊交換，重復(fù)若干次；

隨機刪除每次刪除一個葉子節(jié)點及其連邊，重復(fù)若干次；

隨機插入每次從一個節(jié)點對庫中挑選一對連邊節(jié)點對插入，重復(fù)若干次，節(jié)點對庫是從 AMR 2.0 中提取并篩去不合適的連邊節(jié)點對組成的；

同義詞替換每次選擇一個概念節(jié)點，并用 PPDB 同義詞庫中的某個同義詞替換，重復(fù)若干次。

語義相似度實驗

本文作者首先在語義相似度（Semantic Textual Similarity，STS）任務(wù)上進(jìn)行實驗。STS 要求計算句子對的語義相似度，在矛盾學(xué)習(xí)（一種無監(jiān)督句級表示學(xué)習(xí)方法）中有重要應(yīng)用；在這個任務(wù)中，自然語言數(shù)據(jù)增強可以提供相似度高的正例。為了檢驗各種數(shù)據(jù)增強方法在 STS 上的效果，本文選取了無監(jiān)督的 ConSERT 和 SimCSE 兩個 STS 模型用于比較，并將原始模型采用的數(shù)據(jù)增強替換為 AMR-DA。所有模型都采用維基百科語料訓(xùn)練，并在 7 個不同的 STS 基準(zhǔn)數(shù)據(jù)集上測試。

以下是各種修改操作的實驗結(jié)果，可見所有操作單獨應(yīng)用時都能超過原版 ConSERT 采用的單詞級 DA。其中，不修改的提升效果最明顯，后續(xù)實驗表明這是由于這一操作可以生成相似度更高的句子對。值得留意的是，上述實驗顯示同義詞替換可以帶來最大的詞法多樣性，但這一方法同樣可以有效改進(jìn)模型訓(xùn)練。

下圖進(jìn)一步比較了各種模型的測試性能，可以看到采用 AMR-DA 后，模型性能有了明顯提升，基本達(dá)到了領(lǐng)先水平。需要指出的是，ESimCSE 模型不僅有正例增強，還采用了負(fù)例增強，而 AMR-DA 雖然只能提供正例增強，但依然可以與之匹敵。

文本分類實驗

相比于語義相似度，文本分類（Text Classification，TC）的應(yīng)用要廣泛得多，因此本文作者同樣在若干文本分類任務(wù)上測試了各種數(shù)據(jù)增強技術(shù)在 CNN、RNN、BERT 等神經(jīng)網(wǎng)絡(luò)模型上的效果。針對同一種 DA 的所有實驗均采用相同的配置，且只應(yīng)用于訓(xùn)練集的一個子集上。此外，實驗分別測試了每個樣本應(yīng)用一處和五處修改時模型的性能。

下圖展示了 TC 任務(wù)上的實驗結(jié)果，其中 EDA 直接在文本上應(yīng)用類似 AMR-DA 的修改，而 AEDA 是 EDA 的一種改進(jìn)版本。結(jié)果顯示，無論何種網(wǎng)絡(luò)、何種任務(wù)，AMR-DA 都取得了比其它 DA 更高的分?jǐn)?shù)，并且同時采用五種修改方式的提升比單獨采用一種更大。

當(dāng)限制模型訓(xùn)練集大小時，模型性能的變化如下圖所示，可見 AMR-DA 在各種訓(xùn)練集大小下都超過了 EDA，并且與原始訓(xùn)練集相比有顯著改進(jìn)。

機理分析

在上述兩個任務(wù)上實驗之后，本文作者嘗試從多個角度分析 AMR-DA 的優(yōu)勢。下圖列出了不做任何 AMR 修改時 AMR-DA（以下稱為 AMR-Ori）的效果，即只考慮了 AMR 圖譜帶來的句式多樣性?？梢钥吹?，僅僅是通過解析-生成的方式改寫句子，AMR-Ori 就已經(jīng)表現(xiàn)良好，并且不同生成模型對結(jié)果影響并不算大。

為了進(jìn)一步考察 AMR-DA 帶來的變化，下圖展示了 STS 任務(wù)中 SimCSE 編碼在不斷學(xué)習(xí)的過程中對齊性（正例的相似程度）與統(tǒng)一性（隨機樣本的分散程度）的發(fā)展，其中兩個指標(biāo)的值越低，編碼效果越好。對原版 SimCSE 而言，學(xué)習(xí)過程中雖然統(tǒng)一性指標(biāo)確實在不斷下降，但對齊性指標(biāo)未能進(jìn)一步改進(jìn)；而采用 AMR-DA 后，模型在兩個指標(biāo)上都優(yōu)于原版模型，且隨著新數(shù)據(jù)的學(xué)習(xí)均有下降。

最后，下圖比較了 AMR-Ori 和往復(fù)翻譯生成句子對的相似度分布。兩種方法都可以視為對原文的改寫，但 AMR-Ori 的句子多樣性要顯著高于往復(fù)翻譯。這也解釋了為什么在 STS 任務(wù)中，往復(fù)翻譯效果糟糕，但 AMR-Ori 卻表現(xiàn)良好。

審核編輯：劉清