關(guān)于標(biāo)簽數(shù)據(jù)提升語法錯誤糾正效果

語法錯誤糾正 （GEC） 指的是試圖對語法和其他類型的寫作錯誤進行建模，并給出語法和拼寫建議，從而改善文檔、電子郵件、文章甚至非正式聊天中的書面輸出質(zhì)量。在過去 15 年里，GEC 的質(zhì)量有了很大提高，其中很大一部分原因是它將問題重塑為一項“翻譯”任務(wù)。例如，將這種方法引入 Google 文檔后，用戶采納的語法糾正建議數(shù)量顯著增加。

將問題重塑為一項“翻譯”任務(wù)

https://aclanthology.org/P06-1032/

但是，GEC 模型面臨的最大挑戰(zhàn)之一是數(shù)據(jù)稀少。不同于其他語音識別 （Speech recognition） 和機器翻譯 （Machine translation） 等自然語言處理 （NLP） 任務(wù)，即便是針對英語這樣的高資源語言，GEC 可用的訓(xùn)練數(shù)據(jù)非常有限。對于這類問題，一個常見的補救措施是使用一系列技術(shù)來生成合成數(shù)據(jù)，其中包括啟發(fā)式隨機詞或字符級的損壞，以及基于模型的方法。然而，這些方法往往是簡化的，不能反映實際用戶錯誤類型的真實分布。

在 EACL 第 16 屆創(chuàng)新使用 NLP 構(gòu)建教育應(yīng)用研討會上發(fā)表的《使用有標(biāo)簽損壞模型進行語法錯誤糾正的合成數(shù)據(jù)生成》 （Synthetic Data Generation for Grammatical Error Correction with Tagged Corruption Models） 一文中，我們介紹了有標(biāo)簽損壞模型。這種方法受到機器翻譯中流行的回譯數(shù)據(jù)合成技術(shù)啟發(fā)，能夠精確控制合成數(shù)據(jù)的生成，確保產(chǎn)生與實踐中錯誤分布更加一致的多樣化輸出。我們使用有標(biāo)簽損壞模型來生成一個新的數(shù)據(jù)集（包含 2 億個句子）。目前這個數(shù)據(jù)集應(yīng)發(fā)布，可供研究人員提供真實的 GEC 預(yù)訓(xùn)練數(shù)據(jù)。通過將新的數(shù)據(jù)集整合到訓(xùn)練流水線，我們能夠顯著改善 GEC 的基線。

使用有標(biāo)簽損壞模型進行語法錯誤糾正的合成數(shù)據(jù)生成

https://aclanthology.org/2021.bea-1.4/

回譯

https://aclanthology.org/P16-1009/

數(shù)據(jù)集（包含 2 億個句子）

https://github.com/google-research-datasets/C4_200M-synthetic-dataset-for-grammatical-error-correction

有標(biāo)簽損壞模型

將傳統(tǒng)的損壞模型應(yīng)用于 GEC，其背后的理念是，從一個語法正確的句子開始，然后通過添加錯誤“損壞”它。通過在現(xiàn)有 GEC 數(shù)據(jù)集中切換源句和目標(biāo)句，可以輕松地訓(xùn)練出損壞模型，之前的研究已經(jīng)表明，這種方法對生成改進的 GEC 數(shù)據(jù)集非常有效。

提供干凈的輸入句（綠色）后，傳統(tǒng)損壞模型會生成一個不符合語法的句子（紅色）

之前的研究

https://aclanthology.org/D19-1119.pdf

我們提出的有標(biāo)簽損壞模型建立在這一理念的基礎(chǔ)之上，它將一個干凈的句子作為輸入，加上一個錯誤類型標(biāo)簽，描述所要重現(xiàn)的錯誤類型。然后，它為輸入句生成一個包含指定錯誤類型的語法錯誤版本。與傳統(tǒng)的損壞模型相比，為不同句子選擇不同的錯誤類型增加了損壞的多樣性。

有標(biāo)簽損壞模型會根據(jù)錯誤類型標(biāo)簽，為干凈的輸入句（綠色）生成損壞（紅色）。限定詞錯誤可能會導(dǎo)致丟失限定詞 “a”，而名詞屈折變化錯誤可能導(dǎo)致錯誤的復(fù)數(shù)形式 “sheeps”

為使用此模型生成數(shù)據(jù)，我們首先從 C4 語料庫中隨機選擇了 2 億個干凈的句子，并為每個句子分配了一個錯誤類型標(biāo)簽，令其相對頻率與小型開發(fā)集 BEA-dev 的錯誤類型標(biāo)簽分布相匹配。由于 BEA-dev 是一個精心制作的集合，涵蓋各種英語水平，范圍很廣，我們預(yù)計其標(biāo)簽分布能夠代表現(xiàn)實中出現(xiàn)的寫作錯誤。然后，我們用一個有標(biāo)簽損壞模型來合成源句。

使用有標(biāo)簽損壞模型生成合成數(shù)據(jù)。在合成的 GEC 訓(xùn)練語料庫中，干凈的 C4 句子（綠色）與損壞的句子（紅色）配對。遵循開發(fā)集（條形圖）中錯誤類型的頻率，使用有標(biāo)簽損壞模型生成損壞的句子

C4 語料庫

https://ai.googleblog.com/2020/02/exploring-transfer-learning-with-t5.html

BEA-dev

https://aclanthology.org/W19-4406.pdf

結(jié)果

在我們的實驗中，有標(biāo)簽損壞模型在兩個標(biāo)準開發(fā)集（CoNLL-13 和 BEA-dev）上表現(xiàn)優(yōu)于無標(biāo)簽損壞模型，比后者高出三個 F0.5-點（GEC 研究中的一個標(biāo)準指標(biāo)，結(jié)合了精確率和召回率 （Precision and recall），更注重精確率），并在兩個廣泛使用的學(xué)術(shù)測試集（CoNLL-14 和 BEA-test）上體現(xiàn)了最先進的水平。

CoNLL-13

https://aclanthology.org/W13-3601.pdf

標(biāo)準指標(biāo)

https://aclanthology.org/P17-1074/

CoNLL-14

https://aclanthology.org/W14-1701.pdf

此外，使用有標(biāo)簽損壞模型不僅能在標(biāo)準的 GEC 測試集上獲得收益，還能夠讓 GEC 系統(tǒng)適應(yīng)用戶的語言水平。這一點會十分有用，原因之一是英語母語寫作者的錯誤標(biāo)簽分布往往與非英語母語寫作者的分布有很大不同。例如，英語母語者通常會犯更多標(biāo)點符號和拼寫錯誤，而限定詞錯誤（例如缺少或多加冠詞，如 “a”、“an” 或 “the”）在非英語母語寫作者的文本中更為常見。

結(jié)論

眾所周知，神經(jīng)序列模型對數(shù)據(jù)的需求非常大，但用于語法錯誤糾正的注釋訓(xùn)練數(shù)據(jù)卻很少。新的 C4_200M 語料庫是一個包含各種語法錯誤的合成數(shù)據(jù)集，用于預(yù)訓(xùn)練 GEC 系統(tǒng)時，它體現(xiàn)出了最先進的性能。通過發(fā)布該數(shù)據(jù)集，我們希望為 GEC 研究人員提供寶貴的資源來訓(xùn)練強大的基線系統(tǒng)。

責(zé)任編輯：haq