前兩天刷arxiv論文,又刷到一篇通用信息抽取框架,今天帶給大家,全名為《Universal Information Extraction as Unified Semantic Matching》,即 基于統(tǒng)一語義匹配的通用信息抽取框架-USM ,狀態(tài)為accepted by AAAI2023。
paper地址:https://arxiv.org/pdf/2301.03282.pdf
介紹
信息提取(Information Extraction,IE)需要提取句子中的實(shí)體、關(guān)系、事件等,其不同的任務(wù)具有多樣的抽取目標(biāo)和異質(zhì)的機(jī)構(gòu),因此,傳統(tǒng)的方法需要針對(duì)特定的任務(wù)進(jìn)行模型設(shè)計(jì)和數(shù)據(jù)標(biāo)注,使得難以推廣到新的模式中,極大限制了IE系統(tǒng)的使用。
2022年《Unified Structure Generation for Universal Information Extraction》一文,提出了 通用信息提取(UIE)的概念 ,旨在使用一個(gè)通用模型來解決多個(gè)信息提取任務(wù),提出了一種Seq2Seq的生成模型,以結(jié)構(gòu)化模式提示器+文本內(nèi)容作為輸出,直接生成結(jié)構(gòu)化抽取語言,最終獲取信息提取內(nèi)容。
然而,由于Seq2Seq的生成模型的 黑盒特性 ,導(dǎo)致無法判斷跨任務(wù)或跨模式的遷移在什么情況下會(huì)成功or失敗。因此,本論文提出了統(tǒng)一語義匹配框架(Universal Information Extraction,USM)對(duì)各種信息提取任務(wù)進(jìn)行統(tǒng)一建模, 明確模型在遷移過程的有效性、健壯性和可解釋性 。如圖1所示,IE任務(wù)中多樣化的任務(wù)和抽取目標(biāo),可以解耦為以下兩個(gè)操作:
- (1) Structuring ,即結(jié)構(gòu)化,從文本中抽取目標(biāo)結(jié)構(gòu)中標(biāo)簽未知的基本子結(jié)構(gòu)。例如:抽取“Monet”、“Paris”、“France”等文本或者“ Monet-Paris”、“France-Paris”等文本pair對(duì)。
- (2) ** Conceptualizing** ,即概念化,它將抽取文本和文本pair對(duì)與目標(biāo)語義標(biāo)簽進(jìn)行對(duì)應(yīng)。例如:“Monet”與“person”標(biāo)簽進(jìn)行對(duì)應(yīng),“Monet”-"Paris"與“birth place”標(biāo)簽進(jìn)行對(duì)應(yīng)。
并且在給定目標(biāo)抽取模式時(shí),可以通過結(jié)構(gòu)化操作,重新建立抽取目標(biāo)結(jié)構(gòu)與文本的語義信息;通過概念化操作,將抽取文本或文本pair與目標(biāo)語義標(biāo)簽進(jìn)行匹配,完成信息抽取任務(wù)。
USM框架基于上述發(fā)現(xiàn)的規(guī)則,將結(jié)構(gòu)化和概念化轉(zhuǎn)化為一系列有向Token-Linking操作,聯(lián)合建模文本與模式,統(tǒng)一抽取文本或文本pair,并根據(jù)需要可控生成目標(biāo)結(jié)構(gòu),實(shí)現(xiàn)在不同的目標(biāo)結(jié)構(gòu)和語義模式之間進(jìn)行共享抽取的功能。
基于有向Token-Linking的統(tǒng)一語義匹配
如圖2所示,USM框架以任意抽取標(biāo)簽?zāi)J胶驮嘉谋咀鳛檩斎?,根?jù)給定的模式直接輸出結(jié)構(gòu)。
Schema-Text Joint Embedding
為了捕捉標(biāo)簽?zāi)J胶臀谋局g的關(guān)聯(lián),USM框架學(xué)習(xí)模式標(biāo)簽和文本標(biāo)記的聯(lián)合上下文嵌入,即將抽取提示實(shí)例化為token序列,并與文本序列進(jìn)行拼接,最后計(jì)算標(biāo)簽-文本聯(lián)合嵌入,具體如下,
其中,為Transformer的Encoder結(jié)構(gòu),為掩碼矩陣,用于確定一對(duì)Token之間是否可以相互作用。
Token-Token Linking for Structuring
在得到標(biāo)簽-文本聯(lián)合上下文嵌入后,USM框架使用Token-Token鏈接(TTL)操作抽取所有有效的文本片段。
- Utterance :輸入文本中的一段連續(xù)Token序列,例如:實(shí)體文本“Monet”、事件觸發(fā)詞“born in”等。如圖3所示,通過片段的頭尾連接(H2T),抽取一個(gè)文本片段。例如,“Monet”是自身到自身,“born in”是“born”到“in”。
- Association pair :輸入文本中的相關(guān)文本pair對(duì),例如,具有主客體關(guān)系的“Monet”-“Paris”文本對(duì),具有觸發(fā)詞-要素關(guān)系的“born in”-“Paris”文本對(duì)。如圖3所示,通過頭頭連接(H2H)和尾尾連接(T2T),抽取文本對(duì)。
對(duì)于上述三種Token到Token鏈接(H2T, H2H, T2T)操作,USMk框架分別對(duì)所有有效的token-pair候選集中token-to-token 鏈接進(jìn)行評(píng)分,對(duì)于每個(gè)token-pair,鏈接分?jǐn)?shù)如下:
其中,為輸出維度的前饋層,為旋轉(zhuǎn)位置嵌入,可以有效地將相對(duì)位置信息注入到對(duì)應(yīng)的結(jié)構(gòu)中。
Label-Token Linking for Utterance Conceptualizing
在得到標(biāo)簽嵌入和文本嵌入后,USM框架使用 label-token鏈接(LTL)操作將有效的文本進(jìn)行概念化。
LTL操作的輸出是標(biāo)簽名詞和文本內(nèi)容的pair對(duì),例如:"person"- “Monet”、"country"-“Paris”等。有兩種類型的概念化:
- 實(shí)體的類型 ,即為每一個(gè)文本分配標(biāo)簽類型,例如,實(shí)體“Monet”的類型為person。
- 客體的謂詞 ,即將謂詞類型賦給每個(gè)候選客體,例如,客體“Paris”的謂語詞為birth place。其中,實(shí)體的類型和客體的謂詞在概念化時(shí)采用相同的LT操作,使得兩種標(biāo)簽語義之間相互加強(qiáng)。并按照頭尾片段抽取風(fēng)格,使用label到head(L2H)和label到tail(L2T)來定義L2T鏈路操作,例如,客體的謂詞“Paris”-“birth place”,將標(biāo)簽“birth place”的頭“birth”與客體“Paris”鏈接,將標(biāo)簽“birth place”尾頭“ place”與客體“Paris”鏈接。計(jì)算LTL的得分,如下:
Token-Label Linking for Pairing Conceptualizing
為了概念化文本pair對(duì),USM框架使用 Token-Label鏈接(TLL)將文本pair對(duì)的主體鏈接到標(biāo)簽上。也就是,TLL操作用head到label(H2L)和tail到label(T2L)操作連接了三元組中主體和謂語詞。例如,主體“Monet”的head“Monet”鏈接標(biāo)簽“birth place”的head“birth”,主體“Monet”的tail“Monet”鏈接標(biāo)簽“birth place”的tail“place”。計(jì)算TLL的得分,如下:
Schema-constraint Decoding for Structure Composing
USM框架采用模式約束解碼算法來解碼最終結(jié)構(gòu),通過統(tǒng)一的token-linking操作提取給定的文本結(jié)構(gòu)。如圖3所示,USM框架,首先解碼由TTL操作提取的實(shí)體文本和主客體文本,例如:“Monet”,“Paris”,“France”,“Monet”-“Pairs”,“France”-“Pairs”;然后通過LTL操作對(duì)標(biāo)簽名詞和文本內(nèi)容的pair對(duì)進(jìn)行解碼,例如:“person”-“Monet”,“country”-“France”,“birth place”-“Paris”,“capital”-“Paris”;最后利用TLL操作對(duì)標(biāo)簽及文本對(duì)進(jìn)行解碼,例如:“Monet”-“birth place”,“France”-“capital”。
由于以上三種鏈接操作互不影響,因此,在進(jìn)行模型推理過程中,三種操作是高度并行的。
最后,可以根據(jù)從輸入類型的模式定義,將實(shí)體類型country和person與關(guān)系類型 birth place和capital分離出來。根據(jù)TLL操作的結(jié)果“Monet”-“birth place”,“France”-“capital”,可以得到完整的三元組結(jié)構(gòu)“Monet”-“birth place”-Paris和“France”-“capital”-“Paris”。
Learning from Heterogeneous Supervision
本文利用異構(gòu)監(jiān)督資源來學(xué)習(xí)統(tǒng)一令牌鏈接的通用結(jié)構(gòu)和概念化能力,通過語言化的標(biāo)簽表示和統(tǒng)一的token鏈接,將異構(gòu)的監(jiān)督數(shù)據(jù)統(tǒng)一為進(jìn)行預(yù)訓(xùn)練。
Pre-training
USM框架對(duì)共享語義表示中的標(biāo)簽?zāi)J胶臀谋具M(jìn)行統(tǒng)一編碼,并使用統(tǒng)一的token-linking對(duì)文本中的信息進(jìn)行結(jié)構(gòu)化和概念化。幫助為了學(xué)習(xí)常見的結(jié)構(gòu)和概念化能力,本文收集了三種不同的監(jiān)督數(shù)據(jù)用于USM的預(yù)訓(xùn)練。
- 任務(wù)數(shù)據(jù) :來自信息抽取任務(wù)的標(biāo)注數(shù)據(jù),即數(shù)據(jù)樣本都有一個(gè)金標(biāo)準(zhǔn)。
- 遠(yuǎn)程監(jiān)督數(shù)據(jù) :數(shù)據(jù)樣本來自文本和知識(shí)庫(kù)對(duì)齊。
- 間接監(jiān)督數(shù)據(jù) :數(shù)據(jù)樣本來自其他相關(guān)的NLP任務(wù),主要使用機(jī)器閱讀理解的數(shù)據(jù),將(問題-文檔-答案)實(shí)例中問題作為標(biāo)簽?zāi)J剑臋n作為輸入文本,答案作為提及。
Learning function
在訓(xùn)練過程中,由于token-linking占比僅為所有token鏈接候選集合的1%,因此在模型優(yōu)化過程中,標(biāo)簽的極端稀疏性是要重點(diǎn)解決的問題。
主要采用類別不平衡損失函數(shù),
其中,表示USM框架中的鏈接類型,表示鏈接對(duì),表示非鏈接對(duì),表示鏈接操作的分?jǐn)?shù)。
實(shí)驗(yàn)
監(jiān)督實(shí)驗(yàn)
在4個(gè)任務(wù)的13個(gè)數(shù)據(jù)集上與其他sota模型進(jìn)行了對(duì)比實(shí)驗(yàn),其中AVE-unify表示非重疊數(shù)據(jù)集的平均指標(biāo),AVE-total表示所有數(shù)據(jù)集的平均指標(biāo),如表1所示,USM框架達(dá)到了sota的效果,并在AVE-total上優(yōu)于各任務(wù)sota方法1.3,及時(shí)在不使用預(yù)訓(xùn)練模型的情況下,用Roberta初始化的USM框架也表現(xiàn)出了較好的效果,說明統(tǒng)一token-linking具有較強(qiáng)的可遷移性和泛化能力。
采用異構(gòu)數(shù)據(jù)的預(yù)訓(xùn)練的USM框架相比于Roberta初始化的USM框架在所有數(shù)據(jù)集上平均提高了0.74,說明異構(gòu)預(yù)訓(xùn)練為信息抽取的結(jié)構(gòu)化和概念化提供了更好的基礎(chǔ)。
在所有任務(wù)上進(jìn)行微調(diào)的USM-Unify模型也表現(xiàn)出,說明USM框架可以通過單一的多任務(wù)模型解決大量信息抽取任務(wù)。
Zero-shot實(shí)驗(yàn)
在不同領(lǐng)域的9個(gè)數(shù)據(jù)集上進(jìn)行了Zero-shot實(shí)驗(yàn),如表2所示,遠(yuǎn)程監(jiān)督數(shù)據(jù)和間接監(jiān)督數(shù)據(jù)在預(yù)訓(xùn)練過程中起到很重要的作用。通過表3,可以看出,在330M參數(shù)下,就可以比137B參數(shù)量的GPT3模型效果更優(yōu)。
Few-shot實(shí)驗(yàn)
在四個(gè)信息任務(wù)上進(jìn)行了Few-shot實(shí)驗(yàn),如表4所示,USM框架在少量數(shù)據(jù)下要比UIE效果更優(yōu),并且要好于使用Roberta進(jìn)行初始化的模型。當(dāng)將標(biāo)簽文本轉(zhuǎn)化成固定符號(hào)表示時(shí),效果變差,說明語言表達(dá)標(biāo)簽?zāi)J讲⒉皇菬o意義的,在語義表征過程中,它起到了決定性的作用。
總結(jié)
該論文通過三種統(tǒng)一的Token-Linking操作,實(shí)現(xiàn)信息抽取任務(wù)的統(tǒng)一模型,讓我眼前一亮,相較于Seq2Seq模型來說,該方法的可解釋性更強(qiáng)。
-
框架
+關(guān)注
關(guān)注
0文章
397瀏覽量
17364 -
USM
+關(guān)注
關(guān)注
0文章
7瀏覽量
7209
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論