事件模式歸納的歷史以及相關(guān)概念

事件模式歸納(event schema induction)是從未標(biāo)記的文本中學(xué)習(xí)復(fù)雜的事件以及其論元的高級(jí)表示的一項(xiàng)任務(wù)[1]。事件模式歸納最早可以起源于1992年，當(dāng)時(shí)是由美國(guó)DARPA資助的MUC-4會(huì)議中提出的MUC-4 scenario template task任務(wù)中提出了事件模板提取任務(wù)(event template task)，該任務(wù)主要是以管道模型的方式將事件模板提取分解為字段分割和基于事件的文本分割任務(wù)[2]。

最早的事件模式自動(dòng)歸納方法(automatic event schema induction)源自于Chambers and Jurafsky在2009年發(fā)布的一篇對(duì)于敘事事件模式和其論元的無監(jiān)督學(xué)習(xí)的研究[3]，在這篇研究中首次提出了利用文本中的類型敘事鏈來對(duì)事件模式進(jìn)行自動(dòng)歸納的研究方法。

由于事件模式并沒有一個(gè)統(tǒng)一的定義，因此存在著眾多的事件模式定義方法以及其相關(guān)的歸納方法。但是從大體上來說可以將事件模式歸納分為兩類：一種是原子事件模式歸納(Atomic Event Schema Induction)，另外一種是敘事事件模式歸納(Narrative Event Schema Induction)[4]。

下面將分別按照兩種不同的事件模式歸納方法分別對(duì)其典型的研究進(jìn)行介紹，最后介紹一種事件模式歸納的新思路——事件圖模式歸納。

1.原子事件模式歸納

1.1 原子事件模式歸納簡(jiǎn)介

原子事件模式歸納重點(diǎn)關(guān)注于單一原子事件的事件類型以及論元。一般的原子事件模式是多個(gè)相似事件的一個(gè)模板：其中包括一個(gè)事件類型（如Elections）以及一組論元（如Date/Winner.....）。這里需要注意不同的論文中對(duì)于事件類型與論元有著不同的描述，在本文中將其統(tǒng)稱為事件類型和論元。一個(gè)原子事件模式的示例如圖1[5]所示。

圖1：一個(gè)選舉(Elections)的事件模式。可以看到對(duì)于多個(gè)相似的事件（圖1中的nominate、vote等），他們對(duì)應(yīng)的均為事件類型為elections的事件模式，并且這些相似的事件都具有事件模式所有的五個(gè)論元(Date、Winner、Loser、Position和Vote)以及論元對(duì)應(yīng)的類型。

在介紹下面的典型研究之前首先要明確幾個(gè)關(guān)鍵的語義學(xué)名詞的概念：句法功能(Syntactic Functions)：句法功能是指一種語言形式和同一句型中的其他部分之間的關(guān)系，常見的句法功能有主語、謂語和賓語等.

語義角色(semantic role)：謂語和論元之間不同的語義關(guān)系可以把論元分為若干個(gè)類型,這些類型一般稱之為"語義角色"，如施事、受事等。

句法關(guān)系(Syntactic Relations)：指句法結(jié)構(gòu)的組成成分間產(chǎn)生的關(guān)系意義，如主謂關(guān)系、偏正關(guān)系等。

1.2典型研究

一個(gè)典型的原子事件類型歸納的研究是Nathanael Chambers和Dan Jurafsky在2013年發(fā)表的一篇關(guān)于如何在沒有預(yù)設(shè)模板的情況下進(jìn)行基于模板的事件模式歸納的方法[1]。這篇文章的開創(chuàng)性部分在于文章著重于在無監(jiān)督的情況下學(xué)習(xí)一個(gè)事件類型的事件模式結(jié)構(gòu)。

對(duì)于無監(jiān)督的事件模式歸納來說主要存在兩個(gè)問題：第一個(gè)是不知道語料庫中有多少個(gè)事件，第二個(gè)問題是不知道語料庫中哪些文檔描述了什么事件。作者采用了如下的三個(gè)步驟來解決這兩個(gè)關(guān)鍵問題：

首先是通過計(jì)算事件單詞之間的接近度來聚類訓(xùn)練集中的事件；

其次是針對(duì)第一步生成的每一個(gè)聚類從一個(gè)不相關(guān)的語料庫中抽取文章來建立一個(gè)新的語料庫；

最后采用第二步生成的新的語料庫來歸納每一個(gè)事件模式的論元。

文章采用了MUC-4的恐怖主義語料庫(terrorism corpus of MUC-4)，選擇該語料庫的原因是語料庫注釋了包含事件與相關(guān)論元的模板，在最后的性能測(cè)試中可以將生成的事件模式的結(jié)構(gòu)與語料庫本身的模板結(jié)構(gòu)進(jìn)行比較。下面介紹作者的方法。

1.2.1 聚類訓(xùn)練集中的事件

首先需要對(duì)事件進(jìn)行聚類。這里采用了兩種聚類方法：LDA（隱含狄利克雷分布）和基于單詞距離的層次聚類算法(agglomerative clustering based on word distance)。

LDA我們非常熟悉的聚類方法，該算法基于事件的離散分布來學(xué)習(xí)事件的類型，基于文檔中的共現(xiàn)(co-occurrence)來聚類事件。 對(duì)于基于單詞距離的層次聚類算法而言，采用余弦相似性的方法來計(jì)算距離這一方法并不適用。舉例來說：引爆和摧毀屬于代表爆炸的同一聚類，但是通過余弦相似性來學(xué)習(xí)到的聚類的同義詞(clusters of synonymous words)經(jīng)常不包括引爆和摧毀。因此作者假設(shè)單詞之間的接近中心性(closeness)是由單詞所在句子之間的距離來定義的，即不采用兩個(gè)事件單詞的出現(xiàn)頻率而考慮兩個(gè)事件單詞的出現(xiàn)距離。 在這里作者定義為事件單詞的出現(xiàn)距離（如1代表兩個(gè)單詞在同一個(gè)句子，2代表兩個(gè)單詞在相鄰的句子），下式表現(xiàn)基于距離的兩個(gè)單詞的頻率：

作者使用PMI分?jǐn)?shù)(pointwise mutual information)對(duì)所有事件模式進(jìn)行層次聚類。聚類合并的策略為兩個(gè)事件聚類間所有新鏈接間的平均鏈接得分(average link score)。當(dāng)聚類中事件個(gè)數(shù)超過40個(gè)以后停止聚類。

1.2.2 構(gòu)建新的語料庫

針對(duì)MUC-4沒有提供足夠的動(dòng)詞以及相關(guān)語義角色的情況，作者在一個(gè)更大的不相關(guān)語料庫（美聯(lián)社和《紐約時(shí)報(bào)》上的胃腸道語料庫的一部分）上通過搜尋相關(guān)文章的方式針對(duì)每一個(gè)聚類分別來構(gòu)建一個(gè)新的語料庫。

具體搜尋方法如下：第一步中對(duì)每個(gè)聚類具有多個(gè)對(duì)應(yīng)的事件詞，在這里可以根據(jù)這些事件詞在這個(gè)不相關(guān)語料庫進(jìn)行檢索。通過聚類的事件詞出現(xiàn)在文檔中的次數(shù)以及文檔中出現(xiàn)了幾種聚類中的事件詞進(jìn)行篩選，最終得到了每一個(gè)聚類對(duì)應(yīng)的語料庫(IR-corpus)。

1.2.3論元?dú)w納

(1)聚類事件聚類對(duì)應(yīng)的句法關(guān)系來表示論元：

在成功地聚類了事件詞并檢索了每個(gè)聚類的IR-corpus（指在第二步中生成的語料庫）后，我們現(xiàn)在需要解決論元?dú)w納的問題。

文章考慮一種基于向量的共指相似性的方法。首先考慮聚類C，代表著事件聚類C的句法關(guān)系，具體示例如下所示：

其中中的示例有如下的含義verb:s代表word是verb的主語，verb:o代表的是word賓語，p_word代表word是verb的介詞。作者希望聚類句法關(guān)系（如 set_off:s）如下所示：

作者希望用句法關(guān)系來聚類主語、賓語和介詞，注意在語料中所有的被動(dòng)語態(tài)均被轉(zhuǎn)化為主動(dòng)語態(tài)。這里作者采用了關(guān)系相似性的兩種觀點(diǎn)：共指論元和選擇偏好(coreferring arguments and selectional preferences)。共指論元表示了兩個(gè)謂詞之間的語義聯(lián)系。

例如“他跑步和跳躍”，在這個(gè)例子中跑步和跳躍的主語均是“他”。所以“跑步”和“跳躍”很可能屬于同一特定場(chǎng)景的語義角色。

在這里作者將一個(gè)句法關(guān)系表示為與該句法關(guān)系具有相同論元的所有句法關(guān)系的表示。

比如go_off:s這個(gè)句法關(guān)系和plant:o, set off:o and injure:s具有相同的論元，則將go_off:s表示為這三個(gè)句法關(guān)系的向量，稱其為共指向量表示(coref vector representation)。

選擇偏好技術(shù)(SPs)在測(cè)量相似性方面也很有用[5]：一個(gè)關(guān)系可以被表示為它在訓(xùn)練過程中觀察到的論元的向量。

比如對(duì)于go_off:s的選擇偏好來說包含{bomb, device, charge, explosion}。

在計(jì)算成對(duì)句法關(guān)系的相似性的時(shí)候，作者分別對(duì)成對(duì)句法關(guān)系的共指向量和成對(duì)句法關(guān)系的選擇偏好的向量計(jì)算余弦相似性分?jǐn)?shù)從而進(jìn)行度量。由于共指論元和選擇偏好的性質(zhì)有所不同，為了更好的度量相似性，可以取兩個(gè)句法關(guān)系向量的共指向量和選擇偏好向量的余弦相似性分?jǐn)?shù)的最大值（當(dāng)最大值>0.7）作為其相似性度量；如果最大值小于0.7，則取兩個(gè)向量的余弦相似性分?jǐn)?shù)平均值作為訓(xùn)練懲罰。 (2)聚類事件的句法功能 作者同樣采用了層次聚類的方法來對(duì)上邊的成對(duì)的句法關(guān)系的相似性度量進(jìn)行聚類。聚類相似性是跨越兩個(gè)聚類的所有新鏈接的平均鏈接得分score(ca,cb)，對(duì)于兩個(gè)聚類和來說，如果兩個(gè)聚類之間的連接過少，則需要施加懲罰函數(shù)r(ca,cb)。懲罰函數(shù)r(ca,cb)的作用是：當(dāng)兩個(gè)聚類只共享幾個(gè)評(píng)分較高的邊時(shí)將懲罰兩個(gè)聚類進(jìn)行合并；當(dāng)合并的聚類分?jǐn)?shù)低于對(duì)訓(xùn)練集性能優(yōu)化的閾值時(shí)，聚類停止。

對(duì)于事件的句法功能（句法功能：如主語、賓語）和事件的語義角色來說有如下的兩個(gè)假設(shè)：第一個(gè)是對(duì)于一個(gè)動(dòng)詞的主語和賓語來說承擔(dān)著不同的語義角色。

比如sell的主語是seller，而賓語是good，二者的語義角色是不同的；

第二個(gè)假設(shè)是每一個(gè)語義角色都有一個(gè)更高級(jí)別的實(shí)體類別。

比如seller的實(shí)體類別是Person/Organization，good的實(shí)體類別是Physical Object。

句法功能的聚類算法首先采用第一個(gè)假設(shè)進(jìn)行約束，如果兩個(gè)聚類的并集包含同一個(gè)動(dòng)詞的主語和賓語的話則防止其聚類（因?yàn)橥粋€(gè)動(dòng)詞的主語和賓語具有不同的語義角色，那么假設(shè)聚類后含有同一個(gè)動(dòng)詞的主語和賓語的話說明這兩個(gè)聚類不能進(jìn)行聚類，否則合并后的聚類就會(huì)代表兩個(gè)語義角色，而不是應(yīng)該的一個(gè)語義角色）。 第二個(gè)假設(shè)的實(shí)現(xiàn)則是對(duì)于聚類中每一個(gè)句法功能對(duì)應(yīng)論元的類型對(duì)這個(gè)句法功能進(jìn)行標(biāo)注，這里論元的類型被簡(jiǎn)單的分為：Person/Org, Physical Object,或Other。如果一個(gè)事件的句法功能對(duì)應(yīng)的20%的論元出現(xiàn)在相應(yīng)的同義詞集，則將這個(gè)句法功能標(biāo)注為對(duì)應(yīng)的論元類型。一旦標(biāo)記，模型將分別為句法功能的每個(gè)論元類型分別進(jìn)行聚類。

圖2：根據(jù)算法生成的MUC-4恐怖主義語料庫的部分事件模式，其中事件類型為藍(lán)色，如Election Template，事件的論元為綠色，如Voter。

1.2.4論元?dú)w納對(duì)于事件模式歸納的測(cè)試

現(xiàn)在將我們學(xué)習(xí)到的模板與那些為MUC-4恐怖主義語料庫手工創(chuàng)建的模板進(jìn)行比較。MUC-4恐怖主義語料庫共有6種事件模式，作者對(duì)于其中4種主要的事件模式進(jìn)行了測(cè)評(píng)。圖3是原先的MUC-4恐怖主義語料庫包含的事件模式和論元，可以看到圖3中包含了13種相關(guān)論元，本文的事件模式歸納算法尋找出了原先13種中的12種，并且尋找出了在Bombing/Kidnap/Arson中的一種新的論元Police or Authorities。對(duì)于論元的召回率92%，準(zhǔn)確度是14/16。

圖3：原先的MUC-4恐怖主義語料庫包含的事件模式以及論元

2.敘事事件模式歸納

2.1 敘事事件模式歸納簡(jiǎn)介

敘事事件模式主要關(guān)注歸納敘事事件模式。一個(gè)敘事事件模式主要由一組相關(guān)事件(search/arrest/plead)、事件的時(shí)間順序(search before arrest)以及特定的語義角色(Roles:Police/Suspect......)所構(gòu)成[6]。圖4是一個(gè)典型的敘事事件模式的示例[3]：

圖4：一個(gè)典型的敘事事件模式。其中在左邊的事件一列由一系列特定的語義角色（Police/Suspect/Plea/Jury）通過一系列相關(guān)的事件構(gòu)成一個(gè)敘述(narrative)

最早的敘事事件模式自動(dòng)歸納方法就是本文第一章中介紹的Chambers and Jurafsky在2009年發(fā)布的一篇對(duì)于敘事事件模式和其論元的無監(jiān)督學(xué)習(xí)的論文[3]。下文將介紹這篇文章講述的研究方法。

2.2典型研究2.2.1先導(dǎo)概念——敘事事件鏈本文借鑒了Chambers and Jurafsky在2008年提出的敘事事件鏈(Narrative Event Chains)這一概念[5]。敘事事件鏈由一個(gè)元組(L,O)所構(gòu)成：其中L由一系列的event slot所構(gòu)成，event slot的結(jié)構(gòu)是一個(gè)由v和d組成的對(duì)，v是事件（這里按照動(dòng)詞進(jìn)行表示），d∈{subject, object, prep}，O是事件的部分時(shí)序關(guān)系。一個(gè)典型的敘事事件鏈如圖5和圖6所示，在圖5中event slot被簡(jiǎn)化為和（對(duì)應(yīng)方式分別是中的d為主語和賓語）。

圖5：敘事事件鏈的表示

圖6：敘事事件鏈的圖示化表示

對(duì)于敘事事件鏈的生成來說，作者首先對(duì)文本進(jìn)行分析和共指消解(parsing and resolving coreference in the text)，隨后對(duì)進(jìn)行無監(jiān)督的學(xué)習(xí)來生成敘事事件鏈：首先計(jì)算在文章中有多少個(gè)成對(duì)的動(dòng)詞具有共同的論元(即為圖5中的X)，隨后計(jì)算這些動(dòng)詞-論元對(duì)之間的PMI分?jǐn)?shù)，算法通過PMI分?jǐn)?shù)進(jìn)行聚類從而生成敘事事件鏈。這里的敘事事件鏈僅針對(duì)于事件鏈中事件共同的論元，這里的論元指的是參與者，即主角(protagonist，如圖5中的X)，而不是一種類型。

2.2.2類型敘事鏈

在Chambers and Jurafsky 2009年的研究中擴(kuò)展了敘事事件鏈并提出了類型敘事鏈(Typed Narrative Chains)這一概念，相較于原先的敘事事件鏈來說，類型敘事鏈中共同的論元被替換為一種類型(如person/government)。一個(gè)典型的類型敘事鏈由一個(gè)三元組(L,P,O)所構(gòu)成，其中L和O的概念與敘事事件鏈的概念一致，而新增加的P是一組表示單個(gè)角色的論元類型，類型敘事鏈的示例圖7所示：

圖7：類型敘事鏈的一般表示

如上文所述，敘事事件鏈的生成需要分析文本(parsing the text)，共指消解(resolving coreference)，提取具有共同參與者的事件生成敘事事件鏈。作者通過觀察event slot的數(shù)量來計(jì)算論元的數(shù)量，對(duì)共指鏈中的每一個(gè)詞建立引用集，然后用引用集中最頻繁的中心詞表示每一個(gè)論元。具體的示例如圖8所示：

圖8：一個(gè)具體的示例

對(duì)于圖8的示例來說，算法通過共指來鑒別出四個(gè)粗體的短語，并選取短語中的中心詞，隨后選取頻度最大的中心詞作為最突出的描述。

比如在圖8的示例中最突出的描述為workers，在這里這四個(gè)中心詞則成為了共指集。在示例中如果任意成對(duì)的event slot具有相同的來自共指集的論元的話，則將其計(jì)算為workers。 在圖8的示例中(X find),(X apply)具有相同類型的論元(workers,they)。因此在敘事事件鏈的歸納中((X find),(X apply))被計(jì)算，在論元?dú)w納中((X find),(X apply),workers)被計(jì)算。

圖9是一個(gè)犯罪場(chǎng)景的敘事事件鏈，其中P中為犯罪場(chǎng)景的類型敘事鏈中所有event slot對(duì)中4個(gè)頻度最大的單詞：

圖9一個(gè)犯罪場(chǎng)景的類型敘事鏈，這里沒有O（事件的部分時(shí)序關(guān)系） 在敘事事件鏈中，需要計(jì)算新的event slot與原有的敘事事件鏈C中的所有的event slot的相似性，相似性的計(jì)算公式如下，其中sim的計(jì)算是計(jì)算兩個(gè)event slot的PMI：

敘事事件鏈對(duì)于每一個(gè)待選的event slot進(jìn)行相似性計(jì)算，選取相似性最高的event slot來加入敘事事件鏈中，對(duì)于類型敘事鏈來說也有類似的操作，只不過需要加入論元這一變量，具體方法是在特定論元a的上下文定義相似性，如下公式所示，其中freq是代表著兩個(gè)event slot中對(duì)應(yīng)論元為a的數(shù)量：

隨后采用如下的公式對(duì)整個(gè)類型敘事鏈進(jìn)行評(píng)分：

最后采用如下的公式來擴(kuò)充類型敘事鏈：

2.2.3敘事事件模式

在完成類型敘事鏈的定義與構(gòu)建后，下面來定義具體的敘事事件模式。如果說敘事事件鏈?zhǔn)怯梢幌盗械膃vent slot構(gòu)成，那么敘事事件模式則由一系列的類型敘事鏈所表示。敘事事件模式N由一個(gè)二元組N=(E,C)所組成，其中E是一系列事件（動(dòng)詞）的序列，C是一系列類型敘事鏈。一個(gè)典型的敘事事件模式如圖10所示。

圖10：一個(gè)典型的敘事事件模式，左側(cè)是類型敘事鏈，第一個(gè)是警察的類型敘事鏈，第二個(gè)是罪犯的，第三個(gè)是法官的；右側(cè)是生成的敘事事件模式。

雖然敘事事件模式的表示為一組類型敘事鏈，但是實(shí)際上等價(jià)于如何將一個(gè)模式表示為event slot之間的約束滿足問題(constraint satisfaction problem，簡(jiǎn)稱CSP)。敘事事件模式使用了所有動(dòng)詞以及其相關(guān)論元的概括，如果一個(gè)動(dòng)詞的主語和賓語都以一個(gè)較高的置信度被分配給了敘事事件模式中的敘事鏈的話，那么這個(gè)動(dòng)詞就可以被分配到敘事事件模式中。

比如對(duì)于圖11中的例子來說，有可能(警察,pull over)的得分較高，但是(pull over,A)這個(gè)event slot并沒有出現(xiàn)在其他的敘事鏈中；假設(shè)有一個(gè)(警察,search)的event slot，同時(shí)也出現(xiàn)了(search,defendant)這個(gè)event slot，那么相較于pull over來說的話，search則更應(yīng)該加入到敘事事件模式中。

圖11：另一個(gè)敘事事件模式的示例

這種直覺引導(dǎo)作者找到了構(gòu)建敘事事件模式的事件關(guān)聯(lián)函數(shù)(event relatedness function)。不像構(gòu)建敘事事件鏈那樣需要考慮每一個(gè)event slot是否是最合適的，在敘事事件模式中我們要考慮事件v是否在敘事事件模式的所有event slot中是合適的，事件關(guān)聯(lián)函數(shù)如下，其中CN是敘事事件模式中敘事鏈的集合：

對(duì)于事件關(guān)聯(lián)函數(shù)來說，如果待選的event slot對(duì)于每一個(gè)敘事鏈的都沒有足夠的相似性的話，則為其構(gòu)建一個(gè)新的敘事鏈，這個(gè)敘事鏈具有一個(gè)基礎(chǔ)的參數(shù)β，也就是說參數(shù)β是平衡將event slot加入已有的事件鏈或者新構(gòu)建一個(gè)事件鏈的一個(gè)分水嶺。 最后對(duì)于敘事事件模式的構(gòu)建來說是不斷的加入事件v，并且最大化事件關(guān)聯(lián)函數(shù)：

這樣就完成了整個(gè)敘事事件模式的構(gòu)建。2.2.4實(shí)驗(yàn)作者采用了兩種方式來對(duì)敘事事件模式進(jìn)行測(cè)試：第一種是與FrameNet進(jìn)行比較，作者采用了算法生成的top 20個(gè)敘事事件模式來和FrameNet在動(dòng)詞分組、鏈接結(jié)構(gòu)（每個(gè)論元角色與語法主語或賓語的映射）以及論元角色（構(gòu)成模式角色的實(shí)體集），圖12是20個(gè)生成的敘事事件模式。

圖12：算法生成的top 20個(gè)事件模式的其中幾個(gè)實(shí)例，其中斜體字代表在FrameNet中被判別為錯(cuò)誤，*號(hào)代表動(dòng)詞不在FrameNet中，而-號(hào)代表動(dòng)詞的詞義不在FrameNet中

在動(dòng)詞分組評(píng)估中，作者首先將20個(gè)模式映射到與每個(gè)模式的六個(gè)動(dòng)詞重疊最大的FrameNet框架。我們能夠?qū)?0個(gè)中的13個(gè)映射到FrameNet。13個(gè)事件模式每一個(gè)事件模式6個(gè)動(dòng)詞，一共78個(gè)動(dòng)詞，但是26個(gè)動(dòng)詞沒有出現(xiàn)在FrameNet中。在剩下的52個(gè)動(dòng)詞中，有35個(gè)出現(xiàn)在最近的FrameNet frame或在距離最近的frame有一個(gè)鏈接(one link)的frame中，剩下的17個(gè)動(dòng)詞出現(xiàn)在不同的frame中（相較于敘事事件模式映射的frame）。 在鏈接結(jié)構(gòu)評(píng)估中，主要來看為每個(gè)動(dòng)詞選擇的語法關(guān)系。對(duì)于敘事事件模式中的每一個(gè)鏈，我們可以看到frame元素可以被鏈接到大多數(shù)的事件論元中。對(duì)于13個(gè)敘事事件模式中的78個(gè)動(dòng)詞來說，有156個(gè)對(duì)應(yīng)的主語或賓語，其中對(duì)應(yīng)正確的有151個(gè)，達(dá)到了96.8%的準(zhǔn)確率。 在論元角色的評(píng)估中，我們首先為每個(gè)論元確定最佳的frame元素。隨后我們?cè)u(píng)估(frame)論元集中top 10的論元是否適合填充角色。對(duì)于該評(píng)測(cè)來說有400個(gè)可能的論元（20個(gè)模式，每個(gè)模式2個(gè)鏈），289個(gè)被判斷正確，精度為72%。 隨后作者還進(jìn)行了完形填空測(cè)試。對(duì)于敘事的完形填空測(cè)試來說，是從一個(gè)已知的敘事鏈中刪除了一個(gè)event slot。這項(xiàng)任務(wù)的性能排序方法是來看缺失的event slot在排好序的猜測(cè)列表中的位置。 訓(xùn)練集選用Gigaword語料庫，1994-2004年的紐約時(shí)報(bào)部分的動(dòng)詞和共同的論元，大約有100萬篇文章。測(cè)試集選用在Gigaword語料庫隨機(jī)抽取的100篇紐約時(shí)報(bào)的文章。實(shí)驗(yàn)的結(jié)果如圖13所示。

圖13：敘事完型填空的實(shí)驗(yàn)結(jié)果

首先對(duì)于敘事事件鏈和類型敘事鏈進(jìn)行比較，二者為圖中的”chain”和”typed chain”。可以看到隨著訓(xùn)練語料的增加，敘事事件鏈的結(jié)果開始惡化（排名順序開始上升），而類型敘事鏈的結(jié)果得到了改進(jìn)。 第二個(gè)是對(duì)于敘事事件鏈和敘事事件模式（采用不添加事件類型的敘事事件鏈，即采用公式1而不是采用公式5），可以看到敘事事件模式在所有的數(shù)據(jù)中都有更好的表現(xiàn)。最后對(duì)于敘事事件模式（采用類型敘事鏈）的進(jìn)行了測(cè)試，結(jié)果顯示敘事事件模式的效果由于其余的三個(gè)，相較于效果最差的敘事事件鏈（“chain”）來說，在訓(xùn)練完所有數(shù)據(jù)之后得到了10.1%的增益。 在后來的敘事事件模式的研究中，Mostafazadeh等人[7]在事件模式的事件順序上引入了因果關(guān)系，此外像時(shí)序腳本模式(temporal script graph)這樣的新思路[8]也被引入[4]。隨著相關(guān)研究的不斷創(chuàng)新，一些創(chuàng)新的事件模歸納方法也得到了研究，如下面將要介紹的事件圖模式歸納。

3.事件模式歸納的新思路——事件圖模式歸納事件模式的定義也在隨著研究不斷的進(jìn)行擴(kuò)展，最近的研究提出了事件實(shí)例圖和事件圖模式的概念[4]，事件實(shí)例圖的基礎(chǔ)是假定如果出現(xiàn)在同一片文章中的兩個(gè)事件實(shí)例的論元是共指的或者語義相關(guān)的話，那么兩個(gè)事件實(shí)例是互相連接的。通過許多具有相同類型的事件實(shí)例對(duì)可以誘導(dǎo)出多條從一個(gè)事件類型到另外一個(gè)事件類型的路徑，從而形成了一種新的事件模式——事件圖模式。下面將簡(jiǎn)要介紹一下事件圖模式歸納這一研究。圖14介紹了事件圖模式歸納的整體框架。

圖14：事件圖模式歸納的整體框架

對(duì)于事件圖模式的構(gòu)建來說的話首先需要構(gòu)建事件實(shí)例圖，首先采用OneIE工具[9]抽取文本中句子的事件以及其相關(guān)的論元。對(duì)于一個(gè)篇章中的兩個(gè)事件實(shí)例v和v’來說，構(gòu)建二者之間的路徑如下所示，其中的定義是事件或者論元的類型： 對(duì)于一個(gè)事件實(shí)例圖來說只需要將兩個(gè)事件實(shí)例生成的所有路徑進(jìn)行組合即可生成事件實(shí)例圖，對(duì)于圖14中的事件實(shí)例圖(a)和(b)來說，二者均具有相同類型的事件1和事件2（事件1的類型是Transport，事件2的類型是Attack）。要想將這兩個(gè)（或者更多）的事件實(shí)例圖歸納成一個(gè)事件圖模式的話，我們需要選取兩個(gè)事件實(shí)例圖中路徑具有顯著的和語義連貫的路徑作為新的事件模式圖的路徑，因此作者提出了自回歸路徑語言模型和鄰居路徑分類的任務(wù)來解決這個(gè)問題： 對(duì)于前面生成的事件實(shí)例圖的路徑實(shí)例來說，自回歸路徑語言模型估計(jì)路徑實(shí)例中邊和節(jié)點(diǎn)的概率分布，模型使用Transformer來學(xué)習(xí)概率分布，通過排列操作[10]來捕捉雙向上下文，自回歸路徑語言模型的示例如圖15所示。 在路徑語言模型之上作者提出了新的任務(wù)——鄰居路徑分類：鄰居路徑是指在一個(gè)事件實(shí)例圖中的兩條路徑，如果兩條路徑不在相同的事件實(shí)例圖中的話，那么二者不是鄰居路徑。在實(shí)際的應(yīng)用中作者分別創(chuàng)建了正采樣（鄰居路徑）和負(fù)采樣的數(shù)據(jù)（非鄰居路徑）的數(shù)據(jù)，并且采取了路徑對(duì)互相交換來提升路徑分類的一致性，從而更好的進(jìn)行分類。鄰居路徑分類的示例如圖15所示。作者同時(shí)訓(xùn)練這兩個(gè)方法（自回歸路徑語言模型和鄰居路徑分類）。?

圖15：自回歸路徑語言模型和鄰居路徑分類。其中是類型嵌入，1代表節(jié)點(diǎn)，2代表邊，0代表其他字符，如[CLS]；鄰居路徑分類中如果兩個(gè)路徑是鄰居的話則為1，不是的話則為0

在完成訓(xùn)練之后，事件圖模式的生成則是對(duì)兩個(gè)事件類型之間的所有路徑進(jìn)行排序，選取top k%的路徑進(jìn)行融合從而生成新的事件圖模式。后續(xù)關(guān)于事件圖模式這個(gè)概念還有加入了時(shí)序關(guān)系以及多個(gè)事件類型的相關(guān)工作[11]。 4.總結(jié)

本文首先介紹了事件模式歸納的歷史以及相關(guān)概念，介紹了原子事件模式歸納以及敘事事件模式歸納的典型研究，最后介紹了事件模式歸納的新思路——事件圖模式歸納。隨著深度學(xué)習(xí)技術(shù)的不斷發(fā)展，相信事件模式歸納這一研究能夠取得更大的創(chuàng)新與突破。

審核編輯 ：李倩