超詳細(xì)EMNLP2020 因果推斷

引言

X，Y之間的因果性被定義為操作X，會(huì)使得Y發(fā)生改變。在很多領(lǐng)域如藥物效果預(yù)測(cè)、推薦算法有效性，因果性都有著重要作用。然而現(xiàn)實(shí)數(shù)據(jù)中，變量之間還會(huì)存在其他的相關(guān)關(guān)系（confounding）。如何從觀察獲得的數(shù)據(jù)中發(fā)現(xiàn)不同因素之間的因果關(guān)系則是統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)和人工智能領(lǐng)域具有挑戰(zhàn)性的重要研究問(wèn)題---統(tǒng)計(jì)推斷。

本次Fudan DISC實(shí)驗(yàn)室將分享EMNLP 2020中有關(guān)因果推斷的3篇論文，介紹在不同任務(wù)下因果推斷方法的應(yīng)用。

文章概覽

基于因果推理的邏輯相關(guān)多任務(wù)學(xué)習(xí)研究

Exploring Logically Dependent Multi-task Learning with Causal Inference

論文地址：

https://www.aclweb.org/anthology/2020.emnlp-main.173

該篇文章從因果推理的角度出發(fā)，使用mediation assumption對(duì)邏輯依賴的MTL進(jìn)行了研究。具體模型使用label transfer利用之前的低級(jí)邏輯依賴的任務(wù)label，以及Gumbel sampling方法來(lái)處理級(jí)聯(lián)錯(cuò)誤。

腳本知識(shí)的因果推理

Causal Inference of Script Knowledge

論文地址：

https://www.aclweb.org/anthology/2020.emnlp-main.612

該篇文章從概念和實(shí)踐的角度論證了純粹基于相關(guān)性的方法對(duì)于腳本知識(shí)歸納是不夠的，并提出了一種基于事件干預(yù)評(píng)估因果效應(yīng)的腳本歸納方法。

使用因果關(guān)系消除偏見(jiàn)的法院意見(jiàn)生成

De-Biased Court’s View Generation with Causality

論文地址：

https://www.aclweb.org/anthology/2020.emnlp-main.56

本文提出了一種新的基于注意力和反事實(shí)的自然語(yǔ)言生成方法（AC-NLG），該方法由一個(gè)注意力編碼器和一對(duì)反事實(shí)譯碼器組成。注意力編碼器利用原告的索賠和事實(shí)描述來(lái)學(xué)習(xí)索賠感知的編碼表示。反事實(shí)譯碼器被用來(lái)消除數(shù)據(jù)中的混淆偏差，并與協(xié)同的判決預(yù)測(cè)模型結(jié)合來(lái)生成法院意見(jiàn)。

論文細(xì)節(jié)

1

論文動(dòng)機(jī)

以往的研究表明，分層多任務(wù)學(xué)習(xí)（MTL）可以通過(guò)堆疊編碼器和輸出形式的民主MTL來(lái)利用任務(wù)依賴性。然而，在邏輯相關(guān)的任務(wù)中，堆疊編碼器只考慮特征表示的依賴性，而忽略了標(biāo)簽的依賴性。MLT的三種結(jié)構(gòu)如下圖所示

從因果關(guān)系的角度來(lái)看，前兩個(gè)方案假設(shè)ym和yn是條件獨(dú)立的，而第三個(gè)方案假設(shè)ym對(duì)yn有因果關(guān)系。在這篇文章中，作者認(rèn)為因果關(guān)系對(duì)于邏輯相關(guān)的任務(wù)是重要的，并提出了一種稱為標(biāo)簽轉(zhuǎn)移（label transfer，LT）的機(jī)制，使得一個(gè)任務(wù)可以利用其所有較低級(jí)別任務(wù)的標(biāo)簽。

當(dāng)使用前任務(wù)的標(biāo)簽時(shí)，會(huì)引入訓(xùn)練和測(cè)試的分歧問(wèn)題。也就是說(shuō)該策略在訓(xùn)練中使用低水平任務(wù)的標(biāo)注標(biāo)簽，在測(cè)試中則需要使用預(yù)測(cè)的標(biāo)簽，這樣會(huì)導(dǎo)致任務(wù)之間的級(jí)聯(lián)錯(cuò)誤。本文使用Gumbel抽樣（GS）來(lái)解決這個(gè)問(wèn)題。具體來(lái)說(shuō)，模型從每個(gè)任務(wù)的預(yù)測(cè)概率分布中抽取一個(gè)標(biāo)簽，并將其提供給更高級(jí)別的任務(wù)。抽樣可以看作是一個(gè)反事實(shí)推理過(guò)程，可以估計(jì)不同任務(wù)標(biāo)簽之間的因果關(guān)系。如果因果效應(yīng)存在，反向傳播的梯度將懲罰錯(cuò)誤的預(yù)測(cè)。

方法

1. Basic Causal Assumptions

如上圖MTL有兩種可能的因果假設(shè)：confounding 和 mediation。confounding假設(shè)是，Ym和Yn是條件獨(dú)立的，僅由H決定。然而，對(duì)于邏輯相關(guān)的任務(wù)，文章使用mediation假設(shè)，即Ym對(duì)Yn有因果關(guān)系。具體來(lái)說(shuō)，此假設(shè)包括Ym和Yn之間的兩條因果路徑。通過(guò)媒體H（實(shí)線），稱為間接效應(yīng)。另一個(gè)直接鏈接Ym到Y(jié)n（虛線），稱為直接效果。一條是通過(guò)metiator H（實(shí)線）把Ym和Yn聯(lián)系起來(lái)的，稱為間接效應(yīng)。另一個(gè)直接連接Ym到Y(jié)n（虛線），稱為直接效應(yīng)。

2. Full Causal Graphs

CMTL通過(guò)兩條路徑將任務(wù)間因果性結(jié)合起來(lái)。它首先創(chuàng)建一個(gè)中間變量傳達(dá)之前所有任務(wù)的標(biāo)簽信息。然后該模型考慮了路徑→→的間接因果效應(yīng)，還包括路徑→的直接因果效應(yīng)。

3. Model Details

完整模型結(jié)構(gòu)下圖所示。

Label Transfer LT使用RNN-LSTM的結(jié)構(gòu)來(lái)編碼：

**Encoders ** 然后將被送入編碼器。如圖所示，Encoder^（k） 的輸入包括三個(gè)部分：詞嵌入、轉(zhuǎn)移標(biāo)簽和k-1層的輸出。輸出可表示為：

￥4f對(duì)于JERE和ABSA任務(wù)編碼器使用Bi-LSTM。對(duì)于LJP任務(wù)，先使用CNN編碼句子，隨后使用LSTM編碼標(biāo)簽嵌入。

Gumbel Sampling GS使用重參數(shù)技巧來(lái)估計(jì)多項(xiàng)抽樣：

其中g(shù)符合Gumbel（0，1），是溫度參數(shù)。在訓(xùn)練過(guò)程中將使用來(lái)代替標(biāo)注標(biāo)簽。這樣低水平的任務(wù)將有一定的概率抽樣一個(gè)反事實(shí)的值，如果因果關(guān)系確實(shí)存在，會(huì)從高水平的任務(wù)得到反饋。

4. 因果解釋

估計(jì)任務(wù)tm的標(biāo)簽對(duì)任務(wù)tn的標(biāo)簽的因果效應(yīng)：

除了估計(jì)標(biāo)簽的因果效應(yīng)外，還可以檢驗(yàn)X中n-grams元素的影響。對(duì)原始序列進(jìn)行干預(yù)，得到另一個(gè)文本序列，其中n-gram 被屏蔽。由于n-gram可能非常稀疏，因此僅對(duì)單個(gè)因果效應(yīng)進(jìn)行了估計(jì)：

實(shí)驗(yàn)結(jié)果

1. 主要結(jié)果

在三個(gè)任務(wù)上模型都有所提升。

如圖所示，GS和LT對(duì)模型都是有影響的，特別是對(duì)于高水平的任務(wù)。例如，消除GS導(dǎo)致RE的F1得分下降2.24分，消除這兩種機(jī)制導(dǎo)致顯著下降4.47分。此外，文章保留了CMTL的間接因果路徑或直接因果路徑，分別記為CMTL（間接）和CMTL（直接）模型。兩種相關(guān)模型的性能都略差于CMTL。

2. 案例分析

3. 因果效應(yīng)估計(jì)

2

論文動(dòng)機(jī)

長(zhǎng)期以來(lái)典型事件序列所定義的日常情景的常識(shí)性知識(shí)，一直被認(rèn)為在文本理解和理解中起著重要作用。通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方法從文本語(yǔ)料庫(kù)中學(xué)習(xí)這樣的知識(shí)需要確定定量度量標(biāo)準(zhǔn)。雖然觀察到的事件之間存在相關(guān)性，但相關(guān)性并不是決定事件是否形成有意義腳本的唯一因素。這篇文章則提出基于因果關(guān)系的方法，用于提取腳本知識(shí)。

方法

Step 1： Define a Causal Model

世界，U：生成數(shù)據(jù)的起點(diǎn)是真實(shí)世界，由未測(cè)量的變量U顯式表示。這個(gè)變量是不可知的，通常是不可測(cè)量的：我們不知道它是如何分布的，甚至不知道它是什么類型的變量。這個(gè)變量由圖2中的六邊形節(jié)點(diǎn)表示。

Text，T：下一種類型的變量是文本。將文本分割成塊T1，…，TN，其中N是文本中事件數(shù)。因此，變量Ti是與文本中提到的第i個(gè)事件相對(duì)應(yīng)的文本塊。

事件推斷，e：讀取一段文本，并推斷文本中提到的事件類型。這個(gè)類型在模型中由變量 表示，其中E是一組可能的原子事件類型。文本直接因果影響推斷的時(shí)間類型，所以文本有指向事件的單向箭頭。

語(yǔ)篇表征，D：變量ei表示Ti中部分語(yǔ)義內(nèi)容的高層次抽象。而文本中發(fā)生過(guò)事件以及它們之間的因果關(guān)系是人類閱讀時(shí)的核心部分，這種信息會(huì)顯著影響讀者基于事件的推理。因此，引入一個(gè)話語(yǔ)表征變量，它本身就是兩個(gè)子變量和的組合。

Step 2： Establishing Identifiability

由后門準(zhǔn)則知道：

使用蒙特卡洛估計(jì)上述期望。

Step 3： Estimation

通過(guò)機(jī)器學(xué)習(xí)方法上述中的

Extracting Script Knowledge

令，則腳本相容分?jǐn)?shù)（因果分?jǐn)?shù)）為。

實(shí)驗(yàn)結(jié)果

使用人工分別對(duì)事件對(duì)和事件鏈評(píng)分的結(jié)果如下：

結(jié)果表明因果模型的分?jǐn)?shù)更高。

3

論文動(dòng)機(jī)

法院意見(jiàn)生成是法律人工智能的一項(xiàng)新穎而重要的任務(wù)，旨在提高判決預(yù)測(cè)結(jié)果的可解釋性，實(shí)現(xiàn)法律文書(shū)的自動(dòng)生成。雖然先前的文本到文本的自然語(yǔ)言生成（NLG）方法可以用來(lái)解決這個(gè)問(wèn)題，但是他們都忽略了數(shù)據(jù)生成機(jī)制中的混淆偏差，這樣會(huì)限制模型的性能，影響學(xué)習(xí)結(jié)果。主要挑戰(zhàn)有：1. 民事法律制度中的“無(wú)訴不審”原則，使得判決需要回應(yīng)原告的索賠；2. 民事案件中判決的不平衡，由于原告只會(huì)在有很大把握的前提下提起訴訟，也就導(dǎo)致大部分的判決都是支持的，這樣就形成了數(shù)據(jù)分布不均。

如上因果圖角度看，判決的不平衡揭示了數(shù)據(jù)生成機(jī)制導(dǎo)致的混淆偏見(jiàn)。這種不平衡的數(shù)據(jù)將導(dǎo)致輸入（索賠和公認(rèn)事實(shí)）和輸出（法院觀點(diǎn)）的學(xué)習(xí)表示傾向于支持，導(dǎo)致輸入和輸出之間的混淆偏差，并影響傳統(tǒng)NLG模型的訓(xùn)練。

針對(duì)這些問(wèn)題，文章提出了一種基于注意力和反事實(shí)的自然語(yǔ)言生成（AC-NLG）方法，通過(guò)聯(lián)合優(yōu)化一個(gè)索賠感知編碼器、一對(duì)反事實(shí)解碼器來(lái)生成判決分辨性法院意見(jiàn)和一個(gè)協(xié)同判決預(yù)測(cè)模型。

方法

Backdoor Adjustment

對(duì)于一般的生成任務(wù)，我們需要計(jì)算：如果 ，則 退化為 ， 將會(huì)忽略 時(shí)的表示。后門調(diào)整是因果推理中的一個(gè)消除混淆的技術(shù)。后門調(diào)整對(duì)進(jìn)行操作，將后驗(yàn)概率從被動(dòng)觀察提升到主動(dòng)干預(yù)。后門調(diào)整通過(guò)計(jì)算介入后驗(yàn)P（V | do（I））和控制混雜因子來(lái)解決混雜偏差：。后門調(diào)整切斷了和之間的依賴。

Backdoor In Implementation

實(shí)現(xiàn)過(guò)程中，使用一對(duì)反事實(shí)解碼器估計(jì)，使用判據(jù)預(yù)測(cè)模型估計(jì)。

Model Architecture

Claim-aware Encoder：原告的權(quán)利要求c和事實(shí)描述f是句子形式。因此，編碼器首先將單詞轉(zhuǎn)換為嵌入詞。然后將嵌入序列反饋給Bi-LSTM，產(chǎn)生兩個(gè)隱藏狀態(tài)序列hc、hf，分別對(duì)應(yīng)于原告的請(qǐng)求和事實(shí)描述。之后，我們使用Claim-aware attention來(lái)融合hc和hf。對(duì)于hf中的每個(gè)隱藏狀態(tài)，是其對(duì)的注意權(quán)重，注意分布計(jì)算如下：

隨后產(chǎn)生新的事實(shí)描述表示：

經(jīng)過(guò)Bi-LSTM層，得到最終表是。

Judgment Predictor：使用全連接層由h生成判決的概率預(yù)測(cè)：

Counterfactual Decoder：為了消除數(shù)據(jù)偏差的影響，使用一對(duì)反事實(shí)解碼器，其中包含兩個(gè)解碼器，一個(gè)用于支持的情況，另一個(gè)用于不支持的情況。這兩種譯碼器的結(jié)構(gòu)相同，但目的是產(chǎn)生不同判決的法院觀點(diǎn)。運(yùn)用了注意機(jī)制：在每個(gè)步驟t，給定編碼器的輸出和解碼狀態(tài)，注意力分布的計(jì)算方法與相同，但參數(shù)不同。上下文向量是h的加權(quán)和：

。上下文向量與解碼狀態(tài)相連接并送到線性層以產(chǎn)生詞匯分布：

實(shí)驗(yàn)結(jié)果

上圖顯示了法院意見(jiàn)生成的一些評(píng)估指標(biāo)：ROUGE， BLEU， 和 BERT SCORE分?jǐn)?shù)?？梢缘贸觯?/p>

（1）S2S傾向于重復(fù)單詞，這使得其BLEU得分較高，而B(niǎo)ERT得分較低

（2） 過(guò)采樣策略對(duì)模型沒(méi)有好處，因此，它不能解決混淆偏差

（3） 與基準(zhǔn)相比，AC-NLG具有索賠感知編碼器和后門反事實(shí)解碼器，在法庭視圖生成方面取得了更好的性能

（4） AC NLGw/oCA和AC-NLG之間的性能差距證明了索賠感知編碼器的有效性，AC NLGw/oBA和AC-NLG之間的差距說(shuō)明了反事實(shí)解碼器的優(yōu)越性。

上圖顯示了判決預(yù)測(cè)準(zhǔn)確率以及人類評(píng)估結(jié)果：

判據(jù)預(yù)測(cè)結(jié)果：

（1） 模型中反事實(shí)譯碼器可以顯著地消除混淆偏差，從而在不支持的情況下獲得顯著的改進(jìn)，例如將f1從49.8%提高到76.9%

（2） 提出的索賠感知編碼器是為提高生成質(zhì)量而設(shè)計(jì)的，對(duì)判決預(yù)測(cè)的影響有限。

（3） 過(guò)采樣并不能給模型帶來(lái)任何改進(jìn)。

人類評(píng)估結(jié)果：

（1） 由于數(shù)據(jù)中的混雜偏差，PGN中的判決生成在無(wú)支持案例中的表現(xiàn)較差，支持案例和無(wú)支持案例之間的表現(xiàn)差距很大（1.56）

（2） 通過(guò)使用后門反事實(shí)解碼器，AC-NLG大大提高了判決生成的性能，特別是對(duì)于不支持的情況，并且在支持和不支持的情況之間實(shí)現(xiàn)了較小的性能差距（只有0.28）

（3） AC-NLG使用了一個(gè)支持索賠的編碼器，在理性和流暢性方面也取得了更好的性能

上圖展示了不同模型產(chǎn)生的法院觀點(diǎn)。

總結(jié)

此次 Fudan DISC 解讀的三篇論文圍繞因果推斷的應(yīng)用。對(duì)于多任務(wù)學(xué)習(xí)，可以考慮任務(wù)標(biāo)簽之間的因果性。對(duì)于抽取任務(wù)，可以考慮使用因果性評(píng)估來(lái)篩選想要的抽取內(nèi)容。對(duì)于數(shù)據(jù)集有偏差的文本生成任務(wù)，因果推斷可以幫助消除混淆偏差。

編輯：jq