基于大語言模型的共情回復生成：實證研究和改進

0. 省流版

對以ChatGPT為代表的LLMs在共情回復生成上的表現(xiàn)進行了全面的實證研究，LLMs在現(xiàn)有的基準數(shù)據(jù)集上，對比以往的SOTA模型，表現(xiàn)極其優(yōu)越。

在LLMs的基礎上，針對性地提出了三種改進方法（語義相似的上下文學習、兩階段交互生成以及與知識庫相結合），實驗證明了它們的有效性。

探索了GPT-4模擬人類評估員的可能性。

1. 動機介紹

共情對話（Empathetic Dialogue）有利于構建助人的AI。共情回復生成（Empathetic Response Generation）主要涉及理解用戶的經(jīng)歷和感受，并生成適當?shù)幕貜?。而使用對話系統(tǒng)提供共情回復具有訪問方便、無時間限制等優(yōu)點。圖1展示了一個共情對話示例。

圖1 共情對話示例

先前大多數(shù)研究者基于可靠的理論知識設置了精細的模型，但是，使用的基礎模型大多是小規(guī)模的。最近，大語言模型（Large Language Models, LLMs）以優(yōu)異的性能被廣泛應用于自然語言處理。尤其是ChatGPT的出現(xiàn)引起了學術界和工業(yè)界極大的關注和興趣，它在多種任務中表現(xiàn)出了非凡的能力，特別是對話生成。這些LLMs在大量語料上訓練，包含了豐富的知識。在具體任務中，甚至無需微調，采用一些gradient-free技術（例如，In-context Learning, ICL）依舊可以獲得出色的性能。因此，有必要實證探索LLMs在具體領域的表現(xiàn)，因為解決問題的方式可能會發(fā)生極大變化。已經(jīng)有一些初步的嘗試[1,2]將LLMs應用于共情回復生成。然而，他們的方法主要關注預訓練或對訓練數(shù)據(jù)進行微調，以及簡單地探索單個LLM的能力。

為了研究LLMs在共情回復生成中的能力，本工作在現(xiàn)有共情對話的基準數(shù)據(jù)集上對LLMs的性能進行實證研究。我們首先采用在零樣本（zero-shot）和少樣本（few-shot）上下文學習設置下的LLMs和大量基線模型進行比較。令人驚喜的是，僅僅是上下文學習設置下的GPT-3.5系列LLMs的表現(xiàn)已經(jīng)全面超越了最先進的模型。這表明LLMs帶來的范式轉變也適用于共情對話。進一步，在最佳性能設置的LLM基礎上，我們提出了三種可嘗試的方法來繼續(xù)提升其性能。具體來說，分別是借助語義相似性的ICL、兩階段交互生成以及和知識庫相結合的方法來進行改進。大量的自動和人工評估實驗表明，LLMs可以從我們提出的方法中受益，從而產(chǎn)生更具共情性、連貫性和信息性的回復。此外，人工評估一直是共情對話中極其重要的一環(huán)，但其昂貴且耗時。鑒于LLMs在共情回復生成上的杰出表現(xiàn)，我們嘗試利用GPT-4來模擬人類評估員對結果進行評測。Spearman和Kendall-Tau相關性結果表明GPT-4有潛力代替人類評估員。

2. 方法部分

圖2 整體架構圖

我們提出的方法整體如圖2所示，其中包括共情回復生成的統(tǒng)一模板和三種改進方法。左邊部分描述了借助兩階段交互生成的改進，中間部分展示了所設計的統(tǒng)一模板的組成部分和借助語義相似的上下文學習進行的改進，右邊部分說明了通過知識庫進行改進的細節(jié)。

2.1 初步探索

LLMs具有上下文學習（ICL）的能力，通過向LLMs提供任務指令和一些示例，它們可以在不進行微調的情況下執(zhí)行相關任務。這種能力極大地緩解了對訓練數(shù)據(jù)的需求。我們首先探索了LLMs在零樣本ICL和少樣本ICL設置上的表現(xiàn)。由于不同的提示（Prompts）可能會影響性能，我們在設計提示時盡量保持一致的風格。我們設計的共情對話提示模板由以下部分組成：

其中，Task Definition是研究者對該任務的標準定義，Guideline Instruction是我們期望模型遵循的指令，Exemplars是用于幫助模型更好地理解任務的對話示例，Dialogue Context是說話者和傾聽者的歷史對話，最后一句是說話者的話語，我們的目標是讓對話系統(tǒng)生成傾聽者的下一輪話語。

2.2 進階探索

2.2.1 借助語義相似的上下文學習的提升

正如[3]所言，少量精心挑選的數(shù)據(jù)也可以提高LLMs的性能。我們合理推測，除了示例的數(shù)量，示例的質量也會對模型的性能產(chǎn)生影響。因此，在選擇示例時，我們從訓練集中選擇與現(xiàn)階段對話上下文語義最接近的示例。我們將對話內容拼接成一個長句，用句子編碼器獲得向量表示，通過兩個句子的向量表示的余弦相似性衡量語義相似性：

2.2.2 借助兩階段交互生成的提升

在共情對話任務的設置中，傾聽者需要推斷說話者的情緒是什么，以及是什么情境導致了這種情緒，從而提供合適的回復。受開放域對話中一些多階段方法的啟發(fā)，結合共情對話的特點，我們與LLMs進行兩階段對話交互。具體來說，在第一階段，我們先讓LLMs推測用戶的情緒狀態(tài)和經(jīng)歷的情境，在第二階段，結合推斷的結果生成最終回復。我們設計的兩階段提示大致如下：

模型在第一階段生成的推測可以用來分析不同的關鍵因素（情緒和情境）對最終結果的影響，提高可解釋性。

2.2.3 借助知識庫的提升

僅僅從歷史對話中推斷說話者的情緒和情境是不夠的，一個直接的證據(jù)是，在基準數(shù)據(jù)集中，最終回復與歷史對話幾乎沒有非停用詞的重疊[4]。因此對話系統(tǒng)需要更多的外部信息來進行共情對話，而我們人類天然具備一定的外部信息。LLMs通過權重存儲了大量知識，因此在執(zhí)行具體任務時，如何更好地激發(fā)相關知識對于效果的提升影響很大。一種解決方案是針對具體任務微調LLMs，但這個過程通常需要昂貴的硬件、時間和訓練數(shù)據(jù)。受最近的共情對話工作[5]的啟發(fā)，我們考慮用常識知識庫來增強對話上下文，動態(tài)利用外部相關知識來刺激LLMs編碼的相關知識，從而產(chǎn)生更共情的回復。具體來說，我們采用BART版本的COMET，其在常識知識庫ATOMIC2020上訓練得到，可以為看不見的實體生成具有代表性的常識推斷，其中，我們選用了五種關系（xIntent, XNeed, xWant, xEffect, xReact）[6]。我們根據(jù)不同的對話上下文動態(tài)拼接得到的相對應的常識推理，從而豐富輸入表示，激發(fā)LLMs的相關知識，來產(chǎn)生更合適的回復：

3. 實驗與分析

3.1 實驗設置

數(shù)據(jù)集。我們采用大型英文多輪共情對話基準數(shù)據(jù)集EMPATHETICDIALOGUES[7]。數(shù)據(jù)集中的每個對話都有一個情緒標簽（總共32種類型）和與情緒標簽對應的情境。說話者討論他們的處境，傾聽者試圖理解說話者的感受并給出合適的回復。

評估相關。我們進行了自動評估和人工評估。人工評估包含指標評分和指標層面的偏好測試。

其他。 本文涉及到的LLMs有關實驗，有償求助了身處國外的朋友進行操作。

3.2 結果分析

3.2.1 初步探索結果

表1 LLMs和基線模型的自動評估結果

表1顯示了LLMs和基線模型的自動評估結果，其中，LLMs顯著優(yōu)于現(xiàn)有的SOTA (state-of-the-art) 模型，并在所有的自動指標上實現(xiàn)了顯著提升，尤其是diversity。對于DIST-1/2，LLMs分別獲得了51.8%[=(2.96-1.95)/1.95]和92.7%[=(18.29-9.49)/9.49]的提升，這表明LLMs在多樣的語言表達中具有顯著優(yōu)勢（主要是unigrams和bigrams）。就BERTScore和BLEU而言，LLMs分別實現(xiàn)了2.1%[=(2.6+1.6+2.1)/3]和26.95%[=(18.6+35.3)/2]的平均改善。這強調了LLMs具備強大的上下文能力，可以快速應用于未見的特定任務。此外，我們觀察到示例數(shù)量和多樣性的性能呈正相關，這表明示例的增加可能會影響LLMs的語言習慣。

表2 ChatGPT和對比的基線模型的人工評分結果



表3 指標層面的人類偏好測試結果

在人工評估中，我們選擇在大多數(shù)自動指標上領先的ChatGPT (+5-shot) 作為LLMs的代表。表2和表3的上部分分別列出了人工評分和指標層面的偏好測試的結果。我們觀察到ChatGPT在所有人工指標上也極大地優(yōu)于基線模型，這進一步證明了LLMs在產(chǎn)生共情、連貫和具備信息量的回復上的優(yōu)越性。此外，我們注意到基線模型的分數(shù)低于以往研究中的數(shù)值。這是因為ChatGPT的卓越表現(xiàn)相對提高了標準。在偏好測試中，超過70%的情況下，人類評估員更喜歡ChatGPT生成的回復，這一現(xiàn)象也可以驗證上述觀點。

3.2.2 進階探索結果

表4 進階探索的自動評估結果

進階探索的實驗結果如表4和表3的下部分所示?？偟膩碚f，我們的改進方法生成的回復更容易被人類評估員接受。這些結果驗證了上下文學習示例的選擇、兩階段交互生成和上下文相關知識的增強的有效性。

3.2.3LLM模擬人類評估員的分析

表5 人類評估員和GPT-4在不同方面的Spearman和Kendall-Tau相關性

LLMs在生成共情回復中展現(xiàn)了杰出的性能，自然地，我們想到是否可以使用LLMs模擬人類評估員來評估其他模型的性能。與人類評估員相比，LLMs具有更低的成本和更短的時間消耗。為此，我們考慮更強大的GPT-4作為評估器，在相同的設置下進行偏好測試。我們采用Spearman和Kendall-Tau相關來評估人類評估員和GPT-4的表現(xiàn)，結果如表5所示。我們觀察到，GPT-4在各個方面都取得了較好的結果（參考[8]），這表明LLMs有潛力模擬人類評估員。

4. 結論

在這項工作中，我們實證研究了LLMs在共情回復生成方面的表現(xiàn)，并提出了三種改進方法。自動和人工評估結果表明，LLMs顯著優(yōu)于最先進的模型，并驗證了我們提出的改進方法的有效性。我們的工作可以有助于更深入地理解和應用LLMs進行共情對話，并為類似的任務提供一些見解。

審核編輯：劉清