基于主觀知識的任務(wù)型對話建模

1 引言

對話系統(tǒng)技術(shù)挑戰(zhàn)賽 DSTC（The Dialog System Technology Challenge）是對話技術(shù)領(lǐng)域的頂級賽事，到 2023 年已舉辦至第 11 屆。

DSTC11 共設(shè)有 5 個賽道，其中剛剛結(jié)束的 track5 的主題是基于主觀知識的任務(wù)型對話建模。本賽道包括三個子任務(wù)：

Turn Detection：判斷當(dāng)前的對話是否需要外部知識

Knowledge Selection：在非結(jié)構(gòu)化主觀知識文檔中選出相關(guān)的知識候選

Response Generation：根據(jù)第二步的知識候選生成回復(fù)

我們參加了 DSTC11-track5 并在所有 14 個參賽隊伍中排名第三（客觀指標(biāo)），其中 Turn Detection 子任務(wù)排名第一。本文將介紹 track 5 相關(guān)內(nèi)容以及我們在競賽中嘗試的方法。

2 賽題介紹

我們在本章中詳細介紹具有主觀知識的任務(wù)型對話 (SK-TOD) 建模任務(wù)的數(shù)據(jù)集、子任務(wù)、競賽評價指標(biāo)以及進行的前期相關(guān)調(diào)研。

2.1 數(shù)據(jù)集介紹

下圖[1]為對話數(shù)據(jù)集中的三個對話實例和與它們相關(guān)的知識數(shù)據(jù)中的主觀知識條目示例：

對話實例與主觀知識條目示例

對話數(shù)據(jù)集有兩部分來源：

主辦方標(biāo)注的 19696 條需要主觀知識的對話，這些對話既有包含單個實體，又有包含多個實體的（如圖 1 的 Dialogue 2）。

從 MultiWOZ[2] 任務(wù)型對話數(shù)據(jù)集中抽取的 18383 條不需要主觀知識的對話。

知識包括兩種：review 類型的主觀知識（由多個句子組成） 和 FAQs 類型的知識（問答對）。這些知識被被劃分為兩個域：hotel 和 restaurant，分別包含 33 個實體和 110 個實體。

例如，hotel 域中的 Hobsons House 實體，包含的 review 知識有：

"IwasverypleasewithmyrecentvisittoHobsonsHouse." "Iwasonabusinesstripandneededaquietplacetostayandthisplacefitthebill!" "WhileIwasnotpleasedwiththeslowwi-fiandsmallroom,Iwascontentwiththeirawesomebreakfastoptions,friendlyandengagingstaffmembersandthebestpart!" "Niceandquiet,justthewayIlikeit!" "Woulddefinitelyrecommendthisplacetofriendsandplanonstayinghereagainonmynextventure!" ...

包含的 FAQs 知識有：

question:"Whatdoyouofferforbreakfast?", answer:"AnFullEnglish/IrishbreakfastisavailableattheHOBSONSHOUSE" question:"Whatisthecheck-outtimeatyourlocation?", answer:"Check-outtimeattheHobsonsHouseisbetween7:30amand10am." ...

2.2 問題定義

我們給出 DSTC11-track5 賽題的一般化定義。對于每一個對話實例 ，除最后一輪外，之前每一輪都有 agent 的回復(fù) 與用戶查詢 對應(yīng)。整個對話實例 可能與一個或多個實體相關(guān)，我們將該實體集合定義為。

定義主觀知識數(shù)據(jù)，其中，表示每一個實體包含的若干知識條目。

我們的做法將整個任務(wù)進一步分解為如下圖所示的四個階段：

圖2. 基于主觀知識的任務(wù)型對話建模流程

Turn Detection：判斷用戶最后一輪查詢 是否需要主觀知識

Entity Tracking：如需要主觀知識，則確定與之相關(guān)的實體集合 （本部分不在比賽評測中）

Entry Selection：從實體 包含的知識候選集合 中選出相關(guān)的主觀知識條目

Response Generation：由對話上文 和相關(guān)的主觀知識條目生成回復(fù)

本賽道的難點有三個：

當(dāng)需要檢索主觀知識時，每個對話對應(yīng)的知識條目是不確定數(shù)目的若干條；

驗證集和測試集的分布與訓(xùn)練集有較大差異，有大量的 unseen 信息；

不同的主觀知識有不同的情感傾向，回復(fù)中需要考慮多條主觀知識中的不同情感傾向。

2.3 評價指標(biāo)

三個子任務(wù)的評價指標(biāo)分別為：

Turn Detection：Precision、Recall、F1

Knowledge Selection：Precision、Recall、F1、Exact Match

Response Generation：BLEU、METEOR、ROUGE-1、ROUGE-2、Rouge-L

客觀評測的最終分?jǐn)?shù)為每個評價指標(biāo)排名的倒數(shù)和，即

其中 為第 個評測指標(biāo)的結(jié)果在所有參賽結(jié)果中的排名。

2.4 相關(guān)調(diào)研

我們首先調(diào)研了 DSTC 的往屆比賽，其中 DSTC9-track1 和 DSTC10-track2 均與本屆賽題類似。

DSTC9-track1 的問題定義，數(shù)據(jù)集格式與本賽題完全相同，唯一的不同點在于每輪對話只需找出一條最相關(guān)的知識，問題要簡單許多：

He[3]等人提出了圖式引導(dǎo)的知識決策、否定強化的知識選擇和基于知識及機器理解的回復(fù)生成以適應(yīng)三個子任務(wù)。

Tang[4]等人提出了基于 API 關(guān)鍵字與對話上下文相關(guān)性學(xué)習(xí)的方法。

DSTC10-track2 將外部知識數(shù)據(jù)從書面語更改為口語，使得構(gòu)建高泛化能力的模型更為重要。而且，由于該競賽并未給出訓(xùn)練集，參賽隊伍提出了很多有效的數(shù)據(jù)增廣方法：

Yan[5]等人提出了一種基于域分類任務(wù)和實體選擇任務(wù)來學(xué)習(xí)多級語義信息的方法，以及通過注入基于語音相似性的人工生成的擾動方法來擴充書面數(shù)據(jù)的思路。

Xu[6]等人首次嘗試將掩碼跨度語言建模應(yīng)用于對話狀態(tài)生成，該方法有效增強了模型的泛化能力。

Whang[7]等人使用了 Levenstein 距離進行后處理來避免模型預(yù)測失真問題。

Yu[8]等人在 baseline 中增加了卷積層，這一改動獲得了更好的跨度預(yù)測性能，并使用了一種稱為 multiple 的跟蹤多值的自適應(yīng)方法。

Cho[9]等人采用了實體檢測以及域跟蹤的方法縮小了候選知識的范圍。

Tan[10]等人提出了基于指針網(wǎng)絡(luò)的“知識復(fù)制”方法，有效減輕了 decoder 的壓力，同時提出分段響應(yīng)的方法：用不同的模型生成知識選取部分和問候應(yīng)答部分。

除此外，我們還調(diào)研了一些使用 MultiWOZ 數(shù)據(jù)集做端到端對話生成的模型：

He[11]等人提出的 GALAXY 模型使用門控機制來給未標(biāo)記數(shù)據(jù)打偽標(biāo)簽。

Lee[12]設(shè)計了一個巧妙的模型，用對話狀態(tài)跟蹤模塊在考慮對話歷史的情況下跟蹤信念狀態(tài)（用戶目標(biāo)），然后再通過信念狀態(tài)作為查詢獲得數(shù)據(jù)庫狀態(tài)，最后生成回復(fù)。

3 競賽方案

3.1 數(shù)據(jù)增強

我們基于原始數(shù)據(jù)集構(gòu)造了兩種增強數(shù)據(jù)集：

unseen 數(shù)據(jù)集：利用知識數(shù)據(jù)擴充對話。在對話數(shù)據(jù)集中，每一個對話實例都圍繞一個實體展開，知識數(shù)據(jù)中會有很多與這個實體相關(guān)的問答型知識（FAQ）。我們將這些問答對隨機拼接在原始的對話實例中，就得到了只涉及一個實體的新的對話實例。為了模擬真實場景中話題轉(zhuǎn)移，我們在另一個實體下生成對話的另一部分，并以 80% 的概率將它們拼接在一起[13]。

noise 數(shù)據(jù)集：采用谷歌翻譯服務(wù)將英語翻譯成其它四種語言（西班牙語/德語/日語/法語），然后再將其回譯為英語。當(dāng)回譯句子與原句子相似度過高（這一現(xiàn)象在英法互譯中較為普遍）時，我們使用 Wordnet 進行同義詞替換以增加其多樣性。最后，我們將對話數(shù)據(jù)集及知識數(shù)據(jù)擴充為原來的 5 倍，這些數(shù)據(jù)用于對模型預(yù)訓(xùn)練。進一步將 5 種對話數(shù)據(jù)集和知識數(shù)據(jù)兩兩組合，得到原來 25 倍大小的數(shù)據(jù)集。因為回譯和同義詞替換引入了詞級和語義級的干擾，所以我們定義此數(shù)據(jù)為noise數(shù)據(jù)。

3.2 Turn Detection 階段

本階段的目標(biāo)是判斷當(dāng)前對話用戶的最后一輪查詢是否需要主觀知識，是一個二分類問題。

我們使用自編碼預(yù)訓(xùn)練模型 DeBERTa-v3-base[14]，將當(dāng)前對話上文和最一輪查詢 作為輸入，取最后一個隱藏層的第一個 token 即 [CLS] 的向量作為對話表示，將其輸入一個線性層中就求得分類概率：

為了在后面進行模型融合，提高整體的泛化能力，我們訓(xùn)練了三個模型，分別適用于三種場景：

Seen expert。使用 DSTC11-track5 提供的訓(xùn)練集微調(diào) DeBERTA-v3-base 模型，得到在驗證集上表現(xiàn)最好的模型。這個模型在見過的對話實例上有極好的表現(xiàn)。

Unseen expert。為增強模型在未見過的對話實例上的檢測能力，我們使用 3.1 介紹的 unseen 數(shù)據(jù)集對 RoBERTa[15] 模型進行微調(diào)。

De-noise expert。為得到一個泛化能力較強的模型，我們考慮使用 3.1 介紹的 noise 數(shù)據(jù)集進行訓(xùn)練。首先，用回譯的 5 倍數(shù)據(jù)集基于 word-masking[16]預(yù)訓(xùn)練方法對 DeBERTa 模型進行預(yù)訓(xùn)練，然后，使用兩兩組合的 25 倍含有噪音的數(shù)據(jù)集進行微調(diào)。

在后面，我們會使用基于差異感知的模型融合方法來融合這三種模型，讓它們相得益彰。

3.3 Entity Track 階段

本階段的目標(biāo)是確定與當(dāng)前對話用戶的最后一輪查詢相關(guān)的實體。該階段可以縮小后續(xù)知識選擇的范圍。

我們使用啟發(fā)式方法為每個實體名稱建立一個詞典，然后基于 n-gram 匹配最后一輪對話中出現(xiàn)的實體。這種方法已經(jīng)能達到較為不錯的結(jié)果，驗證集性能為 F1=0.9676，accuracy=0.9398。

3.4 Entry Selection 階段

本階段目標(biāo)是選出與用戶查詢相關(guān)的知識條目。輸入是對話上文，以及知識候選 ，輸出為知識候選的子集 。我們使用同一個編碼器獲得兩者的表示 ，。然后將 ，， 拼接在一起計算相關(guān)性：

在訓(xùn)練時，我們將與 ground-truth 同一實體的知識和其它實體的知識按 1 : 1 比例構(gòu)造負例。在驗證時，我們使用 Entity Track 階段確定的實體中的知識作為知識候選。

與 Turn Detection 類似，我們同樣訓(xùn)練了 Seen expert，Unseen expert 和 De-noise expert 這三種模型，之后也使用基于差異感知的模型融合方法來融合這三種模型。

3.5 Response Generation 階段

本階段目標(biāo)是基于對話上下文 和相關(guān)知識片段 來創(chuàng)建響應(yīng)用戶請求的回復(fù) 。我們將 和 連接起來作為輸入，并使用經(jīng)預(yù)訓(xùn)練的生成模型來生成回復(fù)。

我們既考慮了 decoder-only 架構(gòu)的模型（如 GPT-2[17]）也考慮了 encoder-decoder 架構(gòu)的模型（如 BART[18]和 T5[19]）。

此外，為了降低 Entity Track 和 Entry Selection 階段對本階段的影響，我們在訓(xùn)練時使用了一些方法調(diào)整模型輸入：

拼接對話時額外添加實體名字段強化實體信息；

隨機丟棄 15% 的知識以讓模型在 Entry Selection 階段漏選知識時仍能取得良好的生成效果。

此外，我們還考慮了其他生成方式：

使用 KAT-TSLF 結(jié)構(gòu)[20]，考察將對話上下文和全部候選知識條目作為輸入以及將對話上下文和 KS 階段選取的知識條目作為輸入，但是效果均不如 BART 模型；

使用在本任務(wù)上經(jīng)過 alpaca 微調(diào)的 LLAMA-13B[21]，結(jié)合專門設(shè)計的 instruction，輸入對話上下文和所選的知識條目來生成回復(fù)。然而，正如近期研究顯示，LLM 存在幻覺問題[22]，不能很好地執(zhí)行特定領(lǐng)域或知識密集型任務(wù)。因此該模型在本任務(wù)上其表現(xiàn)也不如 BART 模型。

3.6 基于差異感知的模型融合方法

為了融合 Seen expert，Unseen expert 和 De-noise expert 這三種模型，我們提出了一種基于差異感知的模型融合方法。

以 Entry Selection 階段訓(xùn)練出來的三種模型為例。對于驗證集的第 個對話實例，設(shè) 為 ground-truth 標(biāo)簽，它包含 條知識。我們用不同模型得到 條知識條目候選，并將它們按相關(guān)度降序排列。對于每個知識條目候選，我們?yōu)槠湓O(shè)置權(quán)重為它的相關(guān)度排序加一的倒數(shù)。例如 Seen-expert 模型得到的知識候選的第 條 權(quán)重為 。同理， 和 分別為 Unseen expert 和 De-noise expert 得到的知識候選和權(quán)重。

由此得到知識候選集合，對于第 條知識，將它的融合權(quán)重定義為，其中，如果存在 使 ，則 ，否則， 是超參數(shù)，滿足 。

此外，我們還對權(quán)重設(shè)置了一個閾值，得到的超過閾值的知識條目集合 即為最終輸出。使用驗證集的 Recall/Precision/F1/EM 等指標(biāo)學(xué)習(xí)超參數(shù) ，整體算法如下圖所示：

算法流程圖

該方法對于不同任務(wù)和不同數(shù)據(jù)集均可適用：

比如在 Entry Selection 階段，為同時保證知識選擇的準(zhǔn)確率和召回率，我們使用權(quán)重閾值來決定該知識是否相關(guān)，而不是直接選擇 Top-N 權(quán)重的知識。

對于不同測試集，我們可以根據(jù)其中 unseen 對話條數(shù)的比例相應(yīng)調(diào)整驗證集中 unseen 的比例來學(xué)習(xí) 。通過 的調(diào)整，測試集中 unseen 對話條數(shù)比例越高，我們的 Unseen expert 在最后權(quán)重占比也就越大。

4 結(jié)果分析

本章分析我們的方法在驗證集及最終測試集上的表現(xiàn)。

4.1 Turn Detection 子任務(wù)

Turn Detection 子任務(wù)實驗結(jié)果如表 1 所示：

表1 Turn Detection 子任務(wù)實驗結(jié)果

不難看出 baseline 在驗證集上已經(jīng)有了很高的性能。考慮到最終測試集中有 unseen 對話 ，于是我們使用基于差異感知的模型融合方法，力求在測試集的 unseen 對話上獲得更好的性能。

我們分別使用 Precision、Recall 和 F1 作為指標(biāo)來學(xué)習(xí)模型融合參數(shù)，因為更高的 Recall 對 unseen 對話更有效，所以我們選擇 Recall 和 F1 訓(xùn)練的結(jié)果模型融合結(jié)果作為最終提交。

在最終測試集上，我們的方法在所有提交結(jié)果中 F1 指標(biāo)排名第一，Recall 指標(biāo)排名第二，三項總和排名第一。

4.2 Knowledge Selection 子任務(wù)

Knowledge Selection 子任務(wù)實驗結(jié)果如表 2 所示：

表2 knowledge selection 子任務(wù)實驗結(jié)果

可以看到：

我們的單個模型表現(xiàn)都只略好于 baseline，然而使用我們的模型融合方法后，性能大幅提高，這說明我們的模型融合方法能結(jié)合不同 expert 的優(yōu)勢，使得模型綜合性能大大提升；

分別使用不同的指標(biāo)學(xué)習(xí)模型融合參數(shù)，就能得到相應(yīng)指標(biāo)下表現(xiàn)最好的模型。

我們依據(jù) 4 個指標(biāo)的驗證集結(jié)果總和選擇最后兩個結(jié)果（F1 和 EM）作為最終提交。在測試集上，我們的方法具有一致的性能，并且在很大程度上優(yōu)于 baseline。尤其在 EM 指標(biāo)上，我們的方法比 baseline 高出 14%。

為下一節(jié)表述方便，我們將這兩個結(jié)果表示為 KS-F1 和 KS-EM。

4.3 Response Generation 子任務(wù)

Response Generation 子任務(wù)實驗結(jié)果如表 3 所示：

表3 knowledge selection 子任務(wù)實驗結(jié)果

我們在生成回復(fù)過程中并沒有使用模型融合方法。上述結(jié)果可以反映出知識選擇子任務(wù)對生成任務(wù)的影響。

使用 KS-F1 的 BART-base 生成結(jié)果在所有指標(biāo)上都優(yōu)于 baseline。這一結(jié)果表明，KS-F1 提供了更高質(zhì)量的知識條目，并再次證明了我們模型融合方法的有效性。

BART-large 和 T5 作為更大的模型，在大多數(shù)指標(biāo)上都優(yōu)于 BART-base。此外，BART-large (KS-F1) 的 BLEU 指標(biāo)表現(xiàn)極好，在所有提交中排名第二。BART-large (KS-EM) 在 ROUGE 指標(biāo)上表現(xiàn)更好，T5-3B (KS-EM) 在 METEOR 指標(biāo)上更好。然而，T5 在測試集上的 BLEU 指標(biāo)表現(xiàn)不佳，與 BART-large 相比沒有明顯的優(yōu)勢。

5 總結(jié)

我們在 DSTC11-track5 競賽中提出了一種基于差異感知的模型融合方法。該方法很好的解決了競賽的兩大難點：

每個對話實例都與數(shù)量不定的若干條知識相關(guān)，如何讓模型學(xué)習(xí)到這種分類能力。

訓(xùn)練集、驗證集和測試集分布差異較大，如何讓模型在 seen 對話和 unseen 對話上都能有不錯的表現(xiàn)。

最后我們獲得了客觀指標(biāo)排名第三的成績，這一成績證明了我們方法的有效性。

未來可以繼續(xù)嘗試的工作包括：

知識選擇子任務(wù)：

可以將基于差異感知的模型融合方法同樣運用在 Entity Track 階段。

review 型的主觀知識和 FAQ 型的主觀知識具有不同的語義特性，比如 FAQ 的問句可能與用戶查詢有著較高的相似度，考慮如何分別對這兩類知識進行選擇。

回復(fù)生成子任務(wù)：

可以考慮分別用對話歷史 encoder 和外部知識 encoder 對輸入進行編碼再對其加以融合，這可能有助于模型對于對話生成和知識整合兩部分的單獨學(xué)習(xí)。

可以考慮使用大模型對知識加以初步的理解，再用我們的回復(fù)生成模型根據(jù)被理解的信息進行回復(fù)，這可能有助于增強模型的泛化能力。

可以考慮用對話狀態(tài)追蹤技術(shù)分析輸入的對話歷史，這可能有助于增強模型抗干擾能力。

針對前文提到的第三個難點，不同的主觀知識有不同的情感傾向?？梢钥紤]使用特定的情感理解模型輔助生成的訓(xùn)練。

模型融合：

考慮進一步優(yōu)化我們的基于差異感知的模型融合方法，讓模型自動學(xué)習(xí)閾值。