在2020年初開(kāi)始的新冠病毒蔓延影響下,NLPCC 2020采取線(xiàn)上+線(xiàn)下的會(huì)議方式,線(xiàn)上線(xiàn)下共繳費(fèi)注冊(cè)496人,其中現(xiàn)場(chǎng)參會(huì)總?cè)藬?shù)達(dá)372人,線(xiàn)上參會(huì)人數(shù)124人,另有15個(gè)贊助單位參展。匯聚了眾多國(guó)內(nèi)外NLP領(lǐng)域的知名學(xué)者。 本次會(huì)議總投稿數(shù)是445篇,會(huì)議有效投稿404篇。其中,主會(huì)有效總投稿377篇,Workshop有效投稿27篇。 在主會(huì)377篇有效投稿中,英文論文315篇,中文論文62篇;接收Oral論文83篇,其中英文論文70篇,中文論文13篇,錄用率為22%;接收Poster 論文30篇。Workshop共計(jì)錄取14篇論文。 在本次會(huì)議上評(píng)選出最佳論文、最佳學(xué)生論文各1篇,并進(jìn)行了頒獎(jiǎng)儀式。 來(lái)自清華大學(xué)朱小燕、黃民烈團(tuán)隊(duì)的王義達(dá)作為一作發(fā)表的《A Large-Scale Chinese Short-Text Conversation Dataset》獲得了最佳學(xué)生論文,以下是王義達(dá)本人對(duì)獲獎(jiǎng)?wù)撐牡挠H自解讀。
基于Transformer的大規(guī)模預(yù)訓(xùn)練語(yǔ)言模型極大地促進(jìn)了開(kāi)放領(lǐng)域?qū)υ?huà)的研究進(jìn)展。然而目前這一技術(shù)在中文對(duì)話(huà)領(lǐng)域并未被廣泛應(yīng)用,主要原因在于目前缺乏大規(guī)模高質(zhì)量的中文對(duì)話(huà)開(kāi)源數(shù)據(jù)。 為了推動(dòng)中文對(duì)話(huà)領(lǐng)域的研究,彌補(bǔ)中文對(duì)話(huà)語(yǔ)料不足這一問(wèn)題,我們發(fā)布了一個(gè)包含1200萬(wàn)對(duì)話(huà)的大規(guī)模中文對(duì)話(huà)數(shù)據(jù)集LCCC,并開(kāi)源了在LCCC上預(yù)訓(xùn)練的大規(guī)模中文對(duì)話(huà)生成模型CDial-GPT。 開(kāi)源地址:https://github.com/thu-coai/CDial-GPT 1
LCCC數(shù)據(jù)集的構(gòu)建
LCCC(Large-scale Cleaned Chinese Conversation)數(shù)據(jù)集有LCCC-base與LCCC-large兩個(gè)版本,其中LCCC-base和LCCC-large中各包含6.8M和12M對(duì)話(huà)。這些數(shù)據(jù)是從79M原始對(duì)話(huà)數(shù)據(jù)中經(jīng)過(guò)嚴(yán)格清洗得到的,也是目前所開(kāi)源的規(guī)模最大、清洗最嚴(yán)格的中文對(duì)話(huà)數(shù)據(jù)集。
表1. 被過(guò)濾掉的噪音數(shù)據(jù) 開(kāi)放領(lǐng)域?qū)υ?huà)數(shù)據(jù)的構(gòu)建通常有三種方式:1、抽取劇本對(duì)話(huà);2、人工眾包構(gòu)建對(duì)話(huà);3、爬取社交媒體上用戶(hù)的交流記錄。 使用第一種方式構(gòu)建的對(duì)話(huà)在內(nèi)容上依賴(lài)于特定劇情和場(chǎng)景,與日常對(duì)話(huà)有較大差異。使用第二種方式構(gòu)建的對(duì)話(huà)質(zhì)量最高,但是由于人力成本過(guò)高,無(wú)法使用這一方式構(gòu)建大規(guī)模數(shù)據(jù)集。使用第三種方式可以較為廉價(jià)地獲取大規(guī)模對(duì)話(huà)數(shù)據(jù),因此LCCC數(shù)據(jù)集中的原始數(shù)據(jù)主要使用第三種方式收集。 我們同時(shí)注意到,來(lái)自社交媒體的對(duì)話(huà)數(shù)據(jù)中存在各種各樣的噪音(表1),為了保證LCCC中對(duì)話(huà)數(shù)據(jù)的質(zhì)量,我們?cè)O(shè)計(jì)了如下數(shù)據(jù)獲取和清洗策略:
1. 數(shù)據(jù)獲取我們的數(shù)據(jù)獲取流程分為兩個(gè)階段。在第一個(gè)階段,我們挑選了微博上由專(zhuān)業(yè)媒體團(tuán)隊(duì)運(yùn)營(yíng)的新聞媒體賬號(hào),然后收集了一批在這些新聞媒體下留言互動(dòng)的活躍用戶(hù)。在第二個(gè)階段中,我們收集了這些活躍用戶(hù)微博下的留言互動(dòng),并將其作為我們的原始數(shù)據(jù)。微博下的留言回復(fù)一般以一個(gè)樹(shù)形結(jié)構(gòu)展開(kāi),我們將這一樹(shù)形回復(fù)結(jié)構(gòu)中每一條從根節(jié)點(diǎn)到葉子節(jié)點(diǎn)的路徑作為一個(gè)完整對(duì)話(huà),最終共收集到了79M對(duì)話(huà)數(shù)據(jù)。
2. 數(shù)據(jù)清洗為了保證數(shù)據(jù)質(zhì)量,我們對(duì)收集到的原始對(duì)話(huà)數(shù)據(jù)進(jìn)行了兩個(gè)階段的清洗。 第一階段的清洗主要基于手工規(guī)則。這一階段的主要目的是為了過(guò)濾掉對(duì)話(huà)數(shù)據(jù)中的明顯噪聲,如臟話(huà)、特殊符號(hào)、病句、復(fù)讀機(jī)句式、廣告、違法暴力信息等。在這一階段中,我們花費(fèi)了數(shù)周時(shí)間使用人工排查的方式優(yōu)化規(guī)則。
第二階段的清洗主要基于分類(lèi)器過(guò)濾。在這一階段中,我們基于BERT訓(xùn)練了兩個(gè)文本分類(lèi)器,第一個(gè)分類(lèi)器主要用于甄別那些無(wú)法通過(guò)規(guī)則檢測(cè)的噪音,如:1、語(yǔ)義模糊、語(yǔ)法錯(cuò)亂或有嚴(yán)重拼寫(xiě)錯(cuò)誤的語(yǔ)句;2、時(shí)效性太強(qiáng)的對(duì)話(huà);3、與上下文語(yǔ)義不相關(guān)的回復(fù)。 第二個(gè)分類(lèi)器主要用于甄別那些需要依賴(lài)額外上下文信息,如圖片或視頻等,才能理解的對(duì)話(huà)。這兩個(gè)分類(lèi)器均使用人工標(biāo)注數(shù)據(jù)訓(xùn)練,我們?yōu)槠錁?biāo)注了共計(jì)11萬(wàn)對(duì)話(huà)數(shù)據(jù),最終的分類(lèi)器在人工標(biāo)注的測(cè)試集上分別達(dá)到了73.76%和77.60%的準(zhǔn)確率。我們通過(guò)F1-score選擇閾值來(lái)過(guò)濾得到高質(zhì)量的對(duì)話(huà)數(shù)據(jù)。
表2. 數(shù)據(jù)統(tǒng)計(jì)信息,左側(cè)為L(zhǎng)CCC-base,右側(cè)為L(zhǎng)CCC-large 最終我們基于上述原始對(duì)話(huà)數(shù)據(jù)過(guò)濾得到了6.8M高質(zhì)量的對(duì)話(huà)數(shù)據(jù)LCCC-base。此外,我們還收集了目前已公開(kāi)的其他對(duì)話(huà)數(shù)據(jù),并使用同樣的清洗流程,結(jié)合LCCC-base構(gòu)造了包含12M對(duì)話(huà)的數(shù)據(jù)集LCCC-large。表2展示了這兩個(gè)數(shù)據(jù)集中單輪對(duì)話(huà)和多輪對(duì)話(huà)的詳細(xì)統(tǒng)計(jì)信息。 2
中文對(duì)話(huà)預(yù)訓(xùn)練模型CDial-GPT
為促進(jìn)中文對(duì)話(huà)預(yù)訓(xùn)練模型的發(fā)展,我們基于LCCC數(shù)據(jù)集預(yù)訓(xùn)練了大規(guī)模中文對(duì)話(huà)生成模型CDial-GPT。該模型的訓(xùn)練過(guò)程包含兩個(gè)階段,首先,我們?cè)诳傆?jì)5億字符、包含各類(lèi)題材的小說(shuō)數(shù)據(jù)上訓(xùn)練得到了一個(gè)中文小說(shuō)GPT預(yù)訓(xùn)練模型,然后在該模型的基礎(chǔ)上,我們使用LCCC中的對(duì)話(huà)數(shù)據(jù)繼續(xù)對(duì)模型進(jìn)行訓(xùn)練,最終得到了中文對(duì)話(huà)預(yù)訓(xùn)練模型CDial-GPT。
圖1. 輸入編碼示例 該模型擁有12層Transformer結(jié)構(gòu),我們按字分詞,字典大小13088,字向量維度768,最長(zhǎng)上下文長(zhǎng)度為513。我們沿用TransferTransfo的方式對(duì)對(duì)話(huà)進(jìn)行建模,即把對(duì)話(huà)歷史拼接為長(zhǎng)文本,并使用段分割向量加以區(qū)分。具體來(lái)說(shuō):我們使用[CLS]字符標(biāo)志文本起始,在段落后使用[SEP]字符表示段落結(jié)束,在段落中對(duì)相鄰輪次對(duì)話(huà)使用[speaker1]、[speaker2]交替分割,并在segment embedding中使用[speaker1]、[speaker2]進(jìn)行編碼。圖1為輸入數(shù)據(jù)示例。 3
模型效果評(píng)測(cè)
為了評(píng)估對(duì)話(huà)預(yù)訓(xùn)練模型的質(zhì)量,我們?cè)?40萬(wàn)規(guī)模的中文對(duì)話(huà)數(shù)據(jù)集STC上對(duì)其進(jìn)行了評(píng)測(cè)實(shí)驗(yàn),并對(duì)比了現(xiàn)有的中文對(duì)話(huà)預(yù)訓(xùn)練模型和一些經(jīng)典的非預(yù)訓(xùn)練對(duì)話(huà)模型。我們主要通過(guò)PPL這一指標(biāo)來(lái)反映模型的擬合能力,PPL越低表示模型的擬合能力越強(qiáng)。我們通過(guò)基于n-gram重合度的指標(biāo)BLEU和基于Embedding相似度的指標(biāo)Greedy Matching 和Embedding Average來(lái)衡量對(duì)話(huà)回復(fù)與真實(shí)回復(fù)的相關(guān)性,并通過(guò)Dist-n指標(biāo)來(lái)衡量生成回復(fù)的多樣性。實(shí)驗(yàn)結(jié)果展示在表3中。可以看到我們的模型在絕大多數(shù)指標(biāo)上達(dá)到了最好的效果。由于自動(dòng)指標(biāo)無(wú)法完全反映生成對(duì)話(huà)的質(zhì)量,于是我們對(duì)各模型生成的對(duì)話(huà)進(jìn)行了人工評(píng)測(cè)。
表3. 自動(dòng)指標(biāo)評(píng)估
表4. 人工評(píng)價(jià) 在人工評(píng)測(cè)中我們主要考慮3個(gè)方面:1、語(yǔ)法性,也就是生成語(yǔ)句的流暢性;2、相關(guān)性,即生成語(yǔ)句與對(duì)話(huà)上文的相關(guān)性;3、信息量,即生成結(jié)果自身含有的信息量。具體來(lái)說(shuō),不符合語(yǔ)法性或與對(duì)話(huà)上文不相關(guān)的生成結(jié)果我們給予0分;語(yǔ)句流暢、和對(duì)話(huà)上文相關(guān)但信息量不足的生成結(jié)果給予1分;語(yǔ)句流暢、和對(duì)話(huà)上文相關(guān)并且信息量充足的生成結(jié)果給予2分,我們將人工評(píng)測(cè)結(jié)果展示在表4中。實(shí)驗(yàn)結(jié)果顯示,我們的預(yù)訓(xùn)練模型擁有出色的生成質(zhì)量,可以在生成信息量充足的回復(fù)的同時(shí),保持較高的流暢性與相關(guān)性,優(yōu)于其他基線(xiàn)模型,一些生成例子展示在表5,6中。
表5. 人機(jī)交互示例 (左)和 模型互相交互示例(右)
表6.在STC微調(diào)的生成結(jié)果示例 目前CDial-GPT模型以及LCCC數(shù)據(jù)集都已公開(kāi),我們提供了訓(xùn)練以及微調(diào)代碼,可以方便地應(yīng)用于各種數(shù)據(jù)和下游任務(wù)上。
責(zé)任編輯:xj
原文標(biāo)題:一作解讀NLPCC最佳學(xué)生論文:1200萬(wàn)中文對(duì)話(huà)數(shù)據(jù)和預(yù)訓(xùn)練模型CDial-GPT
文章出處:【微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
數(shù)據(jù)
+關(guān)注
關(guān)注
8文章
6767瀏覽量
88636 -
nlp
+關(guān)注
關(guān)注
1文章
483瀏覽量
21976 -
訓(xùn)練模型
+關(guān)注
關(guān)注
1文章
35瀏覽量
3794
原文標(biāo)題:一作解讀NLPCC最佳學(xué)生論文:1200萬(wàn)中文對(duì)話(huà)數(shù)據(jù)和預(yù)訓(xùn)練模型CDial-GPT
文章出處:【微信號(hào):zenRRan,微信公眾號(hào):深度學(xué)習(xí)自然語(yǔ)言處理】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論