斯坦福NLP的強(qiáng)大QA數(shù)據(jù)集

很多朋友在互聯(lián)網(wǎng)搜索問(wèn)題的時(shí)候都會(huì)大贊引擎返回的結(jié)果，而不是丟給你一堆鏈接讓你自己去查找。各類搜索引擎會(huì)對(duì)問(wèn)題進(jìn)行有效的匹配，總能準(zhǔn)確的告訴你世界上有多少個(gè)國(guó)家、中國(guó)的面積有多大，以及今年清明放幾天假。但是面對(duì)更為復(fù)雜的問(wèn)題可能搜索引擎黔驢技窮了，比如你想要去把上周末貪心吃掉一大塊巧克力芝士蛋糕運(yùn)動(dòng)燃燒掉，無(wú)論是谷歌百度還是必應(yīng)搜狗都沒(méi)辦法告訴你需要騎多久的車、走多遠(yuǎn)的路才能燃燒你的卡路里。但是，任何一個(gè)人都可以從引擎返回的前面一兩條鏈接內(nèi)容里找到自己的答案。

在如今這個(gè)信息爆炸的時(shí)代，無(wú)數(shù)的信息和知識(shí)文本讓我們目不暇接。讓機(jī)器替代我們?nèi)ラ喿x海量的文獻(xiàn)并為我們提供相關(guān)問(wèn)題的答案在當(dāng)今社會(huì)有著十分巨大的現(xiàn)實(shí)需求和重要的現(xiàn)實(shí)意義，機(jī)器閱讀理解和問(wèn)答已經(jīng)成為了自然語(yǔ)言處理領(lǐng)域的關(guān)鍵任務(wù)，這一能力將會(huì)實(shí)現(xiàn)像電影時(shí)光機(jī)器中那位知識(shí)淵博的圖書管理員一樣強(qiáng)大的智能AI知識(shí)系統(tǒng)。

近年來(lái)，類似SQuAD和TriviaQA等大規(guī)模的問(wèn)答數(shù)據(jù)集促進(jìn)了這一領(lǐng)域的快速發(fā)展，龐大的數(shù)據(jù)集是的研究人員可以訓(xùn)練更大更深更強(qiáng)的深度學(xué)習(xí)模型。通過(guò)這些龐大數(shù)據(jù)集驅(qū)動(dòng)的算法已經(jīng)可以通過(guò)在百科中搜尋合適的內(nèi)容來(lái)回答很多隨機(jī)的問(wèn)題，而無(wú)需人類親力親為尋找答案。

SQuAD數(shù)據(jù)集從超過(guò)500篇百科文章中收集了超過(guò)10萬(wàn)個(gè)問(wèn)題，文章的每一段都列出一系列獨(dú)立的問(wèn)題和與之相對(duì)應(yīng)段落內(nèi)一段連續(xù)內(nèi)容作為答案。這種方式又稱為“抽取式問(wèn)答” 。

雖然這些數(shù)據(jù)集推動(dòng)著這一領(lǐng)域飛速發(fā)展，但依然存在不可回避的問(wèn)題。事實(shí)上研究人員發(fā)現(xiàn)模型并沒(méi)有理解問(wèn)題的內(nèi)涵，而更多地傾向于去對(duì)問(wèn)題的答案進(jìn)行模式匹配。

From Jia and Liang. 研究顯示模型只學(xué)會(huì)了匹配城市名字而不是理解問(wèn)題和答案。

為了克服這些問(wèn)題，斯坦福NLP組的研究人員們Peng Qi & Danqi Chen提出了兩個(gè)新的數(shù)據(jù)集。在這篇文章中，研究人員探索了如何拓展現(xiàn)有機(jī)器閱讀系統(tǒng)的能力，并基于這兩個(gè)新的數(shù)據(jù)集探索了在問(wèn)答任務(wù)中機(jī)器“閱讀”與“推理”間的相關(guān)性，以突破機(jī)器以簡(jiǎn)單的模式匹配方式來(lái)回答問(wèn)題。

其中CoQA數(shù)據(jù)集集中于對(duì)話的角度，通過(guò)自然對(duì)話的形式引入與文本段落相關(guān)豐富的上下文信息來(lái)為問(wèn)答系統(tǒng)提供對(duì)話角度的探索方向。而HotpotQA數(shù)據(jù)集則超越了段落內(nèi)容，主要集中于解決需要綜合多個(gè)文本，并進(jìn)行有效推理才能獲得答案的復(fù)雜挑戰(zhàn)。

CoQA數(shù)據(jù)集

絕大多數(shù)現(xiàn)存的問(wèn)答系統(tǒng)局限于獨(dú)立的回答問(wèn)題（類似于SQuAD）。盡管這也是一種問(wèn)答方式，但對(duì)人人類來(lái)說(shuō)更常見(jiàn)的做法是聽(tīng)過(guò)一系列你問(wèn)我答的具有相互關(guān)聯(lián)的交流對(duì)話來(lái)獲取有效信息。CoQA就是這樣一個(gè)機(jī)遇對(duì)話問(wèn)答的數(shù)據(jù)集，其中包含了自七個(gè)領(lǐng)域的8千個(gè)對(duì)話過(guò)程，共十二萬(wàn)七千個(gè)問(wèn)答數(shù)據(jù)，可以有效解決現(xiàn)有AI問(wèn)答系統(tǒng)中存在的上述問(wèn)題。

CoQA主要包含了從各種來(lái)源收集的文章，以及關(guān)于文章內(nèi)容的一系列相關(guān)對(duì)話。對(duì)話的每一輪包含一個(gè)問(wèn)題及其答案，同時(shí)每一個(gè)問(wèn)題都依賴于先前的問(wèn)題。與SQuAD以及其他現(xiàn)存的數(shù)據(jù)集不同的是，這一數(shù)據(jù)集中對(duì)話歷史對(duì)于回答很多問(wèn)題的答案是不可或缺的。例如在上面例子中的第二個(gè)問(wèn)題，在沒(méi)有對(duì)先前回答歷史理解的情況下是無(wú)法回答的。此外在對(duì)話中人們的注意力中心會(huì)隨著對(duì)話的進(jìn)行而轉(zhuǎn)移，例如前述例子中的從問(wèn)題四中的他們，到問(wèn)題五中的他再到問(wèn)題六中的他們，對(duì)于機(jī)器來(lái)說(shuō)要回答這類對(duì)話中心迅速變化問(wèn)題充滿了調(diào)整，數(shù)據(jù)集中的問(wèn)題需要機(jī)器能夠更加理解對(duì)話的上下文內(nèi)容才能有效回答。

CoQA還具有很多不同于先前數(shù)據(jù)集的新特征:

首先這一數(shù)據(jù)集并不會(huì)像SQuAD一樣將答案限制在文章中一個(gè)連續(xù)地區(qū)域。研究人員認(rèn)為一個(gè)問(wèn)題的答案不僅僅局限于一個(gè)單一的部分，而是會(huì)分布在文章各處。此外研究人員希望這一數(shù)據(jù)集可以支持自動(dòng)評(píng)價(jià)，問(wèn)題的答案可以獲得人類的認(rèn)同。所以數(shù)據(jù)集的標(biāo)注者不僅標(biāo)注出了文章中對(duì)應(yīng)的部分（作為給出答案的理由），同時(shí)將這些部分編輯為了自然語(yǔ)言形式的回答。這些給出答案的理由將提升問(wèn)答系統(tǒng)模型的訓(xùn)練效果。

其次現(xiàn)存的QA數(shù)據(jù)集大都集中在單個(gè)領(lǐng)域，使得基于這些數(shù)據(jù)集訓(xùn)練的模型不具有通過(guò)的泛化能力。為了解決這一問(wèn)題CoQA數(shù)據(jù)集收集了來(lái)自兒童故事、文學(xué)、中學(xué)英語(yǔ)測(cè)試、新聞、百科、Reddit和科學(xué)等七個(gè)領(lǐng)域的不同材料，使得數(shù)據(jù)集具有了更為豐富的特性。

通過(guò)對(duì)數(shù)據(jù)集進(jìn)行深度的分析，研究人員發(fā)現(xiàn)了一系列豐富的語(yǔ)言學(xué)現(xiàn)象。首先27.2%的問(wèn)題需要進(jìn)行實(shí)際的推理，包括常識(shí)和預(yù)測(cè)的輔助，而不能簡(jiǎn)單的從文章內(nèi)容中進(jìn)行轉(zhuǎn)述。比如需要通過(guò)對(duì)于主人公動(dòng)作的描寫來(lái)推測(cè)他的性格。只有29.8%的問(wèn)題可以直接通過(guò)文本匹配來(lái)回答。此外研究人員發(fā)現(xiàn)有30.5%的問(wèn)題并不依賴于討論歷史,49.7%的問(wèn)題包含“它”、“他”、“她”等清晰的討論語(yǔ)言標(biāo)志，額外19.8%的問(wèn)題需要參考整個(gè)段落或事件來(lái)進(jìn)行回答。

與SQuAD2.0相比，CoQA數(shù)據(jù)集的問(wèn)題要短很多（平均5.5詞），這反映了數(shù)據(jù)集中對(duì)話的特點(diǎn)。此外數(shù)據(jù)集中的問(wèn)題還包含了更多豐富的問(wèn)題和更多類型的提問(wèn)方式，而SQuAD中的問(wèn)題則更多的集中于問(wèn)題本身。同時(shí)CoQA數(shù)據(jù)集還加入了更多的前綴、時(shí)態(tài)的變化，豐富了問(wèn)答系統(tǒng)的表達(dá)。

最新進(jìn)展

去年八月公布數(shù)據(jù)集以來(lái)，CoQA引起了全球范圍內(nèi)研究者的關(guān)注，并成為了最有效的基準(zhǔn)數(shù)據(jù)集。基于它產(chǎn)生了一系列優(yōu)秀的研究工作，包括谷歌強(qiáng)大的BERT模型和微軟亞洲研究院提出的“BERT+MMFT+ADA”方案實(shí)現(xiàn)87.5%的領(lǐng)域F1和85.3%域外F1精度。不僅達(dá)到了人類的水平并超過(guò)了不久之前基準(zhǔn)模型將近20個(gè)點(diǎn)。我們相信在優(yōu)秀數(shù)據(jù)集的基礎(chǔ)上，好的模型還將不斷涌現(xiàn)，未來(lái)可期！

HotpotQA：基于多文本的機(jī)器閱讀

為了探索世界本來(lái)的面目，我們?cè)匍喿x時(shí)不僅需要深入理解每篇文章上下文的內(nèi)容和關(guān)系，更需要搜尋多篇相關(guān)的文獻(xiàn)探求事物背后的內(nèi)在聯(lián)系。例如下面這些問(wèn)題問(wèn)題，我們基于從單篇材料進(jìn)行回答：

- 雅虎是在哪個(gè)州建立的？

- 斯坦福還是CMU的計(jì)算機(jī)研究人員多？

- 剛剛吃的小蛋糕需要跑步多久才能消耗掉？

雖然網(wǎng)上有豐富的資料幾乎可以幫助我們解答任何問(wèn)題，但很多時(shí)候我們并不能直接搜索到需要的答案。如果我們想要知道雅虎在美國(guó)哪個(gè)州創(chuàng)立的，我們假設(shè)你就只在wiki上進(jìn)行檢索，發(fā)現(xiàn)我們沒(méi)能找到這個(gè)問(wèn)題的直接答案，而僅僅發(fā)現(xiàn)了Yahoo的主頁(yè)和楊致遠(yuǎn),David Filo的介紹。為了回答這個(gè)問(wèn)題，你需要在wiki上瀏覽并總結(jié)如下的分析才能回答這一問(wèn)題：

通常我們將經(jīng)歷以下步驟來(lái)回答這個(gè)問(wèn)題：我們首先注意到，雅虎是在斯坦福創(chuàng)建的，那么隨后我們就將問(wèn)題中心轉(zhuǎn)移到斯坦福在哪。隨后在斯坦福的頁(yè)面上發(fā)現(xiàn)它坐落于加州，最后我們就將這兩個(gè)問(wèn)題聯(lián)系起來(lái)得到了雅虎于加州創(chuàng)立的答案。

顯然在回答這類問(wèn)題的時(shí)候我們需要具備兩種能力：尋找相關(guān)信息的檢索能力以及基于多個(gè)文檔信息進(jìn)行推理的能力。

這對(duì)于機(jī)器閱讀系統(tǒng)來(lái)說(shuō)是十分重要的能力，只有具備這樣的檢索推理能力才能幫助我們從海量的信息總尋求需要的答案。

然而目前的數(shù)據(jù)集大都集中于單個(gè)文檔的理解問(wèn)答，為了解決這一問(wèn)題，斯坦福的研究人員們建立了另一個(gè)優(yōu)秀的數(shù)據(jù)集HotPotQA。

HotpotQA數(shù)據(jù)集的內(nèi)容

HotpotQA是一個(gè)包含十一萬(wàn)三千個(gè)問(wèn)答對(duì)的龐大數(shù)據(jù)集， 這一數(shù)據(jù)集的特點(diǎn)在于問(wèn)題的答案需要結(jié)合大量的文檔進(jìn)行分析綜合，并最終基于多個(gè)事實(shí)的支撐來(lái)推理得出答案。

這一數(shù)據(jù)集中的問(wèn)答來(lái)源于整個(gè)英文版的Wikipedia，覆蓋了從科學(xué)、宇宙、地理到娛樂(lè)、運(yùn)動(dòng)、和法律等多樣性的內(nèi)容。其中的每一個(gè)問(wèn)題都需要綜合多個(gè)文檔進(jìn)行推理而得到。例如前文雅虎的例子中，斯坦福大學(xué)就是回答問(wèn)題中確實(shí)的一環(huán)，我們通過(guò)尋找斯坦福的位置間接的回答了雅虎創(chuàng)立的地點(diǎn)。這一條推理的邏輯鏈條如下所示：

在這問(wèn)答中，斯坦福大學(xué)成為了我們銜接不同知識(shí)間的橋梁和紐帶。在很多類似的問(wèn)題里都會(huì)存在這里銜接不同知識(shí)的橋梁，幫助我們最終通過(guò)整合推理得到答案。

也許你會(huì)想到，我們?nèi)绻梢灾苯诱业絾?wèn)題中的橋梁媒介那就太好了！雖然這一中介不能回答原始問(wèn)題，但它可以指導(dǎo)我們進(jìn)行推理和進(jìn)一步的信息搜尋已解決問(wèn)題。在Hotpot數(shù)據(jù)集中，研究人員總結(jié)出了一類新的問(wèn)題類型：比較形問(wèn)題，以增強(qiáng)問(wèn)答系統(tǒng)的推理和語(yǔ)言理解能力。

例如，到底是斯坦福還是CMU的計(jì)算機(jī)研究人員多呢？為了回答這一問(wèn)題，QA系統(tǒng)不僅需要檢索出相應(yīng)的材料，分別找出兩個(gè)學(xué)校計(jì)算機(jī)研究人員的數(shù)量，同時(shí)還需要對(duì)結(jié)果進(jìn)行比較以獲取最終答案。而比較對(duì)于現(xiàn)有的問(wèn)答系統(tǒng)十分困難，問(wèn)題中引入的數(shù)值比較、時(shí)間比較、數(shù)量甚至是算數(shù)問(wèn)題的比較提高問(wèn)題的復(fù)雜度和難度。

但這并不意味著前一個(gè)尋找相關(guān)材料的問(wèn)題簡(jiǎn)單。盡管在比較問(wèn)題中搜索和定位支持材料較為容易，但對(duì)于需要橋梁媒介來(lái)進(jìn)行回答的問(wèn)題，這一任務(wù)很可能更具挑戰(zhàn)。

基于傳統(tǒng)信息檢索方法將wiki的文章按照與問(wèn)題的相關(guān)性進(jìn)行排名，研究人員發(fā)現(xiàn)需要平均檢索兩個(gè)以上的段落（黃金段落）才能找到與問(wèn)題相關(guān)的答案，而在排名最高的是個(gè)段落中只能找到1.1個(gè)黃金段落。在按照相關(guān)性排序畫出的圖中，無(wú)論排序較高或者是較低的段落都呈現(xiàn)出了明顯的厚尾效應(yīng)。

具體來(lái)講，有超過(guò)80%的高排名段落可以再Top10的檢索結(jié)果中找到，而只有30%的低排名結(jié)果可以在Top10中找到。假設(shè)我們僅僅依靠閱讀相關(guān)性排名較高的文件來(lái)尋找可以回答問(wèn)題的環(huán)境段落的話，我們需要閱讀近600個(gè)文本，這還不包括機(jī)器有時(shí)候無(wú)法準(zhǔn)確識(shí)別黃金段落帶來(lái)的損耗。

所以我們需要新的方法來(lái)解決這種原始的機(jī)器閱讀方法，引入推理和歸納來(lái)提升系統(tǒng)表現(xiàn)，這也將為我們帶來(lái)對(duì)于海量信息更加便捷的和有效的接入。

創(chuàng)建更具解釋性的問(wèn)答系統(tǒng)

問(wèn)答系統(tǒng)另一個(gè)重要的需求是產(chǎn)生結(jié)果的可解釋性。一個(gè)只會(huì)簡(jiǎn)單給出答案的問(wèn)答系統(tǒng)，而不能解釋或者嚴(yán)重答案的問(wèn)答系統(tǒng)，在某種程度上來(lái)說(shuō)是無(wú)法使用的。即便是在絕大多是時(shí)候這一系統(tǒng)都給出了正確的答案,用戶在無(wú)法再無(wú)法驗(yàn)證答案的情況下是不會(huì)充分信任它的。

所以HotpotQA數(shù)據(jù)集在收集過(guò)程中，標(biāo)注人員將得到答案的支撐語(yǔ)句標(biāo)記了出來(lái)，作為數(shù)據(jù)集的一部分為問(wèn)答系統(tǒng)提供可解釋性的支持。下圖中綠色的句子作為得到答案的依據(jù)被標(biāo)注了出來(lái)。

這些依據(jù)不僅能夠幫助用戶更有效地檢查系統(tǒng)給出的答案，同時(shí)也能在很大程度上促進(jìn)系統(tǒng)更精確地尋找所期望的答案，為模型提供比先前數(shù)據(jù)集更豐富的監(jiān)督信號(hào)。

寫在最后的思考

書寫的文字中濃縮了人類最寶貴的智慧，越來(lái)越多的電子化文件將有效驅(qū)動(dòng)智能問(wèn)答系統(tǒng)的閱讀、推理和理解能力，超越傳統(tǒng)的模式匹配，單一文本的學(xué)習(xí)模式，并發(fā)展出具有多文件歸納、推理和理解能力的強(qiáng)大系統(tǒng)。

CoQA系統(tǒng)中一系列問(wèn)題形式的數(shù)據(jù)集將有效共享多個(gè)對(duì)話之間的上下文內(nèi)容，綜合推理回答復(fù)雜的問(wèn)題；HotpotQA數(shù)據(jù)集中的多文件推理和支撐依據(jù)將進(jìn)一步促進(jìn)智能問(wèn)答系統(tǒng)對(duì)問(wèn)題的綜合理解及可解釋性。這將促進(jìn)學(xué)界在相關(guān)方向上更為深入的研究，更多的優(yōu)秀研究和高性能模型將會(huì)不斷涌現(xiàn)。

數(shù)據(jù)是深度學(xué)習(xí)系統(tǒng)，特別是問(wèn)答系統(tǒng)最為重要的燃料，這兩個(gè)數(shù)據(jù)集將為投入深度學(xué)習(xí)的熔爐，推動(dòng)用問(wèn)答系統(tǒng)的引擎推動(dòng)深度學(xué)習(xí)這艘巨輪不斷向前。