無(wú)需翻譯的無(wú)監(jiān)督復(fù)述的新方法：允許從輸入句子生成多樣化、但語(yǔ)義上接近的句子

無(wú)需翻譯的無(wú)監(jiān)督復(fù)述的新方法：允許從輸入句子生成多樣化、但語(yǔ)義上接近的句子。模型基于矢量量化自動(dòng)編碼器（VQ-VAE），可以在單純語(yǔ)言環(huán)境中解釋句子。它還具有獨(dú)特的功能，即與量化瓶頸并行的殘余連接，可以更好地控制解碼器熵并簡(jiǎn)化優(yōu)化過(guò)程。

近年來(lái)，研究人員一直在嘗試開(kāi)發(fā)自動(dòng)復(fù)述的方法，復(fù)述就是對(duì)相同語(yǔ)義的不同表達(dá)，例如一句話(huà)，可以有一千種說(shuō)法。這需要從文本中自動(dòng)抽象語(yǔ)義內(nèi)容。

由于缺乏可用的復(fù)映對(duì)標(biāo)記數(shù)據(jù)集，目前更多的是使用依賴(lài)于機(jī)器翻譯（MT）技術(shù)的方法，已經(jīng)被證明非常受歡迎。

理論上來(lái)看，翻譯技術(shù)可能是自動(dòng)復(fù)述的有效解決方案，因?yàn)榉g技術(shù)是從語(yǔ)言實(shí)現(xiàn)中抽象出語(yǔ)義內(nèi)容。例如，將相同的句子分配給不同的翻譯者，最終翻譯出來(lái)的內(nèi)容通常是有差別的，這樣就得到一個(gè)豐富的解釋集，在復(fù)述任務(wù)中可能會(huì)非常有用。

盡管許多研究人員已經(jīng)開(kāi)發(fā)出基于翻譯的自動(dòng)復(fù)述方法，但顯然人類(lèi)并不需要翻譯才能解釋句子。

基于這一觀察結(jié)果，Google Research的兩位研究人員最近提出了一種新的復(fù)述技術(shù)，可以不依賴(lài)機(jī)器翻譯的方法。

在預(yù)先發(fā)表在arXiv上的論文中，他們將這種單語(yǔ)方法與其他翻譯技巧進(jìn)行了比較（例如監(jiān)督翻譯和無(wú)監(jiān)督翻譯方法），該論文被引用了47次。

進(jìn)行這項(xiàng)研究的兩位研究人員Aurko Roy和David Grangier在他們的論文中寫(xiě)道：“這項(xiàng)工作建議只從未標(biāo)記的單語(yǔ)語(yǔ)料庫(kù)中學(xué)習(xí)復(fù)述模型…為此，我們提出了矢量量化變分自動(dòng)編碼器的殘差變量?！?/p>

Aurko Roy

David Grangier

研究人員介紹的模型基于矢量量化自動(dòng)編碼器（VQ-VAE），可以在單純語(yǔ)言環(huán)境中解釋句子。同時(shí)，它還具有獨(dú)特的特征（即與量化瓶頸并行的殘余連接），這使得能夠更好地控制解碼器熵、并簡(jiǎn)化優(yōu)化過(guò)程。他們的模型只需要在一種語(yǔ)言中使用未標(biāo)記的數(shù)據(jù)：即用語(yǔ)言來(lái)解釋句子。

研究人員在論文中解釋道：“與連續(xù)自動(dòng)編碼器相比，我們的方法允許從輸入句子生成多樣化、但語(yǔ)義上接近的句子。”

在研究中，Roy和Grangier將他們的模型表現(xiàn)與其他基于MT的方法在復(fù)述識(shí)別、生成和訓(xùn)練增強(qiáng)方面的表現(xiàn)進(jìn)行了比較。

他們特別將這種方法，與在平行雙語(yǔ)數(shù)據(jù)上訓(xùn)練的監(jiān)督翻譯方法、以及在兩種不同語(yǔ)言的非平行文本上訓(xùn)練的無(wú)監(jiān)督翻譯方法進(jìn)行了比較。

研究人員發(fā)現(xiàn)，他們的單語(yǔ)方法在所有任務(wù)中均優(yōu)于無(wú)監(jiān)督翻譯技術(shù)。另一方面，他們的模型和監(jiān)督翻譯方法之間的比較產(chǎn)生了混合的結(jié)果：?jiǎn)握Z(yǔ)方法在識(shí)別和增強(qiáng)任務(wù)中表現(xiàn)更好，而監(jiān)督翻譯方法在復(fù)述生成方面表現(xiàn)更好。

研究人員總結(jié)道：“總的來(lái)說(shuō)，我們發(fā)現(xiàn)在進(jìn)行復(fù)述識(shí)別和數(shù)據(jù)增強(qiáng)方面，單語(yǔ)模型可以勝過(guò)雙語(yǔ)模式。單語(yǔ)模型的生成質(zhì)量要高于基于無(wú)監(jiān)督翻譯的模型，但并不高于基于有監(jiān)督翻譯的模型?！?/p>

Roy和Grangier的研究結(jié)果表明，雖然使用雙語(yǔ)并行數(shù)據(jù)（即文本及在其他語(yǔ)言中的可能翻譯）在產(chǎn)生復(fù)述能夠得到更卓越的表現(xiàn)。然而，在雙語(yǔ)數(shù)據(jù)不易獲得的情況下，谷歌研究院提出的單語(yǔ)模型可能是一種有用的資源或替代解決方案。