淺談圖神經(jīng)網(wǎng)絡(luò)在自然語言處理中的應(yīng)用簡述

近幾年，神經(jīng)網(wǎng)絡(luò)因其強大的表征能力逐漸取代傳統(tǒng)的機器學(xué)習(xí)成為自然語言處理任務(wù)的基本模型。然而經(jīng)典的神經(jīng)網(wǎng)絡(luò)模型只能處理歐氏空間中的數(shù)據(jù)，自然語言處理領(lǐng)域中，篇章結(jié)構(gòu)，句法甚至句子本身都以圖數(shù)據(jù)的形式存在。因此，圖神經(jīng)網(wǎng)絡(luò)引起學(xué)界廣泛關(guān)注，并在自然語言處理的多個領(lǐng)域成功應(yīng)用。該文對圖神經(jīng)網(wǎng)絡(luò)在自然語言處理領(lǐng)域中的應(yīng)用進行了系統(tǒng)性的綜述， 首先介紹了圖神經(jīng)網(wǎng)絡(luò)的核心思想并梳理了三種經(jīng)典方法： 圖循環(huán)網(wǎng)絡(luò)，圖卷積網(wǎng)絡(luò)和圖注意力網(wǎng)絡(luò);然后在具體任務(wù)中，詳細描述了如何根據(jù)任務(wù)特性構(gòu)建合適的圖結(jié)構(gòu)以及如何合理運用圖結(jié)構(gòu)表示模型。該文認為，相比專注于探索圖神經(jīng)網(wǎng)絡(luò)的不同結(jié)構(gòu)，探索如何以圖的方式建模不同任務(wù)中的關(guān)鍵信息，是圖神經(jīng)網(wǎng)絡(luò)未來工作中更具普遍性和學(xué)術(shù)價值的一個研究方向。

自然語言處理中存在很多圖結(jié)構(gòu)。如圖 1 所 示，從句法結(jié)構(gòu)、語義關(guān)系圖、篇章關(guān)系結(jié)構(gòu)，到實體和共指結(jié)構(gòu)、關(guān)系結(jié)構(gòu)和知識圖譜，都是一般的圖結(jié) 構(gòu)。一個句子內(nèi)部的字、詞相鄰關(guān)系也構(gòu)成圖結(jié)構(gòu)。形式上，圖由節(jié)點和邊組成。本文以三類圖結(jié)構(gòu)為 例，觀察自然語言處理任務(wù)中相關(guān)的節(jié)點和邊，以便 更具體地了解這些任務(wù)所對應(yīng)的圖。

第一類圖結(jié)構(gòu)是基于句子的語言結(jié)構(gòu)。已有研究表明，對關(guān)系提取、機器翻譯和其他自然語言處理 任務(wù)，句法［1］、語義［2］和篇章結(jié)構(gòu)信息［3］非常有用。因此，一種在句子上定義圖結(jié)構(gòu)的方法是把每個詞 當(dāng)作節(jié)點，并把句法依存關(guān)系、語義角色和篇章關(guān)系 等節(jié)點之間的鏈接當(dāng)作邊。我們可以在相鄰單詞之 間添加多種類型的邊，從而形成一種具有統(tǒng)一節(jié)點 類型但具有不同邊類型的圖。

第二類圖結(jié)構(gòu)是基于文檔中的實體和共指關(guān)系 連接構(gòu)建的，如圖 1（a）所示。對于機器閱讀的任 務(wù)，有研究表明，為了正確地回答問題，對參考文檔 中不同的句子進行推理可能是有必要的［4］。一種為 這種推理構(gòu)建圖結(jié)構(gòu)的方法是把文檔中提及的實體 作為節(jié)點，并把實體之間的共指鏈接作為邊。另外， 除了文本文檔中的實體，知識圖譜中的實體也可以 使用圖神經(jīng)網(wǎng)絡(luò)進行編碼，如圖1（b）所示。

第三類圖結(jié)構(gòu)可以是結(jié)構(gòu)預(yù)測任務(wù)中的圖結(jié)構(gòu) 本身。具體來說，如圖1（c）所示，多個基準(zhǔn)結(jié)構(gòu)化 預(yù)測模型給出的候選圖結(jié)構(gòu)可以使用圖神經(jīng)網(wǎng)絡(luò)表 示來進行重排序。這樣的候選圖結(jié)構(gòu)可以由一個基 線系統(tǒng)的k 個最優(yōu)的輸出結(jié)構(gòu)組成。當(dāng)將這些結(jié) 構(gòu)整合在一起形成一個圖時，可以提取其中有用的 特征，以便從中進一步預(yù)測出正確的輸出［5］。

近年來，圖神經(jīng)網(wǎng)絡(luò)已被廣泛運用到自然語言 處理的大多數(shù)任務(wù)當(dāng)中。有一系列的工作利用圖神 經(jīng)網(wǎng)絡(luò)對上述幾類任務(wù)中的圖結(jié)構(gòu)進行編碼，從而 更充分地得到相關(guān)表示，能有效地解決相關(guān)問題。本綜述系統(tǒng)性地匯報相關(guān)工作，首先介紹圖神經(jīng)網(wǎng) 絡(luò)的基本概念，然后根據(jù)不同任務(wù)，分別介紹圖網(wǎng)絡(luò) 在自然語言處理中的應(yīng)用。與已有的圖神經(jīng)網(wǎng)絡(luò)綜 述［6-7］相比，本文針對自然語言處理進行詳細闡述。
編輯：lyn