知識圖譜——技術(shù)與行業(yè)應(yīng)用

從一開始的Google搜索，到現(xiàn)在的聊天機(jī)器人、大數(shù)據(jù)風(fēng)控、證券投資、智能醫(yī)療、自適應(yīng)教育、推薦系統(tǒng)，無一不跟知識圖譜相關(guān)。

隨著移動互聯(lián)網(wǎng)的發(fā)展，萬物互聯(lián)成為了可能，這種互聯(lián)所產(chǎn)生的數(shù)據(jù)也在爆發(fā)式地增長，而且這些數(shù)據(jù)恰好可以作為分析關(guān)系的有效原料。如果說以往的智能分析專注在每一個個體上，在移動互聯(lián)網(wǎng)時代則除了個體，這種個體之間的關(guān)系也必然成為我們需要深入分析的很重要一部分。 在一項(xiàng)任務(wù)中，只要有關(guān)系分析的需求，知識圖譜就“有可能”派的上用場。

知識圖譜的表示

知識圖譜應(yīng)用的前提是已經(jīng)構(gòu)建好了知識圖譜，也可以把它認(rèn)為是一個知識庫。這也是為什么它可以用來回答一些搜索相關(guān)問題的原因，比如在Google搜索引擎里輸入“Who is the wife of Bill Gates?”，我們直接可以得到答案-“Melinda Gates”。這是因?yàn)槲覀冊谙到y(tǒng)層面上已經(jīng)創(chuàng)建好了一個包含“Bill Gates”和“Melinda Gates”的實(shí)體以及他倆之間關(guān)系的知識庫。所以，當(dāng)我們執(zhí)行搜索的時候，就可以通過關(guān)鍵詞提?。?Bill Gates", "Melinda Gates", "wife"）以及知識庫上的匹配可以直接獲得最終的答案。這種搜索方式跟傳統(tǒng)的搜索引擎是不一樣的，一個傳統(tǒng)的搜索引擎它返回的是網(wǎng)頁、而不是最終的答案，所以就多了一層用戶自己篩選并過濾信息的過程。

在現(xiàn)實(shí)世界中，實(shí)體和關(guān)系也會擁有各自的屬性，比如人可以有“姓名”和“年齡”。當(dāng)一個知識圖譜擁有屬性時，我們可以用屬性圖（Property Graph）來表示。下面的圖表示一個簡單的屬性圖。李明和李飛是父子關(guān)系，并且李明擁有一個138開頭的電話號，這個電話號開通時間是2018年，其中2018年就可以作為關(guān)系的屬性。類似的，李明本人也帶有一些屬性值比如年齡為25歲、職位是總經(jīng)理等。

這種屬性圖的表達(dá)很貼近現(xiàn)實(shí)生活中的場景，也可以很好地描述業(yè)務(wù)中所包含的邏輯。除了屬性圖，知識圖譜也可以用RDF來表示，它是由很多的三元組（Triples）來組成。RDF在設(shè)計(jì)上的主要特點(diǎn)是易于發(fā)布和分享數(shù)據(jù)，但不支持實(shí)體或關(guān)系擁有屬性，如果非要加上屬性，則在設(shè)計(jì)上需要做一些修改。目前來看，RDF主要還是用于學(xué)術(shù)的場景，在工業(yè)界我們更多的還是采用圖數(shù)據(jù)庫（比如用來存儲屬性圖）的方式。感興趣的讀者可以參考RDF的相關(guān)文獻(xiàn)，在文本里不多做解釋。

知識抽取

知識圖譜的構(gòu)建是后續(xù)應(yīng)用的基礎(chǔ)，而且構(gòu)建的前提是需要把數(shù)據(jù)從不同的數(shù)據(jù)源中抽取出來。對于垂直領(lǐng)域的知識圖譜來說，它們的數(shù)據(jù)源主要來自兩種渠道：一種是業(yè)務(wù)本身的數(shù)據(jù)，這部分?jǐn)?shù)據(jù)通常包含在公司內(nèi)的數(shù)據(jù)庫表并以結(jié)構(gòu)化的方式存儲；另一種是網(wǎng)絡(luò)上公開、抓取的數(shù)據(jù)，這些數(shù)據(jù)通常是以網(wǎng)頁的形式存在所以是非結(jié)構(gòu)化的數(shù)據(jù)。

前者一般只需要簡單預(yù)處理即可以作為后續(xù)AI系統(tǒng)的輸入，但后者一般需要借助于自然語言處理等技術(shù)來提取出結(jié)構(gòu)化信息。比如在上面的搜索例子里，Bill Gates和Malinda Gate的關(guān)系就可以從非結(jié)構(gòu)化數(shù)據(jù)中提煉出來，比如維基百科等數(shù)據(jù)源。

信息抽取的難點(diǎn)在于處理非結(jié)構(gòu)化數(shù)據(jù)。在下面的圖中，我們給出了一個實(shí)例。左邊是一段非結(jié)構(gòu)化的英文文本，右邊是從這些文本中抽取出來的實(shí)體和關(guān)系。在構(gòu)建類似的圖譜過程當(dāng)中，主要涉及以下幾個方面的自然語言處理技術(shù)：

a. 實(shí)體命名識別（Name Entity Recognition）

b. 關(guān)系抽?。≧elation Extraction）

c. 實(shí)體統(tǒng)一（Entity Resolution）

d. 指代消解（Coreference Resolution）

知識圖譜的存儲

知識圖譜主要有兩種存儲方式：一種是基于RDF的存儲；另一種是基于圖數(shù)據(jù)庫的存儲。它們之間的區(qū)別如下圖所示。RDF一個重要的設(shè)計(jì)原則是數(shù)據(jù)的易發(fā)布以及共享，圖數(shù)據(jù)庫則把重點(diǎn)放在了高效的圖查詢和搜索上。其次，RDF以三元組的方式來存儲數(shù)據(jù)而且不包含屬性信息，但圖數(shù)據(jù)庫一般以屬性圖為基本的表示形式，所以實(shí)體和關(guān)系可以包含屬性，這就意味著更容易表達(dá)現(xiàn)實(shí)的業(yè)務(wù)場景。

根據(jù)最新的統(tǒng)計(jì)（2018年上半年），圖數(shù)據(jù)庫仍然是增長最快的存儲系統(tǒng)。相反，關(guān)系型數(shù)據(jù)庫的增長基本保持在一個穩(wěn)定的水平。同時，我們也列出了常用的圖數(shù)據(jù)庫系統(tǒng)以及他們最新使用情況的排名。 其中Neo4j系統(tǒng)目前仍是使用率最高的圖數(shù)據(jù)庫，它擁有活躍的社區(qū)，而且系統(tǒng)本身的查詢效率高，但唯一的不足就是不支持準(zhǔn)分布式。相反，OrientDB和JanusGraph（原Titan）支持分布式，但這些系統(tǒng)相對較新，社區(qū)不如Neo4j活躍，這也就意味著使用過程當(dāng)中不可避免地會遇到一些刺手的問題。如果選擇使用RDF的存儲系統(tǒng)，Jena或許一個比較不錯的選擇。

知識圖譜在其他行業(yè)中的應(yīng)用

除了金融領(lǐng)域，知識圖譜的應(yīng)用可以涉及到很多其他的行業(yè)，包括醫(yī)療、教育、證券投資、推薦等等。其實(shí)，只要有關(guān)系存在，則有知識圖譜可發(fā)揮價(jià)值的地方。 在這里簡單舉幾個垂直行業(yè)中的應(yīng)用。

比如對于教育行業(yè)，我們經(jīng)常談?wù)搨€性化教育、因材施教的理念。其核心在于理解學(xué)生當(dāng)前的知識體系，而且這種知識體系依賴于我們所獲取到的數(shù)據(jù)比如交互數(shù)據(jù)、評測數(shù)據(jù)、互動數(shù)據(jù)等等。為了分析學(xué)習(xí)路徑以及知識結(jié)構(gòu)，我們則需要針對于一個領(lǐng)域的概念知識圖譜，簡單來講就是概念拓?fù)浣Y(jié)構(gòu)。在下面的圖中，我們給出了一個非常簡單的概念圖譜：比如為了學(xué)習(xí)邏輯回歸則需要先理解線性回歸；為了學(xué)習(xí)CNN，得對神經(jīng)網(wǎng)絡(luò)有所理解等等。所有對學(xué)生的評測、互動分析都離不開概念圖譜這個底層的數(shù)據(jù)。

在證券領(lǐng)域，我們經(jīng)常會關(guān)心比如“一個事件發(fā)生了，對哪些公司產(chǎn)生什么樣的影響？” 比如有一個負(fù)面消息是關(guān)于公司1的高管，而且我們知道公司1和公司2有種很密切的合作關(guān)系，公司2有個主營產(chǎn)品是由公司3提供的原料基礎(chǔ)上做出來的。

其實(shí)有了這樣的一個知識圖譜，我們很容易回答哪些公司有可能會被這次的負(fù)面事件所影響。當(dāng)然，僅僅是“有可能”，具體會不會有強(qiáng)相關(guān)性必須由數(shù)據(jù)來驗(yàn)證。所以在這里，知識圖譜的好處就是把我們所需要關(guān)注的范圍很快給我們?nèi)Χ?。接下來的問題會更復(fù)雜一些，比如既然我們知道公司3有可能被這次事件所影響，那具體影響程度有多大？ 對于這個問題，光靠知識圖譜是很難回答的，必須要有一個影響模型、以及需要一些歷史數(shù)據(jù)才能在知識圖譜中做進(jìn)一步推理以及計(jì)算。

實(shí)踐上的幾點(diǎn)建議

首先，知識圖譜是一個比較新的工具，它的主要作用還是在于分析關(guān)系，尤其是深度的關(guān)系。所以在業(yè)務(wù)上，首先要確保它的必要性，其實(shí)很多問題可以用非知識圖譜的方式來解決。

知識圖譜領(lǐng)域一個最重要的話題是知識的推理。 而且知識的推理是走向強(qiáng)人工智能的必經(jīng)之路。但很遺憾的，目前很多語義網(wǎng)絡(luò)的角度討論的推理技術(shù)（比如基于深度學(xué)習(xí)，概率統(tǒng)計(jì)）很難在實(shí)際的垂直應(yīng)用中落地。其實(shí)目前最有效的方式還是基于一些規(guī)則的方法論，除非我們有非常龐大的數(shù)據(jù)集。

最后，還是要強(qiáng)調(diào)一點(diǎn)，知識圖譜工程本身還是業(yè)務(wù)為重心，以數(shù)據(jù)為中心。不要低估業(yè)務(wù)和數(shù)據(jù)的重要性。

總之知識圖譜是一個既充滿挑戰(zhàn)而且非常有趣的領(lǐng)域。只要有正確的應(yīng)用場景，對于知識圖譜所能發(fā)揮的價(jià)值還是可以期待的。我相信在未來不到2，3年時間里，知識圖譜技術(shù)會普及到各個領(lǐng)域當(dāng)中。

審核編輯 黃昊宇