基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)方法

基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)方法

來(lái)源：《指揮控制與仿真》，作者王?？?/p>

摘 要:為將基于離散符號(hào)的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示為機(jī)器更加容易學(xué)習(xí)、處理和應(yīng)用的形式,根據(jù)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)的特點(diǎn),提出一種基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)方法。該方法采用基于元路徑的多層異構(gòu)圖嵌入模型,對(duì)想定場(chǎng)景中的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體及其關(guān)系知識(shí)進(jìn)行表示學(xué)習(xí),將其映射為連續(xù)向量空間中的稠密實(shí)值向量,從而有效揭示兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體之間的全局隱含特征,為大規(guī)模聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)的獲取、融合與推理奠定良好基礎(chǔ)。實(shí)驗(yàn)結(jié)果表明,基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)方法針對(duì)性強(qiáng),對(duì)于評(píng)估指標(biāo)提升較大,為復(fù)雜兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)的表示學(xué)習(xí)提供了可行范例。

關(guān)鍵詞:兵棋;聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí);圖嵌入;知識(shí)表示學(xué)習(xí);元路徑

聯(lián)合作戰(zhàn)態(tài)勢(shì)是聯(lián)合作戰(zhàn)時(shí)空、信息、表征和不確定性等多重復(fù)雜因素綜合作用的結(jié)果,是聯(lián)合作戰(zhàn)復(fù)雜性的外在表現(xiàn)[1]。對(duì)反映聯(lián)合作戰(zhàn)態(tài)勢(shì)的實(shí)體知識(shí)進(jìn)行客觀準(zhǔn)確表征,是研究聯(lián)合作戰(zhàn)態(tài)勢(shì)的基礎(chǔ)和前提,其核心和要點(diǎn)在于描繪聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體之間的復(fù)雜關(guān)聯(lián)關(guān)系[2]。作戰(zhàn)大數(shù)據(jù)是聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)的主要來(lái)源,具有海量、稀疏和結(jié)構(gòu)復(fù)雜等特點(diǎn)[3]。聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)表示是在特定場(chǎng)景范圍內(nèi),針對(duì)聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體和關(guān)系進(jìn)行建模,使得機(jī)器可以學(xué)習(xí)、處理和運(yùn)用各種聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)[4]。傳統(tǒng)基于離散符號(hào)的聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)表示方法善于表征顯性的形式化作戰(zhàn)態(tài)勢(shì)知識(shí),但計(jì)算效率低下,不易融合擴(kuò)展。需要進(jìn)一步深入探索聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)的非形式化表示方法,將聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)表示為機(jī)器易于計(jì)算、學(xué)習(xí)和處理的形式,為智能指揮決策提供堅(jiān)實(shí)的基礎(chǔ)知識(shí)支撐[5]。

聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)是面向聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)中的實(shí)體及其關(guān)系知識(shí)進(jìn)行表示學(xué)習(xí),將聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)中的實(shí)體、屬性及其關(guān)聯(lián)關(guān)系表示為連續(xù)向量空間中的稠密實(shí)值向量,使得機(jī)器可以高效學(xué)習(xí)、處理和運(yùn)用各種聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)。其本質(zhì)是在低維向量空間中對(duì)符號(hào)化的聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體及其關(guān)系語(yǔ)義知識(shí)進(jìn)行向量化重構(gòu),從而提高知識(shí)計(jì)算效率,實(shí)現(xiàn)異構(gòu)信息融合,有效緩解數(shù)據(jù)稀疏帶來(lái)的諸多知識(shí)計(jì)算難題,有效提升聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)獲取、融合、推理的性能[6]。因此,在知識(shí)表示學(xué)習(xí)過程中保證聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)的結(jié)構(gòu)信息以及實(shí)體和關(guān)系的語(yǔ)義描述信息不失真,確保從離散符號(hào)向連續(xù)向量映射的準(zhǔn)確性顯得極為重要。由于聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)的異構(gòu)性特征和層次化特點(diǎn),對(duì)于聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)的表示學(xué)習(xí)主要存在兩方面挑戰(zhàn):一是聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體之間可能存在不同類型的連接關(guān)系,使得聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)難以進(jìn)行統(tǒng)一嵌入表達(dá);二是作為聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體關(guān)系連接服從冪率分布,存在大量擁有少量鄰居節(jié)點(diǎn)的聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體節(jié)點(diǎn),此類實(shí)體節(jié)點(diǎn)難以有效表征。

兵棋作為一種特殊的戰(zhàn)爭(zhēng)模擬系統(tǒng),是研究智能化作戰(zhàn)的重要工具和手段,也是檢驗(yàn)軍事智能技術(shù)和探索軍事智能應(yīng)用的最佳平臺(tái),可為聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)的表示學(xué)習(xí)研究提供了重要依托。本文依托兵棋推演平臺(tái),以兵棋聯(lián)合作戰(zhàn)想定場(chǎng)景中的態(tài)勢(shì)實(shí)體、屬性及其關(guān)系為基礎(chǔ),提出一種基于元路徑的多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)方法,通過設(shè)計(jì)合理的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)元路徑模式,利用兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體豐富的屬性信息和不同實(shí)體類型的多層拓?fù)浣Y(jié)構(gòu)信息,力圖捕捉兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)的多層異構(gòu)網(wǎng)絡(luò)結(jié)構(gòu)信息和實(shí)體語(yǔ)義關(guān)聯(lián)信息,從而有效提升基于離散向量的聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)的表征能力。實(shí)驗(yàn)結(jié)果表明,在聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體關(guān)系推理任務(wù)中,本文提出的算法性能更佳。

1 圖嵌入概述

圖嵌入(Graph Embedding)也稱網(wǎng)絡(luò)嵌入(Network Embedding)或圖表示學(xué)習(xí)(Graph Representation Learning)。其通過將信息網(wǎng)絡(luò)嵌入低維向量空間,實(shí)現(xiàn)網(wǎng)絡(luò)實(shí)體分類、關(guān)系推理和社團(tuán)檢測(cè)等任務(wù)。基于圖嵌入的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)是下游深度學(xué)習(xí)和多關(guān)系型聯(lián)合作戰(zhàn)大數(shù)據(jù)挖掘任務(wù)的基礎(chǔ)。根據(jù)圖的網(wǎng)絡(luò)結(jié)構(gòu)特性不同,目前的圖嵌入模型研究主要集中在同質(zhì)網(wǎng)絡(luò)嵌入、異構(gòu)網(wǎng)絡(luò)嵌入和多層異構(gòu)網(wǎng)絡(luò)嵌入三個(gè)方面。

1.1 同質(zhì)網(wǎng)絡(luò)嵌入

同質(zhì)網(wǎng)絡(luò)(Homogeneous Network)中互相連接的實(shí)體和關(guān)系類型傾向于具有更多的相似性。DeepWalk[7]模型采用無(wú)監(jiān)督特征學(xué)習(xí)技術(shù),通過隨機(jī)游走的方式,從信息網(wǎng)絡(luò)中的某個(gè)節(jié)點(diǎn)開始生成文本序列,然后，采用Skip-Gram模型訓(xùn)練得到網(wǎng)絡(luò)節(jié)點(diǎn)的詞向量。LINE[8]模型為解決大規(guī)模網(wǎng)絡(luò)嵌入問題,將節(jié)點(diǎn)的一階相似性與二階相似性引入目標(biāo)函數(shù),能夠更加靈活地對(duì)信息網(wǎng)絡(luò)的局部結(jié)構(gòu)和全局結(jié)構(gòu)特征進(jìn)行知識(shí)表示學(xué)習(xí)。與DeepWalk模型相比,LINE模型適用范圍更廣,可用于有/無(wú)向圖,以及有/無(wú)權(quán)圖的知識(shí)表示學(xué)習(xí)。node2vec[9]模型靈活定義了節(jié)點(diǎn)網(wǎng)絡(luò)鄰居概念,設(shè)計(jì)了一個(gè)偏置隨機(jī)游走過程,通過綜合考慮深度優(yōu)先和廣度優(yōu)先搜索,實(shí)現(xiàn)了對(duì)鄰居實(shí)體的有效探索,從而學(xué)習(xí)到了更加豐富的實(shí)體知識(shí)表示信息。SDNE[10]模型為應(yīng)對(duì)圖嵌入知識(shí)表示的高度非線性、結(jié)構(gòu)特征保持和網(wǎng)絡(luò)稀疏難題等挑戰(zhàn),采用半監(jiān)督深度學(xué)習(xí)模型,通過設(shè)計(jì)合理的目標(biāo)函數(shù)保留網(wǎng)絡(luò)結(jié)構(gòu)的局部和全局信息,并對(duì)稀疏網(wǎng)絡(luò)具有魯棒性。圖神經(jīng)網(wǎng)絡(luò)(GNN)是一種基于圖結(jié)構(gòu)的深度學(xué)習(xí)模型,其目標(biāo)是學(xué)習(xí)包含鄰居信息的節(jié)點(diǎn)狀態(tài)嵌入向量[11]。GCN[12]模型是一種基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的圖結(jié)構(gòu)數(shù)據(jù)半監(jiān)督學(xué)習(xí)方法,受圖譜卷積局部結(jié)構(gòu)一階相似選擇的啟發(fā),將圖的結(jié)構(gòu)特征和節(jié)點(diǎn)的特征信息共同編碼進(jìn)行知識(shí)表示學(xué)習(xí)。GraphSAGE[13]模型提出了一個(gè)通用的歸納框架,有效利用網(wǎng)絡(luò)節(jié)點(diǎn)的特性信息為以前未見過的實(shí)體節(jié)點(diǎn)生成嵌入向量。與以往為每個(gè)實(shí)體節(jié)點(diǎn)單獨(dú)訓(xùn)練嵌入向量不同的是,GraphSAGE模型提供了一個(gè)通過從實(shí)體節(jié)點(diǎn)的本地鄰居中采樣和聚集特性來(lái)生成嵌入向量的函數(shù)。

1.2 異構(gòu)網(wǎng)絡(luò)嵌入

異構(gòu)網(wǎng)絡(luò)(Heterogeneous Network)相對(duì)于同質(zhì)網(wǎng)絡(luò)而言,網(wǎng)絡(luò)中的實(shí)體節(jié)點(diǎn)或邊具有多種類型。由于異構(gòu)網(wǎng)絡(luò)中實(shí)體節(jié)點(diǎn)和邊類型的多樣性特征,其網(wǎng)絡(luò)特性挖掘和網(wǎng)絡(luò)表示學(xué)習(xí)的難度較大。PTE[14]模型提供了一種用于文本數(shù)據(jù)的半監(jiān)督預(yù)測(cè)性文本嵌入方法。首先將標(biāo)記信息和不同層次的詞共現(xiàn)信息表示為一個(gè)大規(guī)模的異構(gòu)文本網(wǎng)絡(luò),然后將其嵌入到一個(gè)低維向量空間中。PTE模型不僅保留了單詞和文檔的語(yǔ)義相近性,而且對(duì)特定任務(wù)具有很強(qiáng)的預(yù)測(cè)能力。metapath2vec[15]模型首先基于元路徑的隨機(jī)游走方法,形式化構(gòu)造網(wǎng)絡(luò)實(shí)體節(jié)點(diǎn)的異構(gòu)性鄰居,然后利用異構(gòu)Skip-Gram模型進(jìn)行實(shí)體節(jié)點(diǎn)嵌入。metapath2vec++模型則進(jìn)一步通過對(duì)異構(gòu)網(wǎng)絡(luò)的結(jié)構(gòu)和語(yǔ)義相關(guān)性特征進(jìn)行網(wǎng)絡(luò)嵌入學(xué)習(xí)。metapath2vec和metapath2vec++不僅在各種異構(gòu)網(wǎng)絡(luò)挖掘任務(wù)中表現(xiàn)突出,而且還能分辨不同網(wǎng)絡(luò)實(shí)體之間的結(jié)構(gòu)和語(yǔ)義相關(guān)性。HERec[16]模型設(shè)計(jì)了一種基于元路徑的隨機(jī)游走策略來(lái)生成有意義的節(jié)點(diǎn)序列進(jìn)行網(wǎng)絡(luò)嵌入。首先利用一組融合函數(shù)對(duì)學(xué)習(xí)到的節(jié)點(diǎn)嵌入進(jìn)行變換,然后將其集成到擴(kuò)展的矩陣分解模型中,將擴(kuò)展后的矩陣分解模型與融合函數(shù)結(jié)合起來(lái),對(duì)等級(jí)預(yù)測(cè)任務(wù)進(jìn)行聯(lián)合優(yōu)化。

1.3 多層異構(gòu)網(wǎng)絡(luò)嵌入

現(xiàn)實(shí)世界的許多網(wǎng)絡(luò)不僅節(jié)點(diǎn)類型多樣,而且具有多重結(jié)構(gòu),稱之為多層異構(gòu)網(wǎng)絡(luò)(Multiplex Heterogeneous Network)。PMNE[17]模型提供了網(wǎng)絡(luò)聚合、結(jié)果聚合和層間協(xié)同分析三種方法,將多層網(wǎng)絡(luò)映射到連續(xù)向量空間?！熬W(wǎng)絡(luò)聚合”和“結(jié)果聚合”可以在不利用層間交互的情況下,將標(biāo)準(zhǔn)的網(wǎng)絡(luò)嵌入方法應(yīng)用于合并后的圖或每一層,為多層網(wǎng)絡(luò)尋找向量空間?！皩娱g協(xié)同分析”考慮了層間相互作用的影響,能夠?qū)⑷魏螁螌泳W(wǎng)絡(luò)嵌入方法擴(kuò)展為多層網(wǎng)絡(luò)。MVE[18]模型通過投票機(jī)制,設(shè)計(jì)了一種多層網(wǎng)絡(luò)表示學(xué)習(xí)方法。通過在投票過程中引入注意力機(jī)制，對(duì)多視圖的權(quán)重信息進(jìn)行整合,將多層網(wǎng)絡(luò)嵌入到魯棒性最高的單個(gè)協(xié)作嵌入向量中。MNE[19]模型在保持關(guān)系特性的基礎(chǔ)上,結(jié)合不同類型的關(guān)系信息,對(duì)每個(gè)節(jié)點(diǎn)分別提出了一種高維的通用嵌入和一種低維的附加嵌入方法。該模型可以基于統(tǒng)一的網(wǎng)絡(luò)嵌入模型,聯(lián)合學(xué)習(xí)多個(gè)關(guān)系嵌入向量。Mvn2vec[20]模型研究了保存和協(xié)作對(duì)網(wǎng)絡(luò)表示學(xué)習(xí)的影響,探索了同時(shí)建模來(lái)獲得更好的嵌入質(zhì)量的可行性。該模型證實(shí)了保存和協(xié)作對(duì)于多層網(wǎng)絡(luò)嵌入的有效性和重要性。AMHEN模型提出了一個(gè)支持直推學(xué)習(xí)和歸納學(xué)習(xí)的通用框架GATNE和GATNE-I,并將網(wǎng)絡(luò)實(shí)體的屬性考慮在內(nèi)進(jìn)行圖嵌入學(xué)習(xí)。該模型的基本嵌入和屬性嵌入可以在不同類型的實(shí)體關(guān)系中共享,而邊嵌入通過自注意力機(jī)制對(duì)鄰域信息進(jìn)行匯聚計(jì)算。

綜合分析上述四種嵌入模型,多層異構(gòu)網(wǎng)絡(luò)嵌入模型考慮了聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)結(jié)構(gòu)的多層次特征,以及實(shí)體和關(guān)系的類型多樣性特征,更加符合聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體及其關(guān)系的特點(diǎn)。但由于真實(shí)想定場(chǎng)景中聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)圖譜的結(jié)構(gòu)及其元路徑模式相比公開數(shù)據(jù)集而言更加復(fù)雜,僅基于網(wǎng)絡(luò)的結(jié)構(gòu)特征和固定元路徑模式進(jìn)行聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)表示學(xué)習(xí),無(wú)法完全反映聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體及其關(guān)系的復(fù)雜語(yǔ)義描述信息,需要根據(jù)軍事領(lǐng)域知識(shí)的具體特點(diǎn)進(jìn)行針對(duì)性建模。本文以兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜為起點(diǎn),深入分析聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)圖譜的實(shí)體和關(guān)系類型,充分利用實(shí)體屬性描述信息,并結(jié)合自注意力機(jī)制,根據(jù)聯(lián)合作戰(zhàn)體系構(gòu)建內(nèi)容,設(shè)計(jì)了五種不同類型的實(shí)體關(guān)系類型模式,采用圖嵌入模型中的變長(zhǎng)元路徑計(jì)算方法,對(duì)聯(lián)合作戰(zhàn)態(tài)勢(shì)中的實(shí)體及其關(guān)系進(jìn)行知識(shí)表示學(xué)習(xí)。

2 模型定義

定義1:兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜G=(V，E),描述兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)的實(shí)體及其關(guān)聯(lián)關(guān)系。更進(jìn)一步講,是通過作戰(zhàn)態(tài)勢(shì)實(shí)體特征的概念化,以及實(shí)體關(guān)系的語(yǔ)義化對(duì)兵棋聯(lián)合作戰(zhàn)想定場(chǎng)景的態(tài)勢(shì)實(shí)體及其關(guān)系進(jìn)行整體描述,如圖1所示。其中,V={v1，v2，…，vn}表示聯(lián)合作戰(zhàn)態(tài)勢(shì)中的實(shí)體集,vi表示聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體,如各種飛機(jī)類型實(shí)體、目標(biāo)類型實(shí)體等,n表示聯(lián)合作戰(zhàn)態(tài)勢(shì)中實(shí)體的數(shù)量。E={eij}表示實(shí)體之間的關(guān)系集,eij={vi，vj}表示節(jié)點(diǎn)vi和vj間的關(guān)系,權(quán)重wij≥0表示vi和vj間語(yǔ)義關(guān)系的屬性強(qiáng)度。由于兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體間關(guān)系具有明確的指向性,因此兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)圖譜為有向有權(quán)圖,且eij≠eji和wij≠wji。如海軍航空兵對(duì)敵水面艦船實(shí)施火力打擊,由于受環(huán)境、飛機(jī)武器掛載以及艦艇類型等不同因素的影響,不同類型的飛機(jī)對(duì)不同類型艦船的命中概率不同,都能夠通過聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜進(jìn)行整體描述。

圖1 兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜示意圖

定義2:多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜G=(V,E,O,R,A)滿足態(tài)勢(shì)實(shí)體類型映射函數(shù)φ:V→O和關(guān)系類型映射函數(shù)ψ:E→R。其中,O和R分別表示實(shí)體和關(guān)系類型的集合。對(duì)聯(lián)合作戰(zhàn)想定場(chǎng)景中的每一個(gè)態(tài)勢(shì)實(shí)體v∈V和關(guān)系e∈E均屬于某一特定的實(shí)體或關(guān)系類型,即φ(v)∈O和ψ(e)∈R,且|O|+|R|>2。否則,該兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)圖譜是同質(zhì)的。因此,多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)圖譜中的實(shí)體及關(guān)系不再簡(jiǎn)單表示為vi和eij,而是加入了相應(yīng)的類型描述,分別表示為

和

表示多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜中實(shí)體包含的屬性信息集。

定義3:多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜嵌入是給定兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)異構(gòu)實(shí)體知識(shí)圖譜,在不同實(shí)體關(guān)系類型情況下,學(xué)習(xí)不同類型態(tài)勢(shì)實(shí)體在低維連續(xù)向量空間中的實(shí)值嵌入向量,即對(duì)每一種不同的實(shí)體間關(guān)系類型r,通過映射函數(shù)fr:V→

d學(xué)習(xí)實(shí)體集V的低維嵌入向量X∈

|V|×d。其中,d?|V|,Xv表示實(shí)體節(jié)點(diǎn)v的嵌入向量。

3 模型框架

如圖2所示，本節(jié)重點(diǎn)介紹基于元路徑的多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜嵌入模型框架。該模型框架主要由兩部分組成,分別是兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)模型和異構(gòu)Skip-Gram模型。前者通過匯聚生成態(tài)勢(shì)實(shí)體的低維嵌入向量捕捉聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)信息、實(shí)體屬性信息和實(shí)體關(guān)系信息,其結(jié)果作為異構(gòu)Skip-Gram模型的輸入學(xué)習(xí)捕捉態(tài)勢(shì)實(shí)體知識(shí)的語(yǔ)義信息。

圖2 多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體
知識(shí)圖譜嵌入模型框架

兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)模型主要由三部分組成,分別是基本嵌入向量生成模型、實(shí)體節(jié)點(diǎn)屬性向量生成模型和邊嵌入向量生成模型。三個(gè)模型的輸出結(jié)果匯聚生成聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體嵌入向量。對(duì)于基本嵌入向量生成模型,沒有考慮不同類型實(shí)體以及不同類型實(shí)體關(guān)系對(duì)生成實(shí)體節(jié)點(diǎn)嵌入向量的影響,只考慮了多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜的結(jié)構(gòu)特征,采用隨機(jī)游走方法直接生成每個(gè)實(shí)體節(jié)點(diǎn)vi的基本嵌入向量bi。當(dāng)進(jìn)一步考慮實(shí)體節(jié)點(diǎn)的屬性對(duì)生成實(shí)體嵌入向量的影響時(shí),實(shí)體嵌入向量是相應(yīng)實(shí)體類型z=φ(vi)的函數(shù),表示為bi=hz(xi)。值得注意的是,對(duì)于不同類型的實(shí)體節(jié)點(diǎn)vi,其屬性向量xi可能具有不同的維度。

對(duì)于每個(gè)實(shí)體節(jié)點(diǎn)vi在實(shí)體關(guān)系類型r情況下的k階邊嵌入向量,由實(shí)體節(jié)點(diǎn)vi鄰居的邊嵌入向量聚合而成,表示為

(1)

其中,Ni,r表示與實(shí)體節(jié)點(diǎn)vi關(guān)系類型為r的鄰居節(jié)點(diǎn)集合。模型中,每個(gè)關(guān)系類型為r的實(shí)體節(jié)點(diǎn)vi初始邊嵌入向量為實(shí)體屬性xi的函數(shù),表示為

其中,gz,r是關(guān)系類型為r的實(shí)體節(jié)點(diǎn)vi的特征轉(zhuǎn)換函數(shù),邊嵌入向量的聚合函數(shù)采用平均聚合而成。因此,公式(1)可進(jìn)一步表示為

(2)

其中,σ(x)=1/(1+exp(-x))為Sigmoid激活函數(shù)。將實(shí)體節(jié)點(diǎn)vi的所有K階邊嵌入向量

表示為ui,r。

最終,聚合成實(shí)體節(jié)點(diǎn)vi的s×m維邊嵌入向量Ui：

Ui=(ui，1，ui，2，…，ui，m)

(3)

其中,s表示邊嵌入向量的維度,m表示與實(shí)體節(jié)點(diǎn)vi連接的邊類型的數(shù)量。

根據(jù)以上分析,計(jì)算匯聚后的邊類型為r的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體節(jié)點(diǎn)vi的嵌入向量vi，r,可得

(4)

其中,bi表示實(shí)體節(jié)點(diǎn)vi的基本嵌入向量。αr為超參數(shù),表示在總的實(shí)體嵌入向量中邊嵌入向量的重要性。

表示需要訓(xùn)練的變換矩陣。由于自注意力機(jī)制有利于捕捉影響力更強(qiáng)的邊類型[21]，因此,本文采用自注意力機(jī)制計(jì)算r型邊的實(shí)體節(jié)點(diǎn)嵌入向量Ui的線性向量組合系數(shù)ai，r∈Rm:

(5)

其中,wr和Wr分別表示r類型邊的da維和da×s維訓(xùn)練參數(shù),上標(biāo)T表示向量或矩陣的轉(zhuǎn)置運(yùn)算。由此,可以進(jìn)一步得到

(6)

其中,λp表示ai,r的第p個(gè)元素,計(jì)算方法為

(7)

對(duì)于實(shí)體節(jié)點(diǎn)vi的屬性向量生成項(xiàng),βr為超參數(shù),Dz表示實(shí)體類型為z的節(jié)點(diǎn)vi的特征轉(zhuǎn)換矩陣。

模型首先采用基于元路徑的隨機(jī)游走方法匯聚生成兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)的節(jié)點(diǎn)序列,然后，采用異構(gòu)Skip-Gram模型[22]學(xué)習(xí)序列中實(shí)體知識(shí)節(jié)點(diǎn)的嵌入向量。具體而言,從邊類型r的角度描述兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)圖譜時(shí),生成子圖Gr=(V,Er,A),進(jìn)而可以從中提取邊類型為r的元路徑模式Γ:V1→V2→…→Vt→…→Vl。其中,游走的元路徑模式Γ通過預(yù)先定義完成,l表示該元路徑模式Γ的長(zhǎng)度。然而,由于兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體的關(guān)系復(fù)雜性特征,本節(jié)基于聯(lián)合作戰(zhàn)體系的構(gòu)建內(nèi)容,將兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體間關(guān)系定義為偵察情報(bào)關(guān)系、指揮控制關(guān)系、聯(lián)合打擊關(guān)系、信息保障關(guān)系和后裝保障關(guān)系5類。然而,在這些不同類型的聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體關(guān)系中,每種關(guān)系的實(shí)體關(guān)聯(lián)元路徑長(zhǎng)度并不一致。以聯(lián)合打擊關(guān)系元路徑模式為例,空中飛行中隊(duì)通過選擇的作戰(zhàn)飛機(jī)類型及其掛載類別,選擇掛載相應(yīng)的攻擊性武器,并通過空空武器殺傷指數(shù)定義表對(duì)相應(yīng)空中飛行目標(biāo)類別的機(jī)型實(shí)施打擊。但對(duì)后裝保障關(guān)系元路徑模式,要對(duì)攻擊性武器實(shí)施保障,首先應(yīng)確定保障的后勤物資類型,然后實(shí)施相應(yīng)的保障。因此,本節(jié)在每種關(guān)系內(nèi)部采用變長(zhǎng)元路徑模式描述實(shí)體之間的語(yǔ)義聯(lián)系?；隈R爾科夫過程,在步驟t時(shí)基于元路徑模式隨機(jī)游走的轉(zhuǎn)移概率定義為

(8)

其中,vi∈Vt,Ni,r表示與實(shí)體節(jié)點(diǎn)vi關(guān)系類型為r的鄰居?；谠窂降碾S機(jī)游走策略可以確保不同類型節(jié)點(diǎn)之間的語(yǔ)義聯(lián)系,從而將更加合適的實(shí)體節(jié)點(diǎn)序列輸入異構(gòu)Skip-Gram模型,增強(qiáng)基于語(yǔ)義信息的嵌入向量生成效果。假設(shè)在類型為r邊上長(zhǎng)度為l的隨機(jī)游走路徑為P=(vp1,…,vpl)。由此可得,該路徑上的邊(vpt-1,vpt)∈Er(t=2…l)所處的語(yǔ)義上下文為C={vpk|vpk∈P,|k-t|≤c,t≠k}。其中,c為上下文窗口半徑。

因此,在給定實(shí)體節(jié)點(diǎn)vi及其路徑語(yǔ)義上下文C情況下,多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜嵌入模型的目標(biāo)是最小化以下負(fù)對(duì)數(shù)似然函數(shù):

-logPθ({vj|vj∈C}|vi)=∑vj∈C-logPθ(vj|vi)

(9)

其中,θ表示模型相關(guān)參數(shù)。本章采用異構(gòu)softmax函數(shù)對(duì)實(shí)體vi的節(jié)點(diǎn)類型進(jìn)行歸一化處理,然后，在給定實(shí)體節(jié)點(diǎn)vi情況下，計(jì)算游走到實(shí)體節(jié)點(diǎn)vj的轉(zhuǎn)移概率,可得

(10)

其中,vj∈Vt,ck表示實(shí)體節(jié)點(diǎn)vk的上下文向量,vi表示邊類型為r的實(shí)體節(jié)點(diǎn)vi匯聚后的嵌入向量。

最后,采用異構(gòu)負(fù)采樣方法計(jì)算每個(gè)實(shí)體節(jié)點(diǎn)對(duì)的目標(biāo)函數(shù)-log?Pθ(vj|vi)可得

(11)

其中,L為訓(xùn)練樣本中的負(fù)樣本數(shù)量,vk由實(shí)體節(jié)點(diǎn)vj對(duì)應(yīng)集合Vt中定義的噪聲分布中隨機(jī)選取。模型算法總結(jié)如表1所示。

4 實(shí)驗(yàn)分析

首先介紹實(shí)驗(yàn)過程中采用的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)數(shù)據(jù)集及相關(guān)基線模型,然后根據(jù)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體關(guān)系，推理任務(wù)評(píng)估算法性能,最后通過模型參數(shù)的敏感性分析討論模型的魯棒性。

1)數(shù)據(jù)集

本節(jié)聚焦多模態(tài)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)獲取任務(wù),采用多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜作為知識(shí)庫(kù)。知識(shí)庫(kù)中包括兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)相關(guān)的人員、裝備、設(shè)施、目標(biāo)、自然環(huán)境和作戰(zhàn)能力等類型實(shí)體及其屬性信息,以及基于聯(lián)合作戰(zhàn)體系內(nèi)容視角的不同態(tài)勢(shì)實(shí)體間關(guān)系,其中包括情報(bào)偵察關(guān)系、指揮控制關(guān)系、聯(lián)合打擊關(guān)系、信息保障關(guān)系和后裝保障關(guān)系。以指揮控制關(guān)系類型為例,本節(jié)根據(jù)聯(lián)合作戰(zhàn)體系構(gòu)建內(nèi)容基本理論,貫穿戰(zhàn)略、戰(zhàn)役、戰(zhàn)術(shù)各層級(jí),從作戰(zhàn)集團(tuán)到聯(lián)合作戰(zhàn)指揮機(jī)構(gòu),再到作戰(zhàn)任務(wù)執(zhí)行部隊(duì),以及具體的作戰(zhàn)行動(dòng)人員或裝備,設(shè)計(jì)構(gòu)建完整的聯(lián)合作戰(zhàn)指揮控制關(guān)系類型元路徑模式。該元路徑模式不再詳細(xì)區(qū)分隸屬、配屬、所屬、指揮等細(xì)粒度關(guān)系類型,而是聚焦于聯(lián)合戰(zhàn)役級(jí)指揮控制相關(guān)態(tài)勢(shì)要素,將該元路徑上相關(guān)的部隊(duì)、人員、裝備等實(shí)體之間的序列關(guān)系均定義為指揮控制關(guān)系。該方法既反映了聯(lián)合作戰(zhàn)體系構(gòu)建的基本特征,同時(shí)減少了態(tài)勢(shì)實(shí)體間的關(guān)系類型數(shù)量,降低了模型計(jì)算的復(fù)雜度,提高了模型的語(yǔ)義表達(dá)性能。

表1 模型算法

同時(shí),為增強(qiáng)本節(jié)基于元路徑的多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜嵌入模型算法的性能比較優(yōu)勢(shì),本文還采用公開的亞馬遜電子類產(chǎn)品數(shù)據(jù)集進(jìn)行對(duì)比分析[23]。該數(shù)據(jù)集中包含了電子類產(chǎn)品的屬性信息、商品共現(xiàn)關(guān)系信息和同時(shí)購(gòu)買關(guān)系信息。其中,商品的屬性信息主要包括價(jià)格、品牌和種類等。數(shù)據(jù)集的統(tǒng)計(jì)情況如表2所示。

表2 數(shù)據(jù)集統(tǒng)計(jì)情況

2)基線模型及參數(shù)設(shè)定

根據(jù)不同的網(wǎng)絡(luò)結(jié)構(gòu)特征,分別選取經(jīng)典的圖嵌入模型作為基線模型進(jìn)行性能比較分析。其中,在異構(gòu)網(wǎng)絡(luò)中選取了metapath2vec模型,在多層異構(gòu)網(wǎng)絡(luò)中選取了GATNE-I模型。需要說(shuō)明的是,為增強(qiáng)模型比較,在所有模型中本節(jié)設(shè)定的最終嵌入向量維度為d=200,邊嵌入向量維度為s=10,每個(gè)節(jié)點(diǎn)的游走次數(shù)設(shè)定為20,游走長(zhǎng)度根據(jù)不同的元路徑模式長(zhǎng)度而定,實(shí)體節(jié)點(diǎn)語(yǔ)義上下文窗口半徑c=5,每個(gè)正訓(xùn)練樣本的負(fù)樣本數(shù)設(shè)置為L(zhǎng)=5,最大迭代次數(shù)為50,模型在每個(gè)訓(xùn)練過程中停止的條件為驗(yàn)證集上的ROC-AUC在一個(gè)訓(xùn)練過程中沒有改善,每種關(guān)系類型r的超參數(shù)設(shè)置為αr=1和βr=1。模型采用TensorFlow中的自適應(yīng)矩估計(jì)(Adam Optimizer)進(jìn)行優(yōu)化,學(xué)習(xí)率設(shè)定為η=0.001。

3)模型性能

實(shí)體關(guān)系推理是一種用于發(fā)現(xiàn)實(shí)體間潛在關(guān)系的常見方法,多用于知識(shí)圖譜補(bǔ)全。聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體關(guān)系推理任務(wù)主要是基于知識(shí)圖譜中已有的態(tài)勢(shì)實(shí)體關(guān)系,推理預(yù)測(cè)可能存在的態(tài)勢(shì)實(shí)體關(guān)系。在實(shí)驗(yàn)過程中,隱藏多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜中的部分實(shí)體關(guān)系,對(duì)剩余作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜中的實(shí)體及其關(guān)系進(jìn)行訓(xùn)練。實(shí)驗(yàn)分別構(gòu)建了訓(xùn)練集、驗(yàn)證集和測(cè)試集。訓(xùn)練集用于模型參數(shù)訓(xùn)練,驗(yàn)證集用于超參數(shù)調(diào)優(yōu)和模型訓(xùn)練中止,測(cè)試集用于評(píng)估模型性能且在已調(diào)優(yōu)的超參數(shù)下只運(yùn)行一次。驗(yàn)證集和測(cè)試集分別包含了按10%隨機(jī)選擇的正邊。對(duì)于每種邊的類型,隨機(jī)選擇的負(fù)邊數(shù)量相等。

在性能分析過程中,這里采用常見的評(píng)估標(biāo)準(zhǔn),如ROC-AUC、PR-AUC和F1分?jǐn)?shù)。為避免閾值產(chǎn)生的影響,假設(shè)測(cè)試集中隱藏的邊數(shù)量是給定的,相關(guān)指標(biāo)在選定的邊類型中均勻分布。兩個(gè)數(shù)據(jù)集在三個(gè)評(píng)估標(biāo)準(zhǔn)下的定量實(shí)驗(yàn)結(jié)果如表3所示。實(shí)驗(yàn)結(jié)果顯示,在亞馬遜公開數(shù)據(jù)集上,這里提出的模型性能與經(jīng)典模型差別不大,F1分?jǐn)?shù)甚至低于metapath2vec模型。其主要原因在于,亞馬遜數(shù)據(jù)集實(shí)體類型和關(guān)系類型相比較而言簡(jiǎn)單,本節(jié)提出的模型優(yōu)勢(shì)沒有充分體現(xiàn)。值得注意的是,三種經(jīng)典圖嵌入模型算法在兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)數(shù)據(jù)集上的性能下降明顯,其主要原因在于聯(lián)合作戰(zhàn)態(tài)勢(shì)數(shù)據(jù)集中的實(shí)體及其關(guān)系類型更為多樣,元路徑模式更為復(fù)雜。相比較三種經(jīng)典圖嵌入模型算法,本節(jié)提出的模型性能提升較為明顯,尤其在兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)數(shù)據(jù)集上的表現(xiàn)更為突出,相比較GATNE-I模型,ROC-AUC、PR-AUC和F1分?jǐn)?shù)分別提升5.63%、1.82%和1.85%。這說(shuō)明,兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體及其關(guān)系相比電商領(lǐng)域?qū)嶓w及其關(guān)系更為復(fù)雜,需要從具體應(yīng)用場(chǎng)景出發(fā),針對(duì)領(lǐng)域?qū)嶋H特點(diǎn)和領(lǐng)域數(shù)據(jù)集中的多關(guān)系型數(shù)據(jù)不同的網(wǎng)絡(luò)結(jié)構(gòu)特征和實(shí)體間的語(yǔ)義聯(lián)系,設(shè)計(jì)更為適應(yīng)的元路徑模式,從而提高兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)表示學(xué)習(xí)模型的性能。

表3 不同模型在數(shù)據(jù)集上的性能比較

接下來(lái)考察多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜嵌入模型中的實(shí)體嵌入向量維度d以及邊嵌入向量維度s在聯(lián)合作戰(zhàn)態(tài)勢(shì)數(shù)據(jù)集上相對(duì)于指標(biāo)ROC-AUC的敏感性。由圖3的實(shí)驗(yàn)結(jié)果可知,相比較模型中的默認(rèn)設(shè)置實(shí)體嵌入向量維度d=200和邊嵌入向量維度為s=10而言,ROC-AUC曲線隨著維度變化的波動(dòng)幅度較小。由此可以得出結(jié)論,本節(jié)模型在較大的基本嵌入或邊嵌入維度范圍內(nèi),性能相對(duì)穩(wěn)定,魯棒性較好,僅當(dāng)基本嵌入或邊嵌入維度太小或太大時(shí)性能才會(huì)出現(xiàn)小幅下降。

圖3 不同基本嵌入或邊嵌入維度對(duì)模型性能的影響

5 結(jié)束語(yǔ)

本文針對(duì)多源異構(gòu)聯(lián)合作戰(zhàn)態(tài)勢(shì)信息的復(fù)雜性特點(diǎn),依托兵棋推演平臺(tái),以兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)為研究對(duì)象,以兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜為研究起點(diǎn),聚焦兵棋聯(lián)合作戰(zhàn)想定場(chǎng)景中多層異構(gòu)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)嵌入問題,基于聯(lián)合作戰(zhàn)體系構(gòu)建基本理論,通過合理設(shè)計(jì)了實(shí)體間語(yǔ)義聯(lián)系的元路徑模式,提出了基于元路徑的兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜嵌入模型,將作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)轉(zhuǎn)化為更加適合機(jī)器學(xué)習(xí)和處理的向量形式,實(shí)現(xiàn)了對(duì)兵棋聯(lián)合作戰(zhàn)態(tài)勢(shì)實(shí)體知識(shí)圖譜結(jié)構(gòu)特征和作戰(zhàn)態(tài)勢(shì)實(shí)體間語(yǔ)義關(guān)系特征的有效捕捉,為大規(guī)模聯(lián)合作戰(zhàn)態(tài)勢(shì)知識(shí)的智能獲取和推理奠定良好基礎(chǔ)。

審核編輯：符乾江