基于AI的兵棋類模擬開發(fā)項(xiàng)目

摘要：本文介紹了一項(xiàng)旨在為兵棋類模擬開發(fā)基于AI的強(qiáng)大人工對手的項(xiàng)目。本文提供了兩種方法。第一種方法主要基于對制定可靠戰(zhàn)術(shù)所必需的復(fù)雜知識進(jìn)行漸進(jìn)式主動學(xué)習(xí)方法，但這需要對該領(lǐng)域知識有深入了解的高水平教練。

第二種方法是嘗試將整個軍隊(duì)各層級的決策制定過程建模為某種形式的復(fù)雜的知識密集型問題解決過程。后續(xù)工作將研究綜合運(yùn)用上述方法的可能性，以及其他方法，例如基于案例的推理等。

目的

本項(xiàng)目的目的是在計(jì)算機(jī)兵棋嘗試一系列AI方法，這些兵棋以一定的歷史真實(shí)感模擬了前幾個世紀(jì)的軍事戰(zhàn)術(shù)。我們的主要動機(jī)是檢驗(yàn)并改進(jìn)這些AI技術(shù)。而在此過程中，一些兵棋也可以獲得高質(zhì)量的人工對手。

戰(zhàn)略兵棋與國際象棋

到目前為止，我們的研究將重點(diǎn)放在非常成熟的模擬拿破侖時期重要戰(zhàn)斗的商業(yè)兵棋上。這款兵棋有非常強(qiáng)大的對陣員社區(qū)，因此當(dāng)我們的系統(tǒng)準(zhǔn)備就緒時，我們可以邀請一些外部專家對其進(jìn)行測試。此外，在研究的第一階段，為檢驗(yàn)一些想法，特別是SOAR的使用，我們還使用了另一款由UPMC學(xué)員設(shè)計(jì)的相對簡單的兵棋，該兵棋在許多方面與拿破侖兵棋相似，但側(cè)重于中世紀(jì)戰(zhàn)術(shù)。

我們不打算詳細(xì)討論這兩款兵棋的規(guī)則，而是通過強(qiáng)調(diào)它們與經(jīng)典國際象棋的差異性來說明兵棋的基本理念。和國際象棋一樣，每個對陣員在沖突中推演一方。戰(zhàn)場用棋盤表示。對陣員根據(jù)一系列規(guī)則在棋盤上移動棋子，輪流進(jìn)行推演。與國際象棋相比，沒處差異都可被視作復(fù)雜性的增加。

我們使用的兵棋棋盤由六角格覆蓋而非正方形。這使得機(jī)動模式更加復(fù)雜（每個位置有六個鄰居）。更重要地，國際象棋棋盤上只有64個方格，而我們使用的兵棋中包含數(shù)千個六角格。

每個六角格除了位置外，還由一系列參數(shù)定義，例如地形類型（森林、平原。。。）、海拔高度等，這些參數(shù)反過來會影響單位的機(jī)動或戰(zhàn)斗能力。

每個單位都有若干特點(diǎn)，這會影響其機(jī)動、戰(zhàn)斗能力以及質(zhì)量、疲勞和組織等。其中一些特征（例如單位配置），可被視作影響單位能力（機(jī)動或戰(zhàn)斗等）的單位參數(shù)。

單位按級別組織（例如、軍、軍團(tuán)、師、旅等）。根據(jù)軍隊(duì)凝聚力要求，屬于同一級別的單位互相戰(zhàn)斗。每個回合分為若干階段，每個階段分配不同活動類型，例如機(jī)動、遠(yuǎn)程射擊等。

戰(zhàn)斗本身的建模相對復(fù)雜：包括遠(yuǎn)程射擊（步兵使用滑膛槍或者火炮從遠(yuǎn)處射擊）和近戰(zhàn)（徒手格斗）。戰(zhàn)斗解決方法需要考慮許多參數(shù)，包括各方的規(guī)模、素質(zhì)、狀態(tài)和疲勞度等。它還包含隨機(jī)因素，因此結(jié)果幾乎永遠(yuǎn)無法保證。

在特定時間內(nèi)得分最高的一方獲演勝。攻占（或成功防守）重要位置，以及使敵方單位失去戰(zhàn)斗力，即可獲得分?jǐn)?shù)。

從計(jì)算視角來開，我兵棋與國際象棋更顯著的差異在于，各回合每個單位都可以活動。這與國際象棋截然不同，在國際象棋中各方選擇一枚獨(dú)特的棋子移動。這最終導(dǎo)致兵棋的復(fù)雜性大大增加。

如果有p個單位，每個單位可能采取m種行動，則國際象棋來的分支因素是p.m，而兵棋是mp。除了爆炸性的復(fù)雜性，這種不同的設(shè)置方式具有以下優(yōu)勢：讓模擬更接近歷史，或者更接近于人類代理的模擬。軍隊(duì)單位確實(shí)在戰(zhàn)場上以相似方式機(jī)動，因此如果擔(dān)心歷史合理性，那么順序行動（如國際象棋）是不可能的。

因此，我們可以設(shè)想通過盲搜方法將國際象棋下到一定水平，當(dāng)該方法對于兵棋而言是難以想象的，因?yàn)樵趍=20，p=100的情況下，即使得出下一回合的所有可能狀態(tài)都是不可能的。因此與國際象棋相比，對于大多數(shù)真正的人工智能問題來說，一切都取決于系統(tǒng)學(xué)習(xí)的或者為系統(tǒng)提供的知識的質(zhì)量。

主動學(xué)習(xí)方法

我們嘗試的第一種方法是對背景知識要求最低的方法。我們的想法是從模擬小規(guī)模對抗實(shí)現(xiàn)簡單目標(biāo)開始，以便個體單位學(xué)習(xí)一些基本知識，然后循序漸進(jìn)，通過模擬更復(fù)雜的態(tài)勢學(xué)習(xí)更加復(fù)雜的知識。我們的第一種學(xué)習(xí)方法是基于基因的規(guī)則庫學(xué)習(xí)。

我們嘗試了不同設(shè)置，一些僅使用基本的感知信息（除了單位目標(biāo)，還有周圍環(huán)境的信息，包括敵方單位的存在），一些則以基因代碼方式體現(xiàn)了一些中間概念，比如觀察到的當(dāng)?shù)乇Ρ龋ㄖ苯芋w現(xiàn)威脅概念）。在這些初始階段完成之后，可通過讓單位在更大的編隊(duì)內(nèi)在復(fù)雜性不斷增加的“指導(dǎo)性想定中”發(fā)揮作用來獲取新的規(guī)則集。

這一方法令人非常振奮，因?yàn)樗钣锌赡墚a(chǎn)生意想不到的結(jié)果（因?yàn)樗苌僖驗(yàn)槲覀兊慕?jīng)驗(yàn)--針對特定態(tài)勢采取哪種戰(zhàn)略更合適，產(chǎn)生偏見）。出其不意可能是我們系統(tǒng)顯示的某種形式的戰(zhàn)略創(chuàng)造力的結(jié)果，也可能意味著推演規(guī)則不切實(shí)際，或者我們的方法與其它人工或人為方法相比，更能發(fā)現(xiàn)這些規(guī)則中的漏洞。

這種漸進(jìn)式分類系統(tǒng)學(xué)習(xí)方法，可能會增大知識庫最終趨同的可能性。當(dāng)然在現(xiàn)階段就斷言它們會趨同還為時過早。設(shè)計(jì)合適的訓(xùn)練方案，逐步增加復(fù)雜性讓系統(tǒng)從學(xué)習(xí)基本概念和戰(zhàn)術(shù)開始，然后逐漸學(xué)習(xí)更高級的戰(zhàn)略存在一定的困難。實(shí)驗(yàn)初步表明，這一階段本身就需要深入了解一些兵棋知識。

因此，盡管該學(xué)習(xí)方法在最初看起來似乎對背景知識的要求不高（在許多方面的確如此），但是看起來，“知識密集型”方法在建模和知識開發(fā)階段吸取的所有經(jīng)驗(yàn)教訓(xùn)，都能讓主動學(xué)習(xí)方法獲益匪淺。

知識密集型方法

此外，我們通過在SOAR框架內(nèi)引出相關(guān)知識來應(yīng)用知識密集型方法。多年來的實(shí)踐證明，SOAR是一種在動態(tài)環(huán)境內(nèi)體現(xiàn)并使用復(fù)雜知識的可靠框架。繼應(yīng)用于一些軍事模擬和規(guī)劃中之后，該框架已經(jīng)成功應(yīng)用于大量計(jì)算機(jī)推演中。

該方法的難點(diǎn)是如何為知識庫設(shè)定良好的角色以及如何選擇相關(guān)中間概念。同時，充分利用SOAR內(nèi)的分塊學(xué)習(xí)能力尤為重要，因?yàn)樽畛醯闹庇X，當(dāng)前的系統(tǒng)因其學(xué)習(xí)能力受限。

我們可以將各單位視作不同代理。事實(shí)上兵棋讓對陣員像指揮官一樣（在當(dāng)前態(tài)勢范圍內(nèi)）決定各單位（如步兵營、騎兵中隊(duì)等）的行動。但是，各單位指揮官只有在上級指揮官（師、軍團(tuán)、集團(tuán)軍級別）制定的全球戰(zhàn)略背景下解決行動問題才有意義。

因此信息流是雙向的：一方面它是上行的（下級指揮官報(bào)告觀察到的情況，報(bào)告行動的成功/失?。６硪环矫嫠质窍滦械?，戰(zhàn)略被選擇，命令被下達(dá)解讀并盡可能執(zhí)行（有時需一定調(diào)整）。

觀察發(fā)現(xiàn)這種分層信息流與SOAR中目標(biāo)和操作符的組織方式很相似。也就是說，當(dāng)前的設(shè)計(jì)方案是，將整個軍隊(duì)當(dāng)作一個復(fù)雜的問題解決代理，其大部分層級結(jié)構(gòu)可通過SOAR操作符的等級體現(xiàn)。

由于這種選擇，我們決定在在同一單位類型之間共享知識庫庫，也就是只能按單位類型進(jìn)行學(xué)習(xí)，個體單位無法學(xué)習(xí)。當(dāng)然，單位組織層次中的每一級都可獨(dú)立于上一級或下一級進(jìn)行學(xué)習(xí)。同時，兵棋還有一個專門指導(dǎo)模式，在這種模式下如果當(dāng)前知識庫內(nèi)容不充分或者有待提高，用戶可以向程序提供行動方案建議。

后續(xù)研究

在后續(xù)研究中，我們希望在兵棋中采用一些懶惰學(xué)習(xí)形式。就對背景知識的要求而言，該方法可能介于主動學(xué)習(xí)和知識密集型方法之間?；诎咐耐评硇枰恍┡c案例表征、案例庫組織、案例檢索相似度度量以及戰(zhàn)略調(diào)整選擇相關(guān)的知識。因此與基于基因的學(xué)習(xí)方法相比，這種方法需要更多的知識，但又低于知識密集型方法。

該方法的優(yōu)勢在于可以提出利用過去獲得成功的一整套行動方，解決潛在的態(tài)勢問題。不同組織層級需要不同的案例庫，案例相似性計(jì)算要考慮的一個重要元素是單位目標(biāo)之間的相似性，因?yàn)閼B(tài)勢（地理和環(huán)境）之間的相似性還不足以激發(fā)案例的檢索。

除了實(shí)驗(yàn)更多方法，后續(xù)研究會將最有希望的方法整合到一體化系統(tǒng)中，以便利用最適合當(dāng)前態(tài)勢的技術(shù)。因?yàn)槲覀儜?yīng)用的所有技術(shù)都依賴一些學(xué)習(xí)要素，因此有必要通過一些形式的實(shí)驗(yàn)，讓系統(tǒng)與自己高速對抗，從而達(dá)到某種基本性能水平。

對于主動學(xué)習(xí)方法，可以讓系統(tǒng)與知識密集型方法對抗（即使剛開始是其知識庫很簡單）。我們的想法是，主動學(xué)習(xí)方法將以隨機(jī)對陣員的身份開始（在學(xué)習(xí)到任何知識之前），這樣在與自己的對抗中就不會有太大進(jìn)步。此外，利用知識密集型方法獲取知識，有助于為漸進(jìn)式主動學(xué)習(xí)方法設(shè)計(jì)更好的指導(dǎo)方案。

審核編輯：黃飛