人工智能與游戲

游戲是智能應(yīng)用最好的平臺(tái)，可惜的是：只用了少部分計(jì)算AI，還沒有用到智能的計(jì)算計(jì)
1引言
從1950年香農(nóng)教授提出為計(jì)算機(jī)象棋博弈編寫程序開始，游戲人工智能就是人工智能技術(shù)研究的前沿，被譽(yù)為人工智能界的“果蠅”，推動(dòng)著人工智能技術(shù)的發(fā)展。
2概念

如果我們知道了什么是人工智能，游戲人工智能的含義也就不言而喻了，那么什么是人工智能呢？比起人工智能更基礎(chǔ)的概念是智能，那么什么是智能呢？權(quán)威辭書《韋氏大詞典》的解釋是“理解和各種適應(yīng)性行為的能力”，《牛津詞典》的說法是“觀察、學(xué)習(xí)、理解和認(rèn)識(shí)的能力”，《新華字典》的解釋是“智慧和能力”，James Albus在答復(fù)Henry Hexmoor時(shí)說“智能包括：知識(shí)如何獲取、表達(dá)和存儲(chǔ)；智能行為如何產(chǎn)生和學(xué)習(xí)；動(dòng)機(jī)、情感和優(yōu)先權(quán)如何發(fā)展和運(yùn)用；傳感器信號(hào)如何轉(zhuǎn)換成各種符號(hào)；怎樣利用各種符號(hào)執(zhí)行邏輯運(yùn)算、對(duì)過去進(jìn)行推及對(duì)未來進(jìn)行規(guī)劃；智能機(jī)制如何產(chǎn)生幻覺、信念、希望、畏懼、夢(mèng)幻甚至善良和愛情等現(xiàn)象”。而人工智能作為一門科學(xué)的前沿和交叉學(xué)科，至今尚無統(tǒng)一的定義，但不同科學(xué)背景的學(xué)者對(duì)人工智能做了不同的解釋：符號(hào)主義學(xué)派認(rèn)為人工智能源于數(shù)理邏輯，通過計(jì)算機(jī)的符號(hào)操作來模擬人類的認(rèn)知過程，從而建立起基于知識(shí)的人工智能系統(tǒng)；聯(lián)結(jié)主義學(xué)派認(rèn)為人工智能源于仿生學(xué)，特別是人腦模型的研究，通過神經(jīng)網(wǎng)絡(luò)及網(wǎng)絡(luò)間的鏈接機(jī)制和學(xué)習(xí)算法，建立起基于人腦的人工智能系統(tǒng)；行為主義學(xué)派認(rèn)為智能取決于感知和行動(dòng)，通過智能體與外界環(huán)境的交互和適應(yīng)，建立基于“感知-行為”的人工智能系統(tǒng)。其實(shí)這三個(gè)學(xué)派從思維、腦、身體三個(gè)方面對(duì)人工智能做了一個(gè)闡述，目標(biāo)都是創(chuàng)造出一個(gè)可以像人類一樣具有智慧，能夠自適應(yīng)環(huán)境的智能體。理解了人工智能的內(nèi)涵以后，我們應(yīng)該怎么衡量和評(píng)價(jià)一個(gè)智能體是否達(dá)到人類智能水平呢？目前有兩個(gè)公認(rèn)的界定：圖靈測(cè)試和中文屋子，一旦某個(gè)智能體能夠達(dá)到了這兩個(gè)標(biāo)準(zhǔn)，那么我們就認(rèn)為它具備了人類智能。

游戲人工智能是人工智能在游戲中的應(yīng)用和實(shí)踐。通過分析游戲場(chǎng)景變化、玩家輸入獲得環(huán)境態(tài)勢(shì)的理解，進(jìn)而控制游戲中各種活動(dòng)對(duì)象的行為邏輯，并做出合理決策，使它們表現(xiàn)得像人類一樣智能，旨在提高游戲娛樂性、挑戰(zhàn)智能極限。游戲人工智能是結(jié)果導(dǎo)向的，最關(guān)注決策環(huán)節(jié)，可以看做“狀態(tài)（輸入）”到“行為（輸出）”的映射，只要游戲能夠根據(jù)輸入給出一個(gè)看似智能的輸出，那么我們就認(rèn)為此游戲是智能的，而不在乎其智能是怎么實(shí)現(xiàn)的（Whatever Works）。那么怎么衡量游戲人工智能的水平呢？目前還沒有公認(rèn)的評(píng)價(jià)方法，而且游戲人工智能并不是特別關(guān)心智能體是否表現(xiàn)得像人類一樣，而是更加關(guān)心游戲人工智能的智能極限——能否戰(zhàn)勝人類的領(lǐng)域?qū)＜遥纾篧aston在智能問答方面戰(zhàn)勝了 Jeopardy! 超級(jí)明星 Ken Jennings 和 Brad Rutter；AlphaGo在圍棋上戰(zhàn)勝了歐洲冠軍樊麾。

3游戲機(jī)理
3.1人類的游戲機(jī)理
游戲?qū)ξ覀儊碚f并不陌生，無論是小時(shí)候的“小霸王學(xué)習(xí)機(jī)”，還是五子棋、象棋等各種棋類游戲都是童年的美好回憶，但人類玩游戲的整個(gè)過程是什么樣的呢？

具體過程如圖1所示：首先玩家眼球捕捉顯示屏上的游戲畫面并在視網(wǎng)膜上形成影像；然后經(jīng)過視覺神經(jīng)傳至V1區(qū)，并提取線條、拐點(diǎn)等初級(jí)視覺信息；初級(jí)視覺信息經(jīng)過V2區(qū)傳至V4區(qū)，并進(jìn)一步提取顏色、形狀、色對(duì)比等中級(jí)視覺信息；中級(jí)視覺信息經(jīng)過PIT傳至AIT，進(jìn)而提取描述、面、對(duì)象等高級(jí)視覺信息并傳至PFC；在PFC進(jìn)行類別判斷，并根據(jù)已有的知識(shí)制定決策，然后在MC的動(dòng)機(jī)的促發(fā)下產(chǎn)生行為指令并傳至響應(yīng)器官（手）；響應(yīng)器官執(zhí)行操作；至此，玩家的游戲機(jī)制已經(jīng)完成。計(jì)算機(jī)在接收到玩家的輸入（鍵盤、鼠標(biāo)等）以后，根據(jù)游戲的內(nèi)部邏輯更新游戲狀態(tài)，并發(fā)送至輸出設(shè)備（顯示屏）展示給用戶，自此計(jì)算機(jī)游戲環(huán)境更新完成。然后玩家展開下一次游戲機(jī)理，并循環(huán)直至游戲結(jié)束或玩家放棄游戲。

圖1人類游戲機(jī)理

3.2計(jì)算機(jī)的游戲機(jī)理

游戲人工智能是創(chuàng)造一種代替人類操作游戲的智能體，想要讓機(jī)器玩好游戲，我們就需要了解“它”玩游戲的機(jī)理，這樣才能更好地改進(jìn)它。

計(jì)算機(jī)的游戲機(jī)理如圖2所示：首先通過某種方式（讀取視頻流、游戲記錄等）獲得環(huán)境的原始數(shù)據(jù)，然后經(jīng)過去重、去噪、修正等技術(shù)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理，并提取低級(jí)語義信息；然后經(jīng)過降維、特征表示（人工或計(jì)算機(jī)自動(dòng)提?。┬纬筛呒?jí)語義信息；然后通過傳統(tǒng)機(jī)器學(xué)習(xí)方法進(jìn)行模式識(shí)別，進(jìn)一步理解數(shù)據(jù)的意義；最后結(jié)合先前的經(jīng)驗(yàn)（數(shù)據(jù)挖掘，或人工提取，或自學(xué)習(xí)產(chǎn)生的領(lǐng)域知識(shí)庫）決策生成行動(dòng)方案，進(jìn)而執(zhí)行改變環(huán)境，并進(jìn)行新一輪的迭代。在每次迭代的過程中，智能體還可以學(xué)習(xí)新的經(jīng)驗(yàn)和教訓(xùn)，進(jìn)而進(jìn)化成更加智能的個(gè)體。

圖2計(jì)算機(jī)游戲機(jī)理
3.3游戲的一般性機(jī)理

從人類和計(jì)算機(jī)的游戲機(jī)理，我們可以總結(jié)出游戲玩家的一般性機(jī)理，如圖3所示：游戲玩家可以看做是一個(gè)態(tài)勢(shì)感知過程，接收原始數(shù)據(jù)作為輸入，輸出動(dòng)作序列，在內(nèi)部進(jìn)行了態(tài)勢(shì)覺察產(chǎn)生低級(jí)信息、態(tài)勢(shì)理解形成高級(jí)認(rèn)知、態(tài)勢(shì)預(yù)測(cè)估計(jì)將來的態(tài)勢(shì)，并根據(jù)已有的經(jīng)驗(yàn)和規(guī)則，在目標(biāo)和動(dòng)機(jī)的驅(qū)動(dòng)下產(chǎn)生行動(dòng)方案，從而指導(dǎo)游戲向更有利于玩家的方向進(jìn)行，然后進(jìn)入下一個(gè)循環(huán)序列。

圖3游戲一般過程機(jī)理（SA圖）

游戲的一般性機(jī)理還可以看做是一個(gè)“狀態(tài)”到“動(dòng)作”的映射，游戲的環(huán)境狀態(tài)、玩家的目標(biāo)是自變量，玩家的操作是因變量，而映射關(guān)系是正是游戲一般機(jī)理的核心部分。它可以通過如神經(jīng)網(wǎng)絡(luò)這種技術(shù)來對(duì)自變量進(jìn)行特征提取和表征，也可以直接使用自變量，利用公式計(jì)算獲得輸出值，進(jìn)而映射到相應(yīng)的動(dòng)作。

4里程碑

自香農(nóng)發(fā)表計(jì)算機(jī)象棋博弈編寫程序的方案以來，游戲人工智能已經(jīng)走過了半個(gè)多世紀(jì)，在這65個(gè)春秋的風(fēng)雨兼程中，無數(shù)的科學(xué)家貢獻(xiàn)了自己的才華和歲月，所取得的成果更是數(shù)不勝數(shù)，本文羅列了游戲人工智能的重大里程碑，意欲讀者能夠把握游戲人工智能的研究現(xiàn)狀，為今后的研究方向給予啟示，具體如表1所示：

表1游戲人工智能里程碑表

5游戲人工智能實(shí)現(xiàn)技術(shù)

5.1有限狀態(tài)機(jī)
當(dāng)你設(shè)法創(chuàng)造一個(gè)具有人類智能的生命體時(shí)，可能會(huì)感覺無從下手；一旦深入下去，你會(huì)發(fā)現(xiàn)：只需要對(duì)你所看到的做出響應(yīng)就可以了。有限狀態(tài)機(jī)就是這樣把游戲?qū)ο髲?fù)雜的行為分解成 “塊”或狀態(tài)進(jìn)行處理的，其處理機(jī)制如圖4所示：首先接收游戲環(huán)境的態(tài)勢(shì)和玩家輸入；然后提取低階語義信息，根據(jù)每個(gè)狀態(tài)的先決條件映射到響應(yīng)的狀態(tài)；接著根據(jù)響應(yīng)狀態(tài)的產(chǎn)生式規(guī)則生成動(dòng)作方案；最后執(zhí)行響應(yīng)動(dòng)作序列并輸入游戲，進(jìn)入下一步循環(huán)。由圖4和圖2比較可知：有限狀態(tài)機(jī)方法是計(jì)算機(jī)游戲機(jī)理的一種簡(jiǎn)單實(shí)現(xiàn)：根據(jù)規(guī)則人為將原始數(shù)據(jù)映射到“狀態(tài)”完成“特征工程和識(shí)別”，根據(jù)產(chǎn)生式系統(tǒng)將“狀態(tài)”映射到響應(yīng)的動(dòng)作完成“決策制定”。

圖4有限狀態(tài)機(jī)游戲機(jī)理

那么理論層次上的“有限狀態(tài)機(jī)”又是怎么描述的呢？有限狀態(tài)機(jī)是表示有限個(gè)狀態(tài)以及在這些狀態(tài)之間轉(zhuǎn)移和動(dòng)作等行為的特殊有向圖，可以通俗的解釋為“一個(gè)有限狀態(tài)機(jī)是一個(gè)設(shè)備，或是一個(gè)設(shè)備模型，具有有限數(shù)量的狀態(tài)，它可以在任何給定的時(shí)間根據(jù)輸入進(jìn)行操作，使得從一個(gè)狀態(tài)變換到另一個(gè)狀態(tài)，或者是促使一個(gè)輸出或者一種行為的發(fā)生。一個(gè)有限狀態(tài)機(jī)在任何瞬間只能處在一種狀態(tài)”。通過相應(yīng)不同游戲狀態(tài)，并完成狀態(tài)之間的相互轉(zhuǎn)換可以實(shí)現(xiàn)一個(gè)看似智能的游戲智能引擎，增加游戲的娛樂性和挑戰(zhàn)性。

5.2搜索

圖5博弈樹游戲機(jī)理
“人無遠(yuǎn)慮，必有近憂”，如果能夠考慮到未來的所有情況并進(jìn)行評(píng)估，那么只需要篩選最好的選擇就可以了。當(dāng)前棋類游戲幾乎都使用了搜索的方式來完成決策的，其中最優(yōu)秀的是 搜索樹、蒙特卡洛搜索樹。搜索的游戲人工智能更關(guān)注的是預(yù)測(cè)和評(píng)估，決策的制定只是挑選出預(yù)測(cè)的最好方式即可，如圖5所示。
5.3有監(jiān)督學(xué)習(xí)

分類是有監(jiān)督學(xué)習(xí)方法，旨在具有標(biāo)簽的數(shù)據(jù)中挖掘出類別的分類特性，也是游戲人工智能的重要方法。有些游戲人類就是通過學(xué)習(xí)前人經(jīng)驗(yàn)成為游戲高手的，棋類游戲更是如此。進(jìn)過幾千年的探索，人類積累了包括開局庫、殘局庫、戰(zhàn)術(shù)等不同的戰(zhàn)法指導(dǎo)玩家游戲。而數(shù)據(jù)挖掘就是在數(shù)據(jù)中挖掘潛在信息，并總結(jié)成知識(shí)然后指導(dǎo)決策的過程。Google DeepMind的圍棋程序AlphaGo就使用了有監(jiān)督學(xué)習(xí)訓(xùn)練策略網(wǎng)絡(luò)，用以指導(dǎo)游戲決策；它的SL策略網(wǎng)絡(luò)是從KGS GO服務(wù)器上的30,000,000萬棋局記錄中使用隨機(jī)梯度上升法訓(xùn)練的一個(gè)13層的神經(jīng)網(wǎng)絡(luò)，在測(cè)試集上達(dá)到57.0%的準(zhǔn)確率，為圍棋的下子策略提供了幫助。
5.4遺傳算法

遺傳算法是進(jìn)化算法的一種。它模擬達(dá)爾文進(jìn)化論的物競(jìng)天擇原理，不斷從種群中篩選最優(yōu)個(gè)體，淘汰不良個(gè)體，使得系統(tǒng)不斷自我改進(jìn)。遺傳算法可以使得游戲算法通過不斷的迭代進(jìn)化，可以從一個(gè)游戲白癡進(jìn)化成為游戲高手，是一個(gè)自學(xué)習(xí)的算法，無需任何人類知識(shí)的參與。

圖6遺傳算法游戲機(jī)理

在系統(tǒng)中，每個(gè)個(gè)體具有一串遺傳信息，這串信息代表了我們所要優(yōu)化對(duì)象的全部特征。算法維持一個(gè)由一定數(shù)量個(gè)體組成的種群，每一輪，算法需要計(jì)算每個(gè)個(gè)體的適應(yīng)度，然后根據(jù)適應(yīng)度選出一定數(shù)量存活的個(gè)體，同時(shí)淘汰掉剩余落后的個(gè)體。隨后，幸存的個(gè)體將進(jìn)行“繁殖”，填補(bǔ)因?yàn)樘蕴瓩C(jī)制造成的空缺。所謂的繁殖，就是個(gè)體創(chuàng)造出和自己相同的副本。然而為了實(shí)現(xiàn)進(jìn)化，必須要有模仿基因突變的機(jī)制。因此在復(fù)制副本的時(shí)候也應(yīng)當(dāng)使得遺傳信息產(chǎn)生微小的改變。選擇-繁殖-進(jìn)化這樣的過程反復(fù)進(jìn)行，就能實(shí)現(xiàn)種群的進(jìn)化。
5.5強(qiáng)化學(xué)習(xí)
強(qiáng)化學(xué)習(xí)也是一種自學(xué)習(xí)的算法，1956阿瑟·塞繆爾的西洋跳棋程序僅通過算法自己和自己對(duì)戰(zhàn)就可以戰(zhàn)勝康涅狄格州的西洋跳棋冠軍。強(qiáng)化學(xué)習(xí)來源于行為主義學(xué)派，它通過Agent與環(huán)境的交互獲得“獎(jiǎng)懲”，然后趨利避害，進(jìn)而做出最優(yōu)決策。

圖7強(qiáng)化學(xué)習(xí)游戲機(jī)理
強(qiáng)化學(xué)習(xí)有著堅(jiān)實(shí)的數(shù)學(xué)基礎(chǔ)，也有著成熟的算法，在機(jī)器人尋址、游戲智能、分析預(yù)測(cè)等領(lǐng)域有著很多應(yīng)用?，F(xiàn)有成熟算法有值迭代、策略迭代、Q-learning、動(dòng)態(tài)規(guī)劃、時(shí)間差分等學(xué)習(xí)方法。
5.6 DRN
DRN是Google DeepMind在“Playing Atari with Deep Reinforcement Learning”中結(jié)合深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)形成的神經(jīng)網(wǎng)絡(luò)算法，旨在無需任何人類知識(shí)，采用同一算法就可以在多款游戲上從游戲白癡變成游戲高手。首先使用數(shù)據(jù)預(yù)處理方法，把128色的210*160的圖像處理成灰度的110*84的圖像，然后從中選出游戲畫面重要的84*84的圖像作為神經(jīng)網(wǎng)絡(luò)的輸入；接著使用CNN自動(dòng)進(jìn)行特征提取和體征表示，作為BP神經(jīng)網(wǎng)絡(luò)的輸入進(jìn)行有監(jiān)督學(xué)習(xí)，自動(dòng)進(jìn)行游戲策略的學(xué)習(xí)。

圖8 DRN游戲機(jī)理
5.7深度學(xué)習(xí)+強(qiáng)化學(xué)習(xí)+博弈樹
Google DeepMind的AlphaGo使用值網(wǎng)絡(luò)用來評(píng)價(jià)棋局形式，使用策略網(wǎng)絡(luò)用來選擇棋盤著法，使用蒙特卡洛樹用來預(yù)測(cè)和前瞻棋局，試圖沖破人類智能最后的堡壘。策略網(wǎng)絡(luò)使用有監(jiān)督學(xué)習(xí)訓(xùn)練+強(qiáng)化學(xué)習(xí)共同訓(xùn)練獲得，而值網(wǎng)絡(luò)僅使用強(qiáng)化學(xué)習(xí)訓(xùn)練獲得，通過這兩個(gè)網(wǎng)絡(luò)結(jié)構(gòu)總結(jié)人類經(jīng)驗(yàn)，自主學(xué)習(xí)獲得對(duì)棋局的認(rèn)知；然后使用蒙特卡洛樹將已經(jīng)學(xué)得的知識(shí)應(yīng)用于棋局進(jìn)行預(yù)測(cè)和評(píng)估，從而制定著法的選擇。

圖 9 AlphaGo的游戲機(jī)理
6總結(jié)
與模糊人類與機(jī)器的邊界不同，游戲人工智能更關(guān)注挑戰(zhàn)智力極限，表征是游戲戰(zhàn)勝人類最強(qiáng)者；與教導(dǎo)人類成為領(lǐng)域?qū)＜也煌?，游戲人工智能更關(guān)注培育自學(xué)習(xí)能力的智能體，表征是無經(jīng)驗(yàn)自主學(xué)習(xí)；所以當(dāng)前最先進(jìn)的兩個(gè)游戲引擎均使用了深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)兩方面的知識(shí)，旨在培育具有自學(xué)習(xí)能力的高智能個(gè)體。

當(dāng)前大家最關(guān)注的莫過于2016年3月AlphaGo與李世石的圍棋之戰(zhàn)。那么一旦圍棋戰(zhàn)勝李世石之后，是否表示機(jī)器已經(jīng)突破人類最后的堡壘呢？是否表示達(dá)到智能極限，游戲人工智能下一步的研究關(guān)注點(diǎn)又應(yīng)該是什么呢？我認(rèn)為機(jī)器即使戰(zhàn)勝李世石也沒有達(dá)到人類智能的極限，與記憶和速算一樣，搜索與前瞻的能力也不能代表人類智能，人類還有情感、有思想、能快速學(xué)習(xí)等等能力，所以AlphaGo即使戰(zhàn)勝李世石也只是在某個(gè)領(lǐng)域里面比人類更強(qiáng)而已；游戲人工智能不能使用圖靈測(cè)試、中文屋子來衡量人工智能的程度，因?yàn)槿祟愒谟螒颍ㄌ貏e是棋類游戲）上的智能并不突出，因?yàn)槿四X的復(fù)雜度有限，并不能計(jì)算游戲的最優(yōu)值，只是在能力范圍內(nèi)做出較優(yōu)的決策，所以我認(rèn)為“游戲人工智能的關(guān)注點(diǎn)應(yīng)該是：同一游戲引擎作為雙方對(duì)戰(zhàn)，總是同一方（先手或后手）取勝，而且能夠戰(zhàn)勝人類最強(qiáng)者”。所以即使AlphaGo戰(zhàn)勝李世石，那么棋類智能仍有探索的空間：游戲的最優(yōu)值！

游戲是智能應(yīng)用最好的平臺(tái)，可惜的是：只用了少部分AI計(jì)算，還沒有用到智能的計(jì)算計(jì)

審核編輯 ：李倩