最后一戰(zhàn) AI 2：0吊打世界冠軍DOTA2 人類完敗

“最終之戰(zhàn)”人類完??！DOTA2 AI 2：0吊打世界冠軍

OpenAI 又回來了。就在硅谷當?shù)貢r間 4 月 13 日，它完成了其成立以來的最大挑戰(zhàn)——迎戰(zhàn) TI8（ Dota 2 國際邀請賽）冠軍 OG 戰(zhàn)隊，并以 2：0 的成績最終碾壓人類（還史無前例地上演了一場人機搭配的大混戰(zhàn)）！

至此，繼 DeepMind AlphaGo 攻陷圍棋之后， Dota 2 被 OpenAI 拿下。

賽后，OG 隊長 N0tail 在接受采訪時表示，“AI 的表現(xiàn)超乎想象，它雖然在插眼等方面還有待進步，買活的時機也與人類常識相反，但它的技能釋放十分精準，可能凌駕于所有人類玩家之上，而且有超強的執(zhí)行力，能夠保證隨時將損失降到最低?；蛟S跟它交戰(zhàn) 50 場之后，我們能贏一?！?/p>

圖 | 在擊敗 OG 之前，OpenAI 已經(jīng)打敗了 Alliance 等三只職業(yè)隊伍，全部都是 2:

在比賽結(jié)束后，OpenAI 宣布，從4 月18 日到 4 月 21 日內(nèi)，所有人都可以挑戰(zhàn) OpenAI Five，即日起開放注冊。無論你是 2000分，還是 8000分，都可以組隊挑戰(zhàn)這個打敗了 OG 的強大AI。

此次比賽之前，OpenAI 表示，這次公開對決將會是 OpenAI Five 在 Dota 2 中的最后一次出場，因此本次比賽名為OpenAI Five Finals，意為“最終之戰(zhàn)”。它的對手自然不能是無名之輩。

人類代表：OG戰(zhàn)隊

代表人類出戰(zhàn)的 OG 戰(zhàn)隊，是第八屆 Dota 2國際邀請賽（TI8）的冠軍。它的前身是“monkeyBusiness”戰(zhàn)隊，最早以大爹 N0tail 和他的摯友 Fly 為核心（兩人一起打了超過 1400 場 Dota），還挖掘了當時的天才少年，之后的天梯9000 分第一人 Miracle，發(fā)展歷程可以追溯到 2015 年，頗具傳奇色彩。

圖丨 OG 戰(zhàn)隊的五名成員 (來源：OG）

彼時，五人組剛剛更名 OG，就一舉拿下了法蘭克福和馬尼拉 Major 錦標賽冠軍。在 TI6 失意之后，Miracle 等三人離隊，僅留下 N0tail和Fly兩兄弟，但重振旗鼓的 OG 又連續(xù)拿下波士頓和基輔 Major 冠軍，成為首支贏得四次 Major 冠軍的 Dota 2 戰(zhàn)隊。

好景不長，在經(jīng)歷 TI7 和 2017/2018 賽季的低潮期后，OG 眼看 TI8 直邀無望，只能參加海眩可是雪上加霜的是，在海選開始前不到一個月，s4 和 Fly 兩名選手突然轉(zhuǎn)會 EG 戰(zhàn)隊，幾乎意味著 N0tail 和 OG 的 TI8 之旅還沒開始就結(jié)束了，逼得 OG 不得不緊急引入從未打過職業(yè)的新人 Topson，兄弟 Dota 不復存在。

造化弄人，就是 OG 這樣一支臨時拼湊的海選隊伍，最終爆發(fā)出驚人的韌性和團隊默契，多次上演驚天翻盤，手刃“叛徒” Fly 和 s4 所在的 EG 戰(zhàn)隊，力克“不可戰(zhàn)勝的” PSG.LGD 戰(zhàn)隊兩次（ True Sight 看的讓人心痛），出人意料地拿下了 TI8 冠軍之盾。

圖 | TI8 賽場，昔日好友，形同陌路

從不被看好，到一路逆襲，再到近半年又一次跌落神壇，OG 雖然被戲稱為“最菜 TI 冠軍”，也被詬病“含金量不足”，但它奪冠之路的傳奇色彩足以比肩曾經(jīng)的護國神翼Wings。尤其是在奪冠功臣 Ana 復出之后，其紙面實力絕對不容小覷。

此次 OpenAI Five 選擇最終決戰(zhàn) TI8 冠軍 OG，足以為 OpenAI Dota 2 AI 游戲項目劃上一個完整的句號。

AI表現(xiàn)驚艷，OG潰不成軍

這次比賽是三局兩勝制，雙方按照隊長模式選人。OpenAI 仍然制定了一些限制，規(guī)則與之前 TI8 上的基本比賽一致，但移除了巫妖，剩下了 17 個英雄：

圖 | 比賽限制

第一局，AI 選出了直升機、，火槍、死亡先知、斯溫和冰女的四核陣容，選人結(jié)束后直接給出了 67.6% 的勝率，信心滿滿。人類選出了神牛、巫醫(yī)、毒龍、影魔和隱刺，相對比較脆皮的陣容。

圖 | 雙方陣容

開局搶符，AI 拿下 Notail 巫醫(yī)一血，在優(yōu)勢路用斯溫，火槍和直升機剛?cè)?。隨后雙方對線互有斬獲，Ceb 的毒龍選擇劣勢路拉兵線，牛頭不斷游走 gank，中單 Topson 隱刺對線死亡先知也可以五五開。

另一方面，AI 三核剛?cè)尿}套路侵略性極強，頻頻越塔嘗試擊殺ana的影魔和notail 的巫醫(yī)，在 JerAx 神牛的保護下，AI 并未嘗到太多甜頭。

10 分鐘，人頭數(shù) 8:9，AI經(jīng)濟領先 1 千，雙方對線幾乎平手。不過根據(jù)之前的經(jīng)驗，AI 的強勢期即將到來。

13 分鐘，AI 的死亡先知在追殺隱刺時，身背真假眼，卻先放下了假眼，隱刺得以逃出生天，可以看出 AI 還是不能很好地利用真假眼。

在 18 分鐘的遭遇戰(zhàn)中，AI 擊殺了過于托大的毒龍和隱刺，馬上給出了 95% 的勝率。

圖 | AI宣告：“我們估算的勝率為95%?！?/p>

事實證明它們并沒有夸大。1分鐘后，AI 在夜魘中路二塔擊殺了神牛和巫醫(yī)，又追上高地擊殺了走位不慎的影魔，直接在 20 分鐘破掉 OG 中路高地，這讓解說和觀眾始料未及。

盡管 OG 在之后開始更加謹慎，不再貿(mào)然深入，但 AI 侵略性不減，幾乎時刻都在五人抱團，滿地的真眼使得隱刺幾乎沒有機會打探太多信息。

24 分鐘，AI 再次在夜魘野區(qū)團滅 OG，但并未選擇打 Roshan。

圖 | 現(xiàn)在可以看到AI選擇的戰(zhàn)略目標

29 分鐘，OG 進攻天輝野區(qū)，AI 不以為然，死亡先知甚至做出了當面反眼這樣的“挑釁/勾引”動作。隨后 AI 憑借神級拉扯，送給了 OG 三人團滅，順勢攻上了OG 高地，破掉了下路和上路遠程兵營，揚長而去。

隨后的局勢幾乎是一邊倒，OG 不僅沒有找到翻盤機會，反倒出現(xiàn)了幾次莫名的出擊和落單，脆皮陣容讓 AI 逐一擊破，完全無法組織有效的防守。即使神牛幾次做出多人跳大，AI 仍然能夠憑借微操化解，將損失降到最低，甚至秒開 BKB借勢反打。

30 分鐘左右，AI 成功打出超級兵，而自己的二塔都還健在。游戲在35分鐘進入了垃圾時間，OG 被困在自己高地上，毫無招架之力，最終在38分鐘打出GG。AI 拿下第一局。

圖 | 第一局 AI 勝利，人頭數(shù) 52:29

第二局，AI 選出了冰女、直升機、斯溫、巫醫(yī)和毒龍。OG 則是火槍、神牛、死亡先知、小魚人和萊恩。AI 給出了 60.8% 的勝率，比第一局低了 7% 左右，然而事實并非如此。

雙方正常 212 分路，對線初期和第一局相似，雙方有來有回。

不過 AI 對血量和技能的判斷更勝一籌，經(jīng)常在極限狀態(tài)下?lián)魵?OG 英雄，尤其是冰女和直升機的強勢雙人組，讓 OG 的死亡先知十分難受，而且因為小魚這樣的英雄對線能力較弱，AI 在 10 分鐘就建立了 4 千經(jīng)濟優(yōu)勢，人頭數(shù) 11:3，OG 經(jīng)濟被全面壓制。

局勢一邊倒到什么程度呢？9 分半，AI 就直接給出了 95% 的勝率，比上一局快了 30 分鐘。

雖然偶有繞樹逃生等亮眼表現(xiàn)，但對線期崩盤，讓 OG 完全無法招架 AI 中期的兇猛侵略。

圖 | 一張圖看懂第二局的OG有多慘

14 分鐘，AI 就直接殺上了 OG 的上路高地，簡直就像是毆打小朋友一樣。19分鐘，OG三路被破，只能在自家泉水種樹。

僅僅 20 分鐘，OG 傾三人之力，甚至都辦法擊殺一個20%血量的毒龍。伴隨著AI 矮人直升機的超神，夜魘基地轟然倒塌。

至此，OpenAI 2:0 擊敗 OG！

圖 | 基地崩塌前的最后一秒

在看完AI碾壓OG之后，幾個解說按捺不住Dota之魂，于是OpenAI嘗試了一次前所未有的人機合作混戰(zhàn)：3 個 AI + 2 個解說 VS 3 個 AI + 2 個解說。

這局表演賽的節(jié)奏明顯放慢，面對人類玩家的加入，AI 顯得有些“手足無措”，很少主動配合，而幾個解說也苦于沒有辦法指揮AI——無論是打字還是游戲自帶指令，都不能控制AI的行為——只好全場各自為戰(zhàn)，或者跟著AI 抱團。

圖 | 人類控制的女王滿血被集火，AI剃刀和火槍溜之大吉

比賽進行了約60分鐘，整體來看，AI和人類還無法做到積極互動，幾乎看不到雙方的亮眼配合。比如AI操縱的三個英雄經(jīng)常抱團打野，卻不會跟著人類一起推塔和gank，還會看著人類隊友被集火，卻袖手旁觀，從旁邊默默路過（也可能是在后臺吐槽人類太菜）。

看來我們離 AI 陪玩，甚至是 AI 教練，還有很長的路要走。

OpenAI 結(jié)束 DOTA 2 三年之旅

OpenAI Dota 2 AI 首秀是在 2017 年 8 月的國際邀請賽（TI）現(xiàn)場，戰(zhàn)勝了世界頂級中單選手 Dendi。那場影魔BO3 SOLO賽中，OpenAI 先下一城，Dendi 在第二局被拿下一血后選擇主動放棄，最終 0：2 敗于 AI SOLO 系統(tǒng)。根據(jù) OpenAI 的介紹，他們的 AI 還擊敗了 Sumail 和 Arteezy 等明星選手。

SOLO賽之后，OpenAI 推出了可以進行 5V5 對戰(zhàn)的“ OpenAI Five ”，并且在2018 年 8 月初以 4:1 成績戰(zhàn)勝了 Dota 2解說和前職業(yè)選手組成的戰(zhàn)隊。OpenAI 團隊隨后認為，自己的 AI 系統(tǒng)已經(jīng)準備好挑戰(zhàn)職業(yè)隊伍了。

但是，在2018 年 8 月 22 日~24 日的 TI8 國際邀請賽現(xiàn)場，之前一路高歌猛進的 OpenAI Five 遭遇重擊，在兩場比賽中分別被職業(yè)隊伍 paiN Gaming 和中國前職業(yè)選手BurNIng，xiao8，430，SanSheng和rOtk組成的明星隊伍擊敗，原本計劃三天三場的比賽，只比了兩天兩場就草草收尾，提前結(jié)束了 TI8 征程。

圖丨 OpenAI Dota 2 項目三年來的主要進展

根據(jù) OpenAI TI8 兩場比賽之后發(fā)布的博客文章，導致失敗的主要原因是對戰(zhàn)的游戲玩家明顯實力比 AI 高出不少量級 ，除此之外，缺乏戰(zhàn)略規(guī)劃也導致了 AI 的失敗。縱觀八月中旬和 TI8 的幾場比賽，OpenAI 的系統(tǒng)似乎并沒有展現(xiàn)出太多的進步，尤其是在戰(zhàn)略方面。雖然比賽規(guī)則有所調(diào)整，但是面對更加默契和高水平的職業(yè)隊伍時，AI 系統(tǒng)精密計算的技能釋放和反應極快的微操可以驚艷觀眾，打贏遭遇戰(zhàn)，卻無法帶來勝利。

TI8比賽之后，開發(fā)人員曾透露，OpenAI Five 中使用的模型架構也并不復雜。每一個英雄由一個單獨的 LSTM 模型控制，且為一個單層的、含有 1024 個單元的 LSTM 網(wǎng)絡，它從 BOT API 中獲取數(shù)據(jù)，然后通過多個不同的動作輸出接口進行控制。

OpenAI 的 Dota 2 AI 使用了256 個 V100 GPU 和 128000 個 CPU訓練模型，不使用人類數(shù)據(jù)，80% 的時間自我對弈，20% 的時間和過去的版本對弈，訓練中每天進行的游戲數(shù)量時長相當于大約 180 年。

因此，不少人相信，從 TI8 失利至今的大半年時間里，Dota 2 AI 系統(tǒng)的迭代優(yōu)化又有了新的飛躍。

圖丨 OpenAI Five 的網(wǎng)絡架構圖

這次比賽，OG 戰(zhàn)隊以 TI8 奪冠時的原班人馬出戰(zhàn) OpenAI Five，但相比在2018 年奪冠時的巔峰時期，現(xiàn)在的 OG 戰(zhàn)隊實力已經(jīng)有所下滑，Ana 回歸之前，這支隊伍已經(jīng)幾次淹死在海選中，無緣大型比賽。

而且直到比賽前，任何人都不知道 OpenAI 的 OpenAI Five 又成長到了何種境界，加之此前 AI 曾經(jīng)戰(zhàn)勝準職業(yè)選手隊伍，也曾被職業(yè)選手隊伍所打敗，時隔大半年重出江湖，也為本次比賽帶來了很強的懸念。

“對我而言，最令人著迷的一點是看機器如何找到突破游戲的方式，以及它將如何對人類的游戲方式進行反應，”O(jiān)G 的 Jesse“JerAx”Vainikka 在這次比賽之前說道，“這次比賽將是一次很好的學習經(jīng)歷，因為我們將了解機器如何優(yōu)先考慮資源并利用英雄?！?/p>

游戲 AI 的殊途同歸？

隨著 OpenAI Five 在今天完成 Dota 2 中的最后一戰(zhàn)，回顧 OpenAI 探索和開發(fā)Dota 2 AI 幾乎長達 3 年的過程，是時候重新思考和審視這些 AI 公司在游戲類AI開發(fā)上所付出的努力和選擇的目標。

比如說，我們究竟應該如何看待開發(fā)這些游戲 AI 的必要性？無論是 DeepMind 開發(fā)的 Alphago 還是 OpenAI Five，始終有人忍不住計較，設計這些游戲AI和人類競爭根本就不公平，甚至以此來否定這種人機大戰(zhàn)的價值。

著名的深度學習批判者、紐約大學教授 Gary Marcus 就曾在推特上指出這種不公平。與人類游戲玩家（或其他一些 AI 系統(tǒng)）不同，OpenAI Five 實際上并不看屏幕，而是使用 Dota 2 的“ BOT API ”來獲取數(shù)據(jù)，包括從每個英雄的位置到個人法術和攻擊的冷卻時間等所有信息。這就為 AI “快速解決了極具挑戰(zhàn)性的場景感知問題”，從而為 AI 提供了巨大的優(yōu)勢。

AI 作弊爭議背后的本質(zhì)問題是：人類和 AI 之間可能有所謂“公平”的博弈嗎？恐怕我們等不到這樣一場比賽了。因為，AI 天生就被按照比人類有優(yōu)勢來打造。正如 AI 游戲研究員庫克所說的那樣：“計算機當然要在某些方面比人類優(yōu)秀。這是我們發(fā)明計算機的原因?！?/p>

圖 | “眼觀三十六路，耳聽四十八方”的AI

在游戲中擊敗專業(yè)人士，也不是 OpenAI 等公司開發(fā)游戲 AI 所追求的目標。他們所希望的，是 AI 學習如何制定數(shù)以千計的小決策來實現(xiàn)更大的目標。Brockman 曾這樣表示：“我們 Dota 項目的初衷不是為了在這個比賽稱霸，是因為我們認為可以開發(fā)出能夠在未來幾十年內(nèi)為世界提供動力的人工智能技術?！睂τ?OpenAI 來說，選擇 DOTA2 作為人工智能測試的原因，“是因為我們認為它是一個能夠幫助我們測試和開發(fā)通用 AI 技術的良好平臺”。

而且，這個雄心勃勃的想法也正在走向現(xiàn)實。例如，用于教授 OpenAI Five 的“基礎設施”之一——一個名為 Rapid 的系統(tǒng)就正在被用于其他項目，例如用它來使機械臂以更高水平的靈活性來操縱物體。另外，該系統(tǒng)可以協(xié)調(diào)數(shù)千個同時運行數(shù)百個強化學習算法的處理器，每個算法都為機器人提供動力，機器人通過游戲或模擬移動手，然后在試驗結(jié)束時將其學到的內(nèi)容與其他機器人同步。Rapid 目前仍在持續(xù)改進中。

圖丨 Rapid 系統(tǒng)被用到機械手操控上

另一方面，AI 在 Dota2 中有勝有敗的表現(xiàn)，也讓人們繼續(xù)反思相關的技術方向，強化學習是其中討論度最高的話題之一。

OpenAI 創(chuàng)建人工智能時使用了強化學習算法。這種被認為可以實現(xiàn)讓機器“從零開始學習”的技術看似簡單，但是能讓 AI 習得一些復雜的行為。它有別于傳統(tǒng)的監(jiān)督學習，不需要大量的標注數(shù)據(jù)，讓 AI 在虛擬環(huán)境中通過自我嘗試和獎勵學會復雜的任務。對于游戲這種擁有天然優(yōu)秀的模擬環(huán)境的場景，強化學習被認為可以幫助創(chuàng)造水平極高的游戲 AI。

圖丨強化學習的原理

強化學習最出風頭的案例，恐怕還是 Deepmind 開發(fā) AlphaGo 的一戰(zhàn)成名，尤其是 AlphaGo Zero 的誕生。兩者都是強化學習發(fā)展史上里程碑式的案例。AlphaGo 結(jié)合了監(jiān)督學習、強化學習和其他一些創(chuàng)新的輔助方法，而 AlphaGo Zero 僅僅依靠強化學習和自我對弈，盡管它也使用了預先準備的算法規(guī)則用于持續(xù)的迭代，依然比前者更遵循了強化學習的整體思路。但著名 AI 學者、新晉圖靈獎獲得者 Yann LeCun 認為，AlphaGo Zero 的成功很難推廣到其他領域。

在 OpenAI Five 被職業(yè)隊打敗的過程中，AI 充分暴露了依靠這種方法拋棄人類先驗經(jīng)驗、獲取新的技能，還有一些“盲區(qū)”。

來自斯坦福的 Andrey Kurenkov 就撰寫了大量有關強化學習局限性的文章，他表示，此前的比賽表明，強化學習可以處理“比大多數(shù)人工智能研究人員想象的復雜程度更高的問題”，但一些失敗的結(jié)局表明，游戲 AI 需要新的方式來培養(yǎng)其“長期思維”。也就是說，AI 在即時即地的反應上做得很好，但宏觀層面決策的表現(xiàn)卻很糟糕。他在其文章中如此總結(jié) AlphaGo 和 OpenAI Dota2 AI 的成績局限性所在：從零開始學習導致它們和人類學習相比，更依海量游戲指令和使用更原始的、無人能及的計算能力。

也正因為這些局限，目前我們也還沒有看到有任何 AI 被廣泛應用在商業(yè)級游戲中。但在接下來很長一段時間，AI 打游戲恐怕還需要通過強化學習來實現(xiàn)，強化學習究竟是不是讓機器能夠像人一樣從零學習新技能的最佳方法，還需要更長時間的驗證。

（