OpenAI舉辦的首屆遷移學(xué)習(xí)競賽Retro Contest結(jié)束,在全部229支隊伍里,來自中國的團隊獲得了冠亞軍。冠軍是一個6人團隊,其中有南京大學(xué)和阿里巴巴搜索事業(yè)部的研究人員;亞軍是中科院的兩名研究生。
這個競賽的目標(biāo),是評估強化學(xué)習(xí)算法從以往的經(jīng)驗中泛化的能力。具體說,就是讓AI玩視頻游戲《刺猬索尼克》,這是世嘉公司開發(fā)的一款競速式2D動作游戲,其基本上模擬馬里奧的游戲方式,玩家在盡可能短的時間內(nèi)到達目的地,索尼克可以通過不停加速來快速完成關(guān)卡。最后可能需要對抗BOSS。
冠軍方案展示:由南大和阿里研究人員組成的Dharmaraja隊的agent,學(xué)習(xí)穿越游戲中海洋廢墟區(qū)域(Aquatic Ruin Zone)。Agent已經(jīng)在游戲的其他關(guān)進行過預(yù)訓(xùn)練,但這是第一次遇到這一關(guān)。
OpenAI的這個競賽Retro Contest從2018年4月5日發(fā)布,持續(xù)時間為2個月。開始有923支隊伍報名,但最終只有229個提交了解決方案。OpenAI的自動評估系統(tǒng)對這些結(jié)果進行了評估。為了避免參賽者擬合數(shù)據(jù)集,評審時使用了完全不同的數(shù)據(jù)集。此外,OpenAI還將前十名的最終提交結(jié)果進行了再測試,讓這些agents在11個由游戲設(shè)計師特別設(shè)計的關(guān)卡中,分別進行了3次測試,每次都從環(huán)境中隨機生成初始狀態(tài)。最終得到的排名如下:
前五名排名
其中,冠軍Dharmaraja在測試和評審中始終排名第一,mistake以微弱的優(yōu)勢戰(zhàn)勝aborg取得第二。這張圖顯示了排名前三的三個方案的agent在同一個關(guān)卡學(xué)習(xí)的情況。紅點代表初期,藍點代表后期。從上到下分別是Dharmaraja、aborg和mistake。
所有關(guān)卡平均下來,這幾支隊伍的學(xué)習(xí)曲線是這樣的:
值得注意的是,Dharmaraja和aborg在開始階段分?jǐn)?shù)相近,而mistake的則要低很多。這是因為前兩支隊伍的方法,是對預(yù)訓(xùn)練網(wǎng)絡(luò)進行微調(diào)(使用PPO),而mistake則是從零開始訓(xùn)練(使用Rainbow DQN)。mistake的學(xué)習(xí)曲線提前結(jié)束,是因為他們在12小時的時候時間用完了。
OpenAI對這次的競賽的評價是,從整體看,雖然參賽隊伍嘗試了很多方法,但主要的結(jié)果都來自對現(xiàn)有算法(如PPO和Rainbow)的微調(diào)或擴展。同時,結(jié)果也顯示了我們還有很長的路要走:訓(xùn)練后AI玩的最高成績是4,692分,而理論最好成績是10,000分。
但是,獲勝的解決方案是一般的機器學(xué)習(xí)方法,而不是針對這次競賽進行的hacking,表明作弊是不可能的,也就證實了OpenAI的Sonic基準(zhǔn)是機器學(xué)習(xí)研究界一個值得去關(guān)注的問題。
獲獎團隊及方案:PPO和Rainbow優(yōu)化
Dharmaraja(法王)是一個6人組成的團隊:Qing Da、Jing-Cheng Shi、Anxiang Zeng、Guangda Huzhang、Run-Ze Li 和 Yang Yu。其中,Qing Da和Anxiang Zeng來自阿里巴巴搜索事業(yè)部AI團隊,他們最近與南京大學(xué)副教授Yang Yu合作,研究如何將強化學(xué)習(xí)用于現(xiàn)實世界問題,尤其是電子商務(wù)場景。
Dharmaraja的解決方案是聯(lián)合PPO的變體。PPO(proximal policy optimization,近端策略優(yōu)化算法),是此前OpenAI為強化學(xué)習(xí)提出的一類新的策略梯度法,可以通過與環(huán)境的交互在樣本數(shù)據(jù)中進行轉(zhuǎn)換,使用隨機梯度下降優(yōu)化替代目標(biāo)函數(shù)(surrogate objective function)。標(biāo)準(zhǔn)的策略梯度法是在每一個數(shù)據(jù)樣本上執(zhí)行一次梯度更新,而PPO的新目標(biāo)函數(shù)可以在多個訓(xùn)練步驟(epoch)中實現(xiàn)小批量(minibatch)的更新。PPO 擁有置信域策略優(yōu)化(TRPO)的一些好處,但更加容易實現(xiàn),也更通用,并且有更好的樣本復(fù)雜度。OpenAI研究人員認(rèn)為,考慮到總體的復(fù)雜度、操作簡便性和 wall-time,PPO 是比在線策略梯度法更好的選擇。
在PPO的基礎(chǔ)上,Dharmaraja的解決方案做了一些改進。首先,使用RGB圖像而不是灰度圖做輸入。其次,使用了稍微擴大的動作空間,并使用更常見的按鈕組合。第三,使用了增強獎勵功能,獎勵agent訪問新的狀態(tài)(根據(jù)屏幕的感知散列來判斷)。
除了這些改進外,團隊還嘗試了許多東西,比如DeepMimic,使用YOLO進行對象檢測,以及一些針對索尼克游戲的特定想法。不過這些方法并沒有特別起效。
代碼:https://github.com/eyounx/RetroCodes
Mistake
Mistake隊有兩名成員,Peng Xu和Qiaoling Zhong。他們都是研二的學(xué)生,來自中國科學(xué)院網(wǎng)絡(luò)數(shù)據(jù)科學(xué)與技術(shù)重點實驗室。
他們的解決方案是基于Rainbow基準(zhǔn)。Rainbow是DeepMind對DQN算法進行的組合改良。DeepMind的實驗表明,從數(shù)據(jù)效率和最終性能方面來說,Rainbow能夠在Atari 2600基準(zhǔn)上提供最為先進的性能。
Mistake團隊進行了一些有助于提升性能的修改:n對n步Q-learning的更好的值;額外添加了一層CNN層到模型,這使得訓(xùn)練速度更慢但更好;DQN目標(biāo)更新間隔更短。此外,團隊還嘗試與Rainbow進行聯(lián)合訓(xùn)練,但發(fā)現(xiàn)這樣做實際上降低了性能。
代碼:https://github.com/xupe/mistake-in-retro-contest-of-OpenAI
-
阿里巴巴
+關(guān)注
關(guān)注
7文章
1605瀏覽量
47007 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8325瀏覽量
132219 -
強化學(xué)習(xí)
+關(guān)注
關(guān)注
4文章
264瀏覽量
11186
原文標(biāo)題:OpenAI首屆遷移學(xué)習(xí)競賽,南大阿里團隊奪冠,中科院第二
文章出處:【微信號:AI_era,微信公眾號:新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論