優(yōu)步研發(fā)出人工智能新算法 取得了不小的進展

一種新型的機器學習算法剛剛掌握了一些已被證明是人工智能的頭疼的回歸視頻游戲。

接下來的人將會知道人工智能算法在古老，優(yōu)雅的策略游戲Go中擊敗了世界頂級人類玩家，這是最難以想象的游戲之一。但是，來自8位電腦游戲時代的兩個像素化經(jīng)典作品 - 蒙特祖瑪?shù)膹统鸷拖葳逡呀?jīng)阻礙了AI研究人員。

這種看似矛盾的原因是有道理的。蒙特蘇馬的復仇和陷阱雖然看似簡單，但看似簡單！通過強化學習已經(jīng)不受掌握，這種技術本來擅長學習征服視頻游戲。DeepMind是Alphabet的子公司，專注于人工智能，著名地用它來開發(fā)能夠?qū)W習如何在專家級別上玩幾個經(jīng)典視頻游戲的算法。強化學習算法與大多數(shù)游戲很好地融合，因為他們根據(jù)積極的反饋調(diào)整他們的行為 - 得分上升。該方法的成功使人們產(chǎn)生了希望，AI算法可以教會自己做各種有用的東西，這些東西目前對機器來說是不可能的。

蒙特祖瑪?shù)膹统鸷拖葳宓膯栴}！是沒有可靠的獎勵信號。兩個標題都涉及典型場景：主角探索充滿致命生物和陷阱的塊狀世界。但是在每種情況下，許多在游戲中前進所必需的行為都無助于提高分數(shù)，直到很久以后。普通的強化學習算法通常無法擺脫蒙特祖瑪?shù)膹统鸷拖葳逯械牡谝粋€房間！他們得分正好為零。

這些新算法來自優(yōu)步在舊金山的人工智能研究團隊，由Jeff Clune領導，他也是懷俄明大學的副教授。該團隊在一個環(huán)境中展示了一種根本不同的機器學習方法，該環(huán)境幾乎沒有提供顯示算法的線索。

這種方法引出了一些有趣的實際應用，Clune和他的團隊在今天發(fā)布的博客文章中寫道 - 例如，在機器人學習中。這是因為未來的機器人需要弄清楚在復雜的環(huán)境中應該做些什么并且只提供一些稀疏的獎勵。

優(yōu)步于 2016年12月啟動了人工智能實驗室，目標是實現(xiàn)可能對其業(yè)務有用的根本性突破。更好的強化學習算法最終可用于自動駕駛和優(yōu)化車輛路線等事項。

人工智能研究人員通常試圖解決蒙特祖瑪?shù)膹统鹋c陷阱所帶來的問題！通過指導強化學習算法有時隨機探索，同時為探索增加獎勵 - 所謂的“內(nèi)在動機”。

但優(yōu)步研究人員認為，這無法捕捉人類好奇心的一個重要方面?！拔覀兗僭O當前內(nèi)在動機算法的一個主要弱點是脫離，”他們寫道?！捌渲兴惴ㄍ浟怂麄冊L問過的有前途的區(qū)域，這意味著他們不會回到他們身邊，看看他們是否會導致新的狀態(tài)?！?/p>

該團隊新的強化學習算法系列，被稱為Go-Explore，記住了之前的狀態(tài)，并將在稍后返回特定區(qū)域或任務，看看它是否有助于提供更好的整體效果。研究人員還發(fā)現(xiàn)，通過讓人類玩家突出有趣或重要的區(qū)域來增加一些領域知識，可以大大加快算法的學習和進步。這很重要，因為可能存在許多真實情況，您希望算法和人員一起工作來解決一項艱巨的任務。

他們的代碼在蒙特祖瑪?shù)膹统鹬衅骄梅譃?00,000分 - 比人類專家的平均值高出一個數(shù)量級。在陷阱！它平均增加了21,000，遠遠超過大多數(shù)人類玩家。

“這些結果令人印象深刻，”斯坦福大學助理教授Emma Brunskill說，他專門研究強化學習。她說，令人驚訝和令人興奮的是，這些技術產(chǎn)生了如此巨大的優(yōu)勢。

其他人工智能研究人員一直在嘲笑這些臭名昭著的硬視頻游戲。10月，舊金山非營利組織OpenAI的一個團隊展示了一種能夠在Montezuma的復仇方面取得重大進展的算法。

最近，斯坦福大學的Brunskill小組在陷阱方面取得了較小的進展！使用類似優(yōu)步團隊的方法。

現(xiàn)在AI算法可以解決這些視頻游戲，挑戰(zhàn)是從街機中出現(xiàn)并解決現(xiàn)實問題。

Brunskill同意這種工作可能對機器人技術產(chǎn)生重大影響。但她說，其他現(xiàn)實世界的情況，特別是那些涉及人類行為建模的情況，要困難得多。“看看這種方法對于更復雜的設置有多好，這將是非常有趣的，”她說。