了解強化學習的要點!
強化學習(RL)是現(xiàn)代人工智能領域中最熱門的研究主題之一,其普及度還在不斷增長。 讓我們看一下開始學習RL需要了解的5件事。
1.什么是強化學習? 與其他機器學習技術相比有何不同?
強化學習(RL)是一種機器學習技術,使代理能夠使用自身行為和經(jīng)驗的反饋,通過反復試驗,在交互式環(huán)境中學習。
盡管監(jiān)督學習和強化學習都使用輸入和輸出之間的映射,但不同于監(jiān)督學習,后者提供給代理的反饋是執(zhí)行任務的正確動作集,而強化學習則將獎懲作為正面和負面行為的信號。
與無監(jiān)督學習相比,強化學習在目標方面有所不同。 無監(jiān)督學習的目標是發(fā)現(xiàn)數(shù)據(jù)點之間的相似點和差異,而在強化學習的情況下,目標是找到合適的行為模型,以最大化代理的總累積獎勵。 下圖說明了通用RL模型的動作獎勵反饋回路。
2.如何制定基本的強化學習問題?
描述RL問題基本要素的一些關鍵術語是:
環(huán)境-代理在其中運行的物理世界
狀態(tài)—代理的現(xiàn)狀
獎勵-來自環(huán)境的反饋
策略-將代理狀態(tài)映射到操作的方法
價值-代理在特定狀態(tài)下采取的行動將獲得的未來獎勵
RL問題可以通過游戲來最好地解釋。 讓我們以吃豆人的游戲為例,代理人(PacMan)的目標是在網(wǎng)格中吃食物,同時避免途中出現(xiàn)鬼魂。 在這種情況下,網(wǎng)格世界是代理所作用的交互式環(huán)境。 如果特工被幽靈殺死(輸?shù)袅擞螒颍頃玫绞澄锖蛻土P的獎勵。 狀態(tài)是代理在網(wǎng)格世界中的位置,總累積獎勵是贏得比賽的代理。
為了建立最佳政策,代理面臨探索新狀態(tài)的困境,同時又要最大化其整體回報。 這稱為"探索與利用"的權衡。 為了平衡兩者,最佳的整體策略可能涉及短期犧牲。 因此,代理應收集足夠的信息,以便將來做出最佳的總體決策。
馬爾可夫決策過程(MDP)是描述RL環(huán)境的數(shù)學框架,幾乎所有RL問題都可以使用MDP來表述。 一個MDP由一組有限的環(huán)境狀態(tài)S,在每個狀態(tài)下的一組可能的動作A,一個實值獎勵函數(shù)R和一個過渡模型P(s',s | a)組成。 但是,現(xiàn)實環(huán)境更可能缺少任何有關環(huán)境動力學的先驗知識。 在這種情況下,無模型RL方法非常方便。
Q學習是一種常用的無模型方法,可用于構建自播放的PacMan代理。 它圍繞更新Q值的概念展開,Q值表示在狀態(tài)s中執(zhí)行動作a的值。 以下值更新規(guī)則是Q學習算法的核心。
3.什么是最常用的強化學習算法?
Q學習和SARSA(狀態(tài)行動-獎勵狀態(tài)行動)是兩種常用的無模型RL算法。 它們的探索策略不同,而利用策略卻相似。 Q學習是一種非策略方法,其中代理根據(jù)從另一個策略得出的操作a *學習值,而SARSA是一種策略上方法,在其中根據(jù)其當前操作a從當前策略得出的值來學習值。 政策。 這兩種方法易于實現(xiàn),但缺乏通用性,因為它們無法估計未見狀態(tài)的值。
可以通過更高級的算法(例如使用神經(jīng)網(wǎng)絡來估計Q值的深度Q網(wǎng)絡(DQN))來克服這一問題。 但是DQN只能處理離散的低維動作空間。
深度確定性策略梯度(DDPG)是一種無模型,脫離策略,對執(zhí)行者敏感的算法,它通過在高維連續(xù)動作空間中學習策略來解決此問題。 下圖是評論體系結構的表示。
4.強化學習的實際應用是什么?
由于RL需要大量數(shù)據(jù),因此最適用于容易獲得模擬數(shù)據(jù)(例如游戲性,機器人技術)的領域。
RL被廣泛用于構建用于玩計算機游戲的AI。 AlphaGo Zero是第一個在古代中國的圍棋游戲中擊敗世界冠軍的計算機程序。 其他包括ATARI游戲,西洋雙陸棋等
在機器人技術和工業(yè)自動化中,RL用于使機器人能夠為其自身創(chuàng)建高效的自適應控制系統(tǒng),該系統(tǒng)可以從自身的經(jīng)驗和行為中學習。 DeepMind的"通過異步策略更新進行機器人操縱的深度強化學習"就是一個很好的例子。 觀看這個有趣的演示視頻。
RL的其他應用包括抽象文本摘要引擎,對話代理(文本,語音),這些代理可以從用戶的交互中學習并隨著時間的流逝而改善,學習醫(yī)療保健中的最佳治療策略,以及用于在線股票交易的基于RL的代理。
5.我如何開始進行強化學習?
為了理解RL的基本概念,可以參考以下資源。
《強化學習-入門》,是強化學習之父的一本書-理查德·薩頓(Richard Sutton)和他的博士生導師安德魯·巴托(Andrew Barto)。 這本書的在線草稿可以在這里找到。
David Silver的教學材料(包括視頻講座)是有關RL的入門課程。
Pieter Abbeel和John Schulman(開放式AI /伯克利AI研究實驗室)的另一本有關RL的技術教程。
對于開始構建和測試RL代理,以下資源可能會有所幫助。
博客介紹了如何使用來自原始像素的Policy Gradients訓練神經(jīng)網(wǎng)絡ATARI Pong代理,Andrej Karpathy將幫助您在130行Python代碼中啟動并運行您的第一個Deep Reinforcement Learning代理。
·DeepMind Lab是一個類似于開放源代碼的3D游戲平臺,用于具有豐富模擬環(huán)境的基于代理的AI研究。
馬爾默項目是另一個支持AI基礎研究的AI實驗平臺。
OpenAI Gym是用于構建和比較強化學習算法的工具包。
-
人工智能
+關注
關注
1789文章
46401瀏覽量
236629 -
強化學習
+關注
關注
4文章
264瀏覽量
11184
發(fā)布評論請先 登錄
相關推薦
評論