人工智能的強化學習要點

了解強化學習的要點！

強化學習（RL）是現(xiàn)代人工智能領域中最熱門的研究主題之一，其普及度還在不斷增長。 讓我們看一下開始學習RL需要了解的5件事。

1.什么是強化學習？ 與其他機器學習技術相比有何不同？

強化學習（RL）是一種機器學習技術，使代理能夠使用自身行為和經(jīng)驗的反饋，通過反復試驗，在交互式環(huán)境中學習。

盡管監(jiān)督學習和強化學習都使用輸入和輸出之間的映射，但不同于監(jiān)督學習，后者提供給代理的反饋是執(zhí)行任務的正確動作集，而強化學習則將獎懲作為正面和負面行為的信號。

與無監(jiān)督學習相比，強化學習在目標方面有所不同。 無監(jiān)督學習的目標是發(fā)現(xiàn)數(shù)據(jù)點之間的相似點和差異，而在強化學習的情況下，目標是找到合適的行為模型，以最大化代理的總累積獎勵。 下圖說明了通用RL模型的動作獎勵反饋回路。

2.如何制定基本的強化學習問題？

描述RL問題基本要素的一些關鍵術語是：

環(huán)境-代理在其中運行的物理世界

狀態(tài)—代理的現(xiàn)狀

獎勵-來自環(huán)境的反饋

策略-將代理狀態(tài)映射到操作的方法

價值-代理在特定狀態(tài)下采取的行動將獲得的未來獎勵

RL問題可以通過游戲來最好地解釋。 讓我們以吃豆人的游戲為例，代理人（PacMan）的目標是在網(wǎng)格中吃食物，同時避免途中出現(xiàn)鬼魂。 在這種情況下，網(wǎng)格世界是代理所作用的交互式環(huán)境。 如果特工被幽靈殺死（輸?shù)袅擞螒颍頃玫绞澄锖蛻土P的獎勵。 狀態(tài)是代理在網(wǎng)格世界中的位置，總累積獎勵是贏得比賽的代理。

為了建立最佳政策，代理面臨探索新狀態(tài)的困境，同時又要最大化其整體回報。 這稱為"探索與利用"的權衡。 為了平衡兩者，最佳的整體策略可能涉及短期犧牲。 因此，代理應收集足夠的信息，以便將來做出最佳的總體決策。

馬爾可夫決策過程（MDP）是描述RL環(huán)境的數(shù)學框架，幾乎所有RL問題都可以使用MDP來表述。 一個MDP由一組有限的環(huán)境狀態(tài)S，在每個狀態(tài)下的一組可能的動作A，一個實值獎勵函數(shù)R和一個過渡模型P（s'，s | a）組成。 但是，現(xiàn)實環(huán)境更可能缺少任何有關環(huán)境動力學的先驗知識。 在這種情況下，無模型RL方法非常方便。

Q學習是一種常用的無模型方法，可用于構建自播放的PacMan代理。 它圍繞更新Q值的概念展開，Q值表示在狀態(tài)s中執(zhí)行動作a的值。 以下值更新規(guī)則是Q學習算法的核心。

3.什么是最常用的強化學習算法？

Q學習和SARSA（狀態(tài)行動-獎勵狀態(tài)行動）是兩種常用的無模型RL算法。 它們的探索策略不同，而利用策略卻相似。 Q學習是一種非策略方法，其中代理根據(jù)從另一個策略得出的操作a *學習值，而SARSA是一種策略上方法，在其中根據(jù)其當前操作a從當前策略得出的值來學習值。 政策。 這兩種方法易于實現(xiàn)，但缺乏通用性，因為它們無法估計未見狀態(tài)的值。

可以通過更高級的算法（例如使用神經(jīng)網(wǎng)絡來估計Q值的深度Q網(wǎng)絡（DQN））來克服這一問題。 但是DQN只能處理離散的低維動作空間。

深度確定性策略梯度（DDPG）是一種無模型，脫離策略，對執(zhí)行者敏感的算法，它通過在高維連續(xù)動作空間中學習策略來解決此問題。 下圖是評論體系結構的表示。

4.強化學習的實際應用是什么？

由于RL需要大量數(shù)據(jù)，因此最適用于容易獲得模擬數(shù)據(jù)（例如游戲性，機器人技術）的領域。

RL被廣泛用于構建用于玩計算機游戲的AI。 AlphaGo Zero是第一個在古代中國的圍棋游戲中擊敗世界冠軍的計算機程序。 其他包括ATARI游戲，西洋雙陸棋等

在機器人技術和工業(yè)自動化中，RL用于使機器人能夠為其自身創(chuàng)建高效的自適應控制系統(tǒng)，該系統(tǒng)可以從自身的經(jīng)驗和行為中學習。 DeepMind的"通過異步策略更新進行機器人操縱的深度強化學習"就是一個很好的例子。 觀看這個有趣的演示視頻。

RL的其他應用包括抽象文本摘要引擎，對話代理（文本，語音），這些代理可以從用戶的交互中學習并隨著時間的流逝而改善，學習醫(yī)療保健中的最佳治療策略，以及用于在線股票交易的基于RL的代理。

5.我如何開始進行強化學習？

為了理解RL的基本概念，可以參考以下資源。

《強化學習-入門》，是強化學習之父的一本書-理查德·薩頓（Richard Sutton）和他的博士生導師安德魯·巴托（Andrew Barto）。 這本書的在線草稿可以在這里找到。

David Silver的教學材料（包括視頻講座）是有關RL的入門課程。

Pieter Abbeel和John Schulman（開放式AI /伯克利AI研究實驗室）的另一本有關RL的技術教程。

對于開始構建和測試RL代理，以下資源可能會有所幫助。

博客介紹了如何使用來自原始像素的Policy Gradients訓練神經(jīng)網(wǎng)絡ATARI Pong代理，Andrej Karpathy將幫助您在130行Python代碼中啟動并運行您的第一個Deep Reinforcement Learning代理。

·DeepMind Lab是一個類似于開放源代碼的3D游戲平臺，用于具有豐富模擬環(huán)境的基于代理的AI研究。

馬爾默項目是另一個支持AI基礎研究的AI實驗平臺。

OpenAI Gym是用于構建和比較強化學習算法的工具包。