Google強化學習框架，要滿足哪三大特性

強化學習是一種非常重要 AI 技術，它能使用獎勵（或懲罰）來驅動智能體（agents）朝著特定目標前進，比如它訓練的 AI 系統(tǒng) AlphaGo 擊敗了頂尖圍棋選手，它也是 DeepMind 的深度 Q 網絡（DQN）的核心部分，它可以在多個 workers 之間分步學習，例如，在 Atari 2600 游戲中實現“超人”性能。

麻煩的是，強化學習框架需要花費大量時間來掌握一個目標，而且框架往往是不靈活和不總是穩(wěn)定的。

但不用擔心，Google 近日發(fā)布了一個替代方案：基于 TensorFlow 的開源強化學習框架 Dopamine（多巴胺）。

Google 的博文中提到，這個基于 Tensorflow 的強化學習框架，旨在為 RL 的研究人員提供靈活性，穩(wěn)定性和可重復性的研究。受到大腦中獎勵動機行為的主要成分的啟發(fā)，以及反映神經科學與強化學習研究之間強烈的歷史聯(lián)系，該平臺旨在實現可推動激進發(fā)現的思辨研究（speculative research）。此版本還包括一組闡明如何使用整個框架的 colabs。

除了強化學習框架的發(fā)布，谷歌還推出了一個網站（https://google.github.io/dopamine/baselines/plots.html），允許開發(fā)人員快速可視化多個智能體的訓練運行情況。他們希望，這一框架的靈活性和易用性將使研究人員能積極嘗試新的想法，不管是漸進式還是激進式的想法。

引入靈活和可重復的強化學習研究的新框架

強化學習（RL）研究在過去幾年中取得了許多重大進展。這些進步使得智能體可以以超人類級別的能力玩游戲。比如 Atari 游戲中 DeepMind 的 DQN ，AlphaGo ，AlphaGo Zero 以及 Open AI Five。

具體而言，在 DQN 中引入 replay memories 可以利用以前的智能體經驗，大規(guī)模的分布式訓練可以在多個 workers 之間分配學習過程，分布式方法允許智能體模擬完整的分布過程，而不僅僅是模擬它們期望值，以學習更完整的圖景。這種類型的進展很重要，因為出現這些進步的算法還適用于其他領域，例如機器人技術。

通常，這種進步都來自于快速迭代設計（通常沒有明確的方向），以及顛覆既定方法的結構。然而，大多數現有的 RL 框架并沒有結合靈活性和穩(wěn)定性以及使研究人員能夠有效地迭代 RL 方法，并因此探索可能沒有直接明顯益處的新研究方向。此外，從現有框架再現結果通常太耗時，這可能導致科學的再現性問題。

今天，我們推出了一個新的基于 Tensorflow 的框架，旨在為 RL 的研究人員提供靈活性、穩(wěn)定性和可重復性。受到大腦中獎勵動機行為的主要成分的啟發(fā)，以及反映神經科學與強化學習研究之間強烈的歷史聯(lián)系，該平臺旨在實現可推動激進發(fā)現的思辨研究（speculative research）。此版本還包括一組闡明如何使用整個框架的 colabs。

易用性

清晰和簡潔是該框架設計中要考慮的兩個關鍵因素。我們提供更精簡的代碼（大約 15 個Python 文件），并且有詳細記錄。這是通過專注于 Arcade 學習環(huán)境（一個成熟的，易于理解的基準）和四個基于 value 的智能體來實現的：DQN，C51，一個精心策劃的 Rainbow 智能體的簡化版本，以及隱式分位數網絡（Implicit Quantile Network）智能體，這已在上個月的 ICML 大會上已經發(fā)表。我們希望這種簡潔性使研究人員能夠輕松了解智能體內部的運作狀況，并積極嘗試新的想法。

可重復性

我們對重復性在強化學習研究中的重要性特別敏感。為此，我們?yōu)榇a提供完整的測試覆蓋率，這些測試也可作為其他文檔形式。此外，我們的實驗框架遵循 Machado 等人給出的關于使用 Arcade 學習環(huán)境標準化經驗評估的建議。

基準測試

對于新的研究人員來說，能夠根據既定方法快速對其想法進行基準測試非常重要。因此，我們?yōu)?Arcade 學習環(huán)境支持的 60 個游戲提供四個智能體的完整培訓數據，可用作 Python pickle 文件（用于使用我們框架訓練的智能體）和 JSON 數據文件（用于與受過其他框架訓練的智能體進行比較）；我們還提供了一個網站，你可以在其中快速查看 60 個游戲中所有智能體的訓練運行情況。

下面展示我們在 Seaquest 上的 4 個代理的訓練情況，這是由 Arcade 學習環(huán)境支持的一種 Atari 2600 游戲。

在 Seaquest 上的 4 名智能體參加了訓練。x 軸表示迭代，其中每次迭代是 100 萬個游戲幀（4.5 小時的實時游戲）；y 軸是每場比賽獲得的平均分數。陰影區(qū)域顯示的是來自 5 次獨立運行的置信區(qū)間。

我們還提供已經訓練好的深度網絡，原始統(tǒng)計日志以及用 Tensorboard 繪圖的 Tensorflow 事件文件。這些都可以在網站的下載部分找到。

希望我們框架的靈活性和易用性將使研究人員敢于嘗試新的想法，包括漸進式和激進式的想法。我們已經積極地將它用于我們的研究，并發(fā)現它能夠靈活且快速迭代許多想法。我們很高興可以為更大的社區(qū)做些貢獻。