現(xiàn)在人們對(duì)無模型強(qiáng)化學(xué)習(xí)的一個(gè)普遍看法是,這種基于隨機(jī)搜索策略的方法在參數(shù)空間中比那些探索行為空間的方法表現(xiàn)出更差的樣本復(fù)雜性。UC Berkeley的研究人員通過引入隨機(jī)搜索方法,推翻了這種說法。以下是論智對(duì)作者Benjamin Recht博文的編譯。
我們已經(jīng)看到,隨機(jī)搜索在簡(jiǎn)單的線性問題上表現(xiàn)得很好,而且似乎比一些強(qiáng)化學(xué)習(xí)方法(例如策略梯度)更好。然而隨著問題難度增加,隨機(jī)搜索是否會(huì)崩潰?答案是否定的。但是,請(qǐng)繼續(xù)讀下去!
讓我們?cè)趶?qiáng)化學(xué)習(xí)社區(qū)感興趣的問題上應(yīng)用隨機(jī)搜索。深度強(qiáng)化學(xué)習(xí)領(lǐng)域一直把大量時(shí)間和精力用于由OpenAI維護(hù)的、基于MuJoCo模擬器的一套基準(zhǔn)測(cè)試中。這里,最優(yōu)控制問題指的是讓一個(gè)有腿機(jī)器人在一個(gè)方向上盡可能快地行走,越遠(yuǎn)越好。其中一些任務(wù)非常簡(jiǎn)單,但是有些任務(wù)很難,比如這種有22個(gè)自由度的復(fù)雜人形模型。有腿機(jī)器人的運(yùn)動(dòng)由Hamilton方程控制,但是從這些模型中計(jì)劃動(dòng)作是非常具有挑戰(zhàn)性的,因?yàn)闆]有設(shè)計(jì)目標(biāo)函數(shù)的最佳方法,并且模型是分段線性的。只要機(jī)器人的任何部位碰到堅(jiān)硬物體,模型就會(huì)變化,因此會(huì)出現(xiàn)此前沒有的作用于機(jī)器人的法向力。于是,讓機(jī)器人無需處理復(fù)雜的非凸非線性模型而正常工作,對(duì)強(qiáng)化學(xué)習(xí)來說是個(gè)有趣的挑戰(zhàn)。
最近,Salimans及其在OpenAI的合作者表示,隨機(jī)搜索在這些標(biāo)準(zhǔn)測(cè)試中表現(xiàn)的很好,尤其是加上幾個(gè)算法增強(qiáng)后很適合神經(jīng)網(wǎng)絡(luò)控制器。在另一項(xiàng)實(shí)驗(yàn)中,Rajeswaran等人表示,自然策略梯度可以學(xué)習(xí)用于完成標(biāo)準(zhǔn)的先行策略。也就是說,他們證明靜態(tài)線性狀態(tài)的反饋——就像我們?cè)贚QR(Linear Quadratic Regulator)中使用的那樣——也足以控制這些復(fù)雜的機(jī)器人模擬器。但這仍然有一個(gè)問題:簡(jiǎn)單隨機(jī)搜索能找到適合MuJoCo任務(wù)的線性控制器嗎?
我的學(xué)生Aurelia Guy和Horia Mania對(duì)此進(jìn)行了測(cè)試,他們編寫了一個(gè)非常簡(jiǎn)單的隨機(jī)搜索版本(是我之前發(fā)布的Iqrpols.py中的一個(gè))。令人驚訝的是,這個(gè)簡(jiǎn)單的算法學(xué)習(xí)了Swimmer-v1,Hopper-v1,Walker2d-v1和Ant-v1任務(wù)中的線性策略,這些策略實(shí)現(xiàn)了之前文章中提出的獎(jiǎng)勵(lì)閾值。不錯(cuò)!
但是只有隨機(jī)搜索還不夠完美。Aurelia和Horia完全不能用人形模型做出有趣的事。試了很多次參數(shù)調(diào)整后,他們決定改進(jìn)隨機(jī)搜索,讓它訓(xùn)練地更快。Horia注意到許多強(qiáng)化學(xué)習(xí)的論文利用狀態(tài)的統(tǒng)計(jì)數(shù)據(jù),并且在將狀態(tài)傳遞給神經(jīng)網(wǎng)絡(luò)之前能夠?qū)顟B(tài)白化。所以他開始保持在線估計(jì)狀態(tài),在將他們傳遞給線性控制器之前將它們白化。有了這個(gè)簡(jiǎn)單的竅門,Aurelia和Horia現(xiàn)在可以讓人形機(jī)器人做出最佳表現(xiàn)。這實(shí)際上是Salimans等人在標(biāo)準(zhǔn)值上達(dá)到的“成功閾值”的兩倍。只需要線性控制器、隨機(jī)搜索和一個(gè)簡(jiǎn)單的技巧。
另外還有一件簡(jiǎn)單的事情就是,代碼比OpenAI的進(jìn)化策略論文中的要快15倍。我們可以用更少的計(jì)算獲得更高的獎(jiǎng)勵(lì)。用戶可以在一小時(shí)內(nèi)在標(biāo)準(zhǔn)18核EC2實(shí)例上訓(xùn)練一個(gè)高性能人形模型。
現(xiàn)在,隨著在線狀態(tài)的更新,隨機(jī)搜索不僅超過了人形模型的最佳水平,而且還超越了Swimmer-v1、Hopper-v1、HalfCheetah-v1。但在Walker2d-v1和Ant-v1上的表現(xiàn)還不是很好。但是我們可以再添加一個(gè)小技巧。我們可以放棄不會(huì)產(chǎn)生良好回報(bào)的采樣方向。這增加了一個(gè)超參數(shù),但有了這一額外的調(diào)整,隨機(jī)搜索實(shí)際上可能會(huì)達(dá)到或超過OpenAI的gym中所有MuJoCo標(biāo)準(zhǔn)的最佳性能。注意,這里并不限制與策略梯度的比較。就我所知,這些策略比任何無模型強(qiáng)化學(xué)習(xí)的應(yīng)用結(jié)果要好,無論是Actor Critic Method還是Value Function Estimation Method等等更深?yuàn)W的東西。對(duì)于這類MuJoCo問題,似乎純粹的隨機(jī)搜索優(yōu)于深度強(qiáng)化學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)。
通過一些小調(diào)整得到的隨機(jī)搜索結(jié)果勝過了MuJoCo任務(wù)中的所有其他方法,并且速度更快。論文和代碼都已公布。
從隨機(jī)搜索中,我們有了以下幾點(diǎn)收獲:
基準(zhǔn)很難
我認(rèn)為所有這一切唯一合理的結(jié)論就是這些MuJoCo Demo很容易,毫無疑問。但是,用這些標(biāo)準(zhǔn)測(cè)試NIPS、ICML或ICLR中的論文可能不再合適。這就出現(xiàn)了一個(gè)重要的問題:什么是強(qiáng)化學(xué)習(xí)的良好標(biāo)準(zhǔn)?顯然,我們需要的不僅僅是Mountain Car。我認(rèn)為具有未知?jiǎng)幼鞯腖QR是一個(gè)合理的任務(wù),因?yàn)榇_定新實(shí)例并了解性能的限制是很容易的。但是該領(lǐng)域應(yīng)該花更多時(shí)間了解如何建立有難度的標(biāo)準(zhǔn)。
不要在模擬器上抱太大希望
這些標(biāo)準(zhǔn)比較容易的一部分原因是MuJoCo不是一個(gè)完美的模擬器。MuJoCo非常快,并且對(duì)于概念驗(yàn)證非常有用。但為了快速起見,它必須在接觸點(diǎn)周圍進(jìn)行平滑處理(接觸的不連續(xù)是使腿部運(yùn)動(dòng)困難的原因)。因此,你只能讓其中一個(gè)模擬器走路,并不意味著你可以讓真正的機(jī)器人走路。的確,這里有四種讓獎(jiǎng)勵(lì)可以達(dá)到6000的步態(tài),但看起來都不太現(xiàn)實(shí):
即使是表現(xiàn)最好的模型(獎(jiǎng)勵(lì)達(dá)到11600),如下圖所示,這種看起來很蠢的步態(tài)也不可能應(yīng)用在現(xiàn)實(shí)中:
努力將算法簡(jiǎn)化
在簡(jiǎn)單算法中添加超參數(shù)和算法小部件,可以在足夠小的一組基準(zhǔn)測(cè)試中提高其性能。我不確定是否放棄最好的方向或狀態(tài)歸一化會(huì)對(duì)新的隨機(jī)搜索問題起作用,但這對(duì)MuJoCo的標(biāo)準(zhǔn)和有用。通過添加更多可調(diào)參數(shù),甚至可以獲得更多回報(bào)。
使用之前先探索
注意,由于隨機(jī)搜索方法很快,我們可以評(píng)估它在許多隨機(jī)種子上的表現(xiàn)。這些無模型的方法在這些基準(zhǔn)上都表現(xiàn)出驚人的巨大差異。例如,在人形任務(wù)中,即使我們提供了我們認(rèn)為是好的參數(shù),模型的訓(xùn)練時(shí)間也慢了四分之一。對(duì)于那些隨機(jī)種子,它會(huì)找到相當(dāng)奇特的步態(tài)。如果將注意力限定在三個(gè)隨機(jī)種子上用于隨機(jī)搜索,通常具有誤導(dǎo)性,因?yàn)槟憧赡軙?huì)將性能調(diào)整為隨機(jī)數(shù)生成器的特性。
這種現(xiàn)象在LQR上也出現(xiàn)了。我們可以將算法向一些隨機(jī)種子進(jìn)行微調(diào),然后在新的隨機(jī)種子上看到完全不同的行為。Henderson等人用深度強(qiáng)化學(xué)習(xí)方法觀察了這些現(xiàn)象,但我認(rèn)為如此高的變量將成為所有無模型方法的通用癥狀。僅通過模擬就能解釋很多邊界情況。正如我在上一篇文章中所說的:“通過拋棄模型和知識(shí),我們永遠(yuǎn)不知道是否可以從少數(shù)實(shí)例和隨機(jī)種子中學(xué)到足夠的東西進(jìn)行概括?!?/p>
-
強(qiáng)化學(xué)習(xí)
+關(guān)注
關(guān)注
4文章
264瀏覽量
11183
原文標(biāo)題:簡(jiǎn)單隨機(jī)搜索:強(qiáng)化學(xué)習(xí)的高效途徑
文章出處:【微信號(hào):jqr_AI,微信公眾號(hào):論智】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論