基于雙估計(jì)器的Speedy Q-learning算法

　　Q-learning算法是一種經(jīng)典的強(qiáng)化學(xué)習(xí)算法，更新策略由于保守和過估計(jì)的原因，存在收斂速度慢的問題。 SpeedyQ-learning算法和 Double Q-learning算法是 Q-learning算法的兩個(gè)變種，分別用于解決 Q-learning算法收斂速度慢和過估計(jì)的問題。文中基于 Speedy Q-learning算法Q值的更新規(guī)則和蒙特卡洛強(qiáng)化學(xué)習(xí)的更新策略，通過理論分析及數(shù)學(xué)證明提岀了其等價(jià)形式，從該等價(jià)形式可以看到， Speedy Q-learning算法由于將當(dāng)前Q值的估計(jì)函數(shù)作為歷史Q值的估計(jì)，雖然整體上提升了智能體的收斂速度，但是同樣存在過估計(jì)問題，使得算法在迭代初期的收斂速度較慢。針對(duì)該問題，文中基于 Double cearning算法中雙估計(jì)器可以改善智能體收斂速度的特性，提岀了一種改進(jìn)算法 Double speedy Q-learning。其通過雙估計(jì)器，分離最優(yōu)動(dòng)作和最大Q值的選擇，改善了 Speedy Q-learning算法在迭代初期的學(xué)習(xí)策略，提升了 Speedy Q-learning算法的整體收斂速度。在不同規(guī)模的格子世界中進(jìn)行實(shí)驗(yàn)，分別采用線性學(xué)習(xí)率和多項(xiàng)式學(xué)習(xí)率，來(lái)對(duì)比 Q-learning算法及其改進(jìn)算法在迭代初期的收斂速度和整體收斂速度。實(shí)驗(yàn)結(jié)果表明，υσ uble speedy Q-learning算法在迭代初期的收斂速度快于 Speedy aearning算法，且其整體收斂速度明顯快于對(duì)比算法，其實(shí)際泙均獎(jiǎng)勵(lì)值和期望獎(jiǎng)勵(lì)值之間的差值最小。