一種基于模型的元強(qiáng)化學(xué)習(xí)算法用于提高快速適應(yīng)性

人類具有適應(yīng)環(huán)境變化的強(qiáng)大能力：我們可以迅速地學(xué)會住著拐杖走路、也可以在撿起位置物品時迅速地調(diào)整自己的力量輸出，甚至小朋友在不同地面上行走都能輕松自如地切換自己的步態(tài)和行走模式。這樣的適應(yīng)能力對于在復(fù)雜多變的環(huán)境中生存活動十分重要。但這些看似是人類與生俱來的能力，機(jī)器人拼盡全力也未必能實現(xiàn)。

絕大部分的機(jī)器人都被部署在固定環(huán)境中重復(fù)執(zhí)行固定的動作，但面對未知的全新情況機(jī)器人就會失效，甚至是運行環(huán)境的些許變化，比如一陣風(fēng)來了、負(fù)載質(zhì)量改變或意外的擾動都會給機(jī)器人帶來難以處理的困難。為了縮小機(jī)器人與人類對于環(huán)境適應(yīng)能力間的差距，研究人員認(rèn)為機(jī)器人預(yù)測狀態(tài)與實際觀測狀態(tài)間如果存在較大的誤差，那么這個誤差應(yīng)該要引導(dǎo)機(jī)器人更新自身模型，以更好地描述當(dāng)前狀態(tài)，也就是快速的環(huán)境適應(yīng)性。

有一個形象的例子來解釋這種適應(yīng)性，很多小伙伴在開車時，特別在北方的冬天都遇到過車輛側(cè)滑的情況，駕駛員發(fā)現(xiàn)預(yù)測車的行駛狀況與實際不符，本來該直走的車怎么橫著開了！這時駕駛員就根據(jù)這個誤差迅速調(diào)整自身操作來糾正車輛行駛狀態(tài)。這個過程就是我們期望機(jī)器人能夠?qū)W會的快速適應(yīng)能力。

對于一個要面對錯綜復(fù)雜真實世界的機(jī)器人來說，從先前經(jīng)驗中迅速、靈活地調(diào)整自身狀態(tài)和行為適應(yīng)環(huán)境是十分重要的。為了實現(xiàn)這個目標(biāo)，研究人員開發(fā)了一種基于模型的元強(qiáng)化學(xué)習(xí)算法用于提高快速適應(yīng)性。先前的工作主要基于試錯的方法和無模型的元強(qiáng)化學(xué)習(xí)方法來處理這一問題，而在本文的研究人員將這一問題拓展到了極端情況，機(jī)器人在面對新情況時需要實時在線、在幾個時間周期內(nèi)迅速完成適應(yīng)，所以實現(xiàn)這一目標(biāo)的難度可想而知。基于模型的元學(xué)習(xí)方法不像先前方法基于目標(biāo)的獎勵來優(yōu)化，而是利用每一時刻預(yù)測與觀測間的誤差作為數(shù)據(jù)輸入來處理模型。這種基于模型的方法使機(jī)器人在使用少量數(shù)據(jù)的情況下實現(xiàn)對環(huán)境的實時更新。

這一方法利用了最近的觀測數(shù)據(jù)來對模型進(jìn)行更新，但真正的挑戰(zhàn)在于如何基于少量的數(shù)據(jù)對復(fù)雜、非線性、大容量的模型（例如神經(jīng)網(wǎng)絡(luò)）進(jìn)行自適應(yīng)控制。簡單的隨機(jī)梯度下降方法對于需要快速適應(yīng)的方法效率很低，神經(jīng)網(wǎng)絡(luò)需要大量的數(shù)據(jù)來訓(xùn)練模型才能實現(xiàn)有效的更新。所以為了實現(xiàn)快速的自適應(yīng)調(diào)整，研究人員提出了新的方法。首先利用自適應(yīng)目標(biāo)對進(jìn)行（元）訓(xùn)練，而后在使用時利用少量的數(shù)據(jù)進(jìn)行精細(xì)訓(xùn)練以實現(xiàn)快速適應(yīng)性調(diào)整。在不同情況下訓(xùn)練出的元模型將學(xué)會如何去適應(yīng)，機(jī)器人就可以利用元模型在每一個時間步長上進(jìn)行適應(yīng)性更新以處理當(dāng)前所面對的環(huán)境，以實現(xiàn)快速在線適應(yīng)的目標(biāo)。

元訓(xùn)練

機(jī)器人的運動離不開對狀態(tài)的估計。在任意時刻下我們都可以對當(dāng)前狀態(tài)St，施加一定的行為at，從而得到下一時刻的狀態(tài)St+1，這一狀態(tài)的變化主要由狀態(tài)轉(zhuǎn)移函數(shù)決定。在真實世界中，我們無法精確建立狀態(tài)轉(zhuǎn)移動力學(xué)過程，但可以利用學(xué)習(xí)到的動力學(xué)模型進(jìn)行近似，這樣就可以基于觀測數(shù)據(jù)進(jìn)行預(yù)測。上圖中的規(guī)劃器就可以利用這一估計的動力學(xué)模型來進(jìn)行行為調(diào)整。在訓(xùn)練時模型會選取最近的（M+K）連續(xù)的數(shù)據(jù)點序列，首先利用M個數(shù)據(jù)來更新模型的權(quán)重，隨后利用身下的K個點來優(yōu)化跟新后的模型對于新狀態(tài)的預(yù)測能力。模型的損失函數(shù)可以表達(dá)為在先前K個點上進(jìn)行適應(yīng)后，在未來K個點上的預(yù)測誤差。這意味著訓(xùn)練模型可以利用鄰近的數(shù)據(jù)點迅速調(diào)整權(quán)重使自身可以進(jìn)行較好的動力學(xué)預(yù)測。

為了測試這種方法對于環(huán)境突變的適應(yīng)能力，研究人員首先在仿真機(jī)器人系統(tǒng)中進(jìn)行了實驗。研究人員在相同擾動下的環(huán)境中多所有主體進(jìn)行了元訓(xùn)練，而在主體從未見過的環(huán)境及變化中進(jìn)行測試。下面的獵豹模型在隨機(jī)浮動的擾動上進(jìn)行訓(xùn)練，隨后在水上浮動的情況下進(jìn)行了測試，機(jī)器人展現(xiàn)了快速適應(yīng)環(huán)境變化的能力。右圖顯示了在斷腿的情況下機(jī)器人的適應(yīng)性：

機(jī)器人面對環(huán)境變化后的適應(yīng)能力，圖中展示了基于模型的方法和基于在線自適應(yīng)的方法

對于多足機(jī)器人來說，在不同腿配置的情況下進(jìn)行了訓(xùn)練，而在不同腿部損傷情況下進(jìn)行了測試。這種基于模型的元強(qiáng)化學(xué)習(xí)方法使得機(jī)器人具有快速適應(yīng)能力，更多的比較測試詳見文末論文。

硬件實驗

為了更好地驗證算法在真實世界中的有效性，研究人員使用了具有高度隨機(jī)性和動力學(xué)特性微型6足機(jī)器人。

快速制造技術(shù)和多種定制化的設(shè)計，使得每一個機(jī)器人的動力學(xué)特性都獨一無二。它的零部件性能會隨著使用逐漸退化，同時也能在不同地面上快速移動。這使機(jī)器人控制算法面臨著會隨時變化的環(huán)境狀況，十分適合用于驗證算法。研究人員首先在不同的地面狀況下對機(jī)器人進(jìn)行元訓(xùn)練，隨后測試了機(jī)器在新情況下的在線適應(yīng)能力。在斷腿、新地表、斜坡路況、負(fù)載變化、錯誤標(biāo)定擾動等情況下都表現(xiàn)良好?？梢钥吹讲煌闆r下最右邊的在線適應(yīng)方法更為穩(wěn)定，適應(yīng)不同情況的能力更強(qiáng)。腿斷了也能盡力走直線了：

加上負(fù)載也不會走的歪歪扭扭：

位姿錯誤標(biāo)定也能及時更新糾正：

在和標(biāo)準(zhǔn)基于模型的方法(MB)、動力學(xué)評測的方法(MB+DE)比較中都顯示了這種方法的優(yōu)勢。在各個指標(biāo)上都取得了遠(yuǎn)超傳統(tǒng)方法的結(jié)果。

在未來研究人員計劃對模型進(jìn)行改進(jìn)，使它的能力隨著時間逐漸增長而不是每次都需要從預(yù)訓(xùn)練模型進(jìn)行精調(diào)。并能夠記住在學(xué)習(xí)過程中學(xué)到的技能，將在線適應(yīng)的學(xué)習(xí)到的新能力作為未來遇到新情況時的先驗技能提高模型表現(xiàn)。