深度學習教機器人學走路 實驗證明AI是個好老師

2018年12月，來自加利福尼亞大學伯克利分校和谷歌大腦的科學家們開發(fā)出了一套人工智能系統(tǒng)，它可以讓機器人自己學會走路。這一成果發(fā)表于預印本網站arXiv.org上，論文題為《通過深度強化學習來學習走路》（Learning to Walk via Deep Reinforcement Learning）。

在研究人員公布的視頻資料中，四足機器人Minitaur試圖走過一個平整的緩坡。在視頻開頭，時間顯示為0，這是四足機器人學習走路的開始。此時的四足機器人Minitaur如一個蹣跚學步的嬰兒，時而搖晃、時而原地踏步，它嘗試著邁開“腿”前進，但身體卻“誠實”地留在原地，整個行走過程進展緩慢。轉變發(fā)生在Minitaur學習走路的第18分鐘，這時它已經可以持續(xù)性地前進了，但平衡性稍顯不足。后續(xù)的練習中，Minitaur的步伐逐漸變得穩(wěn)定且迅速。54分鐘、72分鐘、108分鐘，不到2小時的時間，Minitaur基本學會了快速且平穩(wěn)地走過緩坡。

這就是四足機器人Minitaur學習走路的全過程。加利福尼亞大學伯克利分校和谷歌大腦的科學家們研發(fā)出的人工智能算法“教”會了這個四足機器人穿越熟悉或陌生的地形。

在整個訓練過程中，研究人員需要“手動”把走到緩坡盡頭的機器人“請”回緩坡的起點以重新開始新一輪的練習，這一手動復位的過程稍顯繁瑣。不過，從結果來看，這一耗時2小時的學步過程實屬高效，不少網友就此評價稱“AI真是個好老師”。

在人工智能領域中經常提到“強化學習”的概念，這是一種使用獎勵或懲罰的驅動來實現(xiàn)特定目標的人工智能方法，目的是獲得一個策略以指導行動。比如圍棋博弈中，這個策略可以根據盤面形勢指導每一步應該在哪里落子。而在四足機器人Minitaur學習走路的過程中，這個策略可以根據地形等要素告訴機器人下一步應該怎么走。

強化學習會從一個初始的策略開始。通常，初始策略不一定很理想，正如四足機器人Minitaur在剛開始學走路的時候所表現(xiàn)的那樣。不過。在學習的過程中，作為決策主體的四足機器人Minitaur會通過行動和環(huán)境進行交互，不斷獲得反饋，即回報或者懲罰，并根據反饋調整優(yōu)化策略。

強化學習是一種非常強大的學習方式。持續(xù)不斷的強化學習甚至能夠獲得比人類更優(yōu)的決策機制。最好的例子就是阿爾法狗。2016年，谷歌通過深度學習訓練的阿爾法狗（ AlphaGo）程序以4比1的比分戰(zhàn)勝了曾經的圍棋世界冠軍李世石。它的改進版更在2017年戰(zhàn)勝了當時世界排名第一的中國棋手柯潔，其令世人震驚的博弈能力就是通過強化學習訓練出來的。

但強化學習也有其局限性。它需要大量數(shù)據，在某些情況下需要數(shù)萬個樣本才能獲得良好的結果。這就需要四足機器人Minitaur像阿爾法狗那樣進行多次訓練，但過多的訓練可能會對四足機器人造成損壞。

因此，這項“學習走路”的研究選擇了強化學習的“升級版”——深度強化學習的方法，將深度學習的感知能力和強化學習的決策能力相結合。這種方法可以直接根據輸入的圖像進行控制，是一種更接近人類思維方式的人工智能方法。

用研究人員的話說，為了“使一個系統(tǒng)在沒有模擬訓練的情況下學習運動技能成為可能”，他們采用了一種名為“最大熵RL”強化學習框架。最大熵RL可以優(yōu)化學習策略，以最大化預期收益。在這個框架中，人工智能代理通過從策略中抽取某些行動并接收獎勵的方式不斷地尋找最佳的行動路徑。

研究人員表示，“據我們所知，本實驗是在現(xiàn)實世界中不經過模仿和預訓練而直接學習欠驅動四足運動的第一個深度強化學習算法案例。

2018年5月，同個課題組的研究人員曾在arXiv.org上發(fā)表了另一篇關于四足機器人Minitaur的研究論文。當時，研究人員使用深度強化學習的方法使Minitaur從零開始學習四足運動，并最終實現(xiàn)了小跑和疾馳。