機器人能玩耍也能學(xué)習(xí)?加州大學(xué)為你解謎

機器人緊緊地抓住門把手，或者把塑料香蕉投進碗中，亦或是用力在金屬箱附近推動樂高積木......

如果您參觀過加州大學(xué)伯克利分校 Sergey Levine 教授的實驗室，您可能會看到這樣一些場景。

Sergey Levine 的機器人實驗室也許有一天會成為機器人的“游樂場”。

機器人為什么會玩耍？因為智慧就體現(xiàn)在生物通過戳東西、推動物體和觀察發(fā)生的事情來了解自己的物理環(huán)境。

Levine 解釋說：“證明智慧存在的唯一證據(jù)是在人類身上，而人類存在于物質(zhì)世界中，是具體化的。事實上，我們所知道的所有智慧生物都是具體化的。也許他們不必如此，但我們并不知道例外情況。”

因此，更廣泛地講，“我認為機器人實際上是人工智能的一個透視鏡”，他說道。

機器訓(xùn)練也應(yīng)遵循“達爾文進化論”

Levine 認為，多年來，人們從機器人技術(shù)上得到的重大收獲之一便是，它證實了“莫拉維克悖論”（Moravec's paradox）。

卡內(nèi)基梅隆大學(xué)機器人學(xué)教授 Hans Moravec 在其 1988 年出版的《智力后裔：機器人和人類智能的未來》(Mind Children: The Future of Robot and Human Intelligence) 一書中談到了 AI 的二分法。

機器可以被教會做“人類覺得困難的事情”，比如對戰(zhàn)一局國際象棋。但機器在“對我們來說輕而易舉的事情”上做得卻不盡人意，比如基本的運動技能。

Levine 表示：“如果您想讓一臺機器下國際象棋，這實際上會相對容易些。但如果您想要一臺機器來拾起棋子，卻難于上青天。”

Moravec 把這種二分法看成是一條可制造智能機器的“重大線索”。他主張遵循達爾文進化論的路線來構(gòu)建智能。也就是說，先從基本的感覺運動系統(tǒng)逐步發(fā)展，自下而上，然后才是更高的推理能力。

缺乏機器學(xué)習(xí)的現(xiàn)成數(shù)據(jù)

有人要喝咖啡嗎？教機器學(xué)習(xí)可以創(chuàng)造能夠與人類一起生活和工作的機器人。

與網(wǎng)上無數(shù)的貓圖片不同，目前還沒有可供機器人學(xué)習(xí)的現(xiàn)成數(shù)據(jù)。因此，他的實驗室專注于讓機器“連續(xù)幾周探索環(huán)境，自主地推動物體、操控物體，然后了解所處的世界”。

Levine 使用各種機器學(xué)習(xí)技術(shù)來訓(xùn)練機器人，包括 CNN，尤其使用了增強學(xué)習(xí)，即通過從當(dāng)前狀態(tài)推斷到目標狀態(tài)來規(guī)劃抵達目的地的路徑。然后，機器人在測試時使用該策略來執(zhí)行這些任務(wù)的新實例。

在訓(xùn)練階段，玩物體游戲是“無人監(jiān)督的”。目前人類尚未設(shè)計出機器人在執(zhí)行任務(wù)時應(yīng)該做出的精確動作，甚至也未指定目標。

神經(jīng)網(wǎng)絡(luò)確定了機器人應(yīng)該實現(xiàn)的目標，然后確定了用于實現(xiàn)該目標的策略，包括機器人肢體的運動角度。

“學(xué)會學(xué)習(xí)”

場外訓(xùn)練利用了 NVIDIA GPU 集群。在測試期間，每個機器人都連接一個 GPU，用于運行已學(xué)習(xí)到的策略。在一些更具挑戰(zhàn)性的測試中（例如通過觀看一段人類的視頻演示來學(xué)習(xí)一項新策略），每臺機器都連接了功能更強大的NVIDIA DGX-1。

Levine 表示，GPU 計算能力為 AI 帶來兩大好處。通過加速訓(xùn)練，它“允許我們更快地進行科研工作?！逼浯危谕评磉^程中，GPU 的強大功能可以實時做出反應(yīng)，這對“機器人來說至關(guān)重要”。

“當(dāng)機器人真正處于物質(zhì)世界中時，如果它正在運動，例如閉門飛行，”類似無人機的情況，“它需要在撞到門之前弄清楚門是關(guān)著的?！?/p>

Levine 團隊在增強學(xué)習(xí)方面的工作變得越發(fā)復(fù)雜。其中之一便是，教會機器人在測試時執(zhí)行任務(wù)，就像它在訓(xùn)練中學(xué)到的那樣。更具挑戰(zhàn)性的是，讓機器人學(xué)習(xí)能夠解決新奇任務(wù)的策略。Levine 稱，機器正在“學(xué)會學(xué)習(xí)”。

后者稱為元學(xué)習(xí)（meta-learning），是他實驗室日益關(guān)注的焦點。在近期發(fā)表的一篇名為《復(fù)合視覺運動任務(wù)的一次性分層模仿學(xué)習(xí)》(One-shot Hierarchical Imitation Learning of Compound Visuomotor Tasks) 的論文中，機器人首先觀察人類演示一個簡單的“原始”任務(wù)，比如將物體扔進碗中。它制定了一項策略來模仿該動作。

在測試時，機器人將從事一項“復(fù)合”任務(wù)，比如將物體扔進碗中，然后沿著桌子移動碗。機器人利用其先前處理簡單任務(wù)掌握的經(jīng)驗，形成一“系列”策略，并借此來連續(xù)執(zhí)行動作。

伯克利人工智能研究實驗室也參與了我們的 NVIDIA AI 實驗室計劃。

Levine 的機器人僅在看到人類演示一次復(fù)合任務(wù)后，就能夠模仿人類所演示的任務(wù)，這就是所謂的“一次性”學(xué)習(xí)。

機器人的成長

Levine 非常留意對 AI 持懷疑態(tài)度的人，比如紐約大學(xué)教授 Gary Marcus。Levine同意 Marcus 的觀點，即今天的深度學(xué)習(xí)并不會帶來更高的推理能力。

形成更高的推理能力可能是機器人生命周期中的一個過程，而不是單個神經(jīng)網(wǎng)絡(luò)。

他說：“我認為，如果未來機器人也能像我們一樣擁有童年，那將是一件了不起的事情。”這樣，機器人會通過各種發(fā)育階段來取得進步。

Levine 若有所思地說，在最終的成年期，機器人的心智將會繼續(xù)發(fā)展。

“如果你有個機器人須執(zhí)行某種任務(wù)，比如進行施工。在停歇時，這個機器人不會只是坐在小房間里收拾塵土，實際上，它做事情的方式會和人類一樣?！?/p>

回歸現(xiàn)實

要使機器人能自行發(fā)育，我們還需從事大量的系統(tǒng)工程工作，并將其與深度學(xué)習(xí)相結(jié)合。但 Levine 相信，“在未來五年左右的時間里，我們將看到這些事情成為現(xiàn)實?！?/p>

“它可能從工業(yè)機器人開始，比如倉庫、雜貨店的機器人。但我認為我們會在日常生活中看到越來越多的機器人?！?/p>