如何推進(jìn)發(fā)展更靈活的AI系統(tǒng)

機(jī)器人技術(shù)為推進(jìn)人工智能提供了重要機(jī)會(huì)，因?yàn)榻虣C(jī)器獨(dú)立學(xué)習(xí)將有助于在其他場景中開發(fā)更有能力和更靈活的AI系統(tǒng)。與各種機(jī)器人合作，F(xiàn)acebook AI研究人員正在探索新技術(shù)，以突破人工智能的界限。

做這項(xiàng)工作很復(fù)雜，數(shù)據(jù)更嘈雜，條件變化更大且不確定，實(shí)驗(yàn)還有額外的時(shí)間限制（因?yàn)樵趯W(xué)習(xí)時(shí)不能加速模擬）。這些問題并不簡單，但是它們?yōu)锳I提供了有用的測試用例。

與其他人工智能研究領(lǐng)域一樣，在機(jī)器人領(lǐng)域的大部分工作都集中在自我監(jiān)督上，其中系統(tǒng)直接從原始數(shù)據(jù)中學(xué)習(xí)（而不是從特定任務(wù)的特定結(jié)構(gòu)化訓(xùn)練數(shù)據(jù)中學(xué)習(xí)），因此它們可以適應(yīng)新任務(wù)和新任務(wù)情況。

教機(jī)器人自學(xué)走路

為了在機(jī)器人技術(shù)中做到這一點(diǎn)，團(tuán)隊(duì)正在推進(jìn)諸如基于模型的強(qiáng)化學(xué)習(xí)（RL）之類的技術(shù)，以使機(jī)器人能夠使用來自傳感器的直接輸入通過反復(fù)試驗(yàn)來自學(xué)。這里強(qiáng)調(diào)的項(xiàng)目展示了使用這些自我監(jiān)督的學(xué)習(xí)方法來解決這一領(lǐng)域中最基本的挑戰(zhàn)：開發(fā)可以四處移動(dòng)并探索周圍環(huán)境，并操縱遇到的物體的機(jī)器人。

這項(xiàng)工作將導(dǎo)致更強(qiáng)大的機(jī)器人，但更重要的是，它將使人工智能可以更有效地學(xué)習(xí)，更好地推廣到新的應(yīng)用程序。

為了突破機(jī)器如何獨(dú)立學(xué)習(xí)的極限，團(tuán)隊(duì)正在開發(fā)基于模型的RL方法，使六足機(jī)器人能夠?qū)W會(huì)走路，而不需要特定任務(wù)的信息或訓(xùn)練。

機(jī)器人從頭開始學(xué)習(xí)，沒有關(guān)于其環(huán)境或物理能力的信息，然后它使用數(shù)據(jù)有效的RL算法來學(xué)習(xí)實(shí)現(xiàn)期望結(jié)果的控制器，例如向前移動(dòng)。在收集信息時(shí)，模型會(huì)優(yōu)化獎(jiǎng)勵(lì)并隨著時(shí)間的推移改善其性能。

學(xué)習(xí)走路是很有挑戰(zhàn)性的，因?yàn)闄C(jī)器人必須在它的傳感器的幫助下，比如在它六條腿的每個(gè)關(guān)節(jié)上的傳感器（因?yàn)樗哪_上沒有傳感器），推斷出它在空間中的平衡、位置和方向。這些傳感器是有噪聲的，使得這種估計(jì)很困難并且容易出錯(cuò)。

我們的目標(biāo)是減少機(jī)器人學(xué)習(xí)走路所需的互動(dòng)次數(shù)，因此只需幾個(gè)小時(shí)而不是幾天或幾周。技術(shù)包括貝葉斯優(yōu)化以及基于模型的RL，旨在推廣用于各種不同的機(jī)器人和環(huán)境。除了機(jī)器人技術(shù)之外，它們還可以幫助提高RL的樣品效率，例如A / B測試或任務(wù)調(diào)度。

利用好奇心更有效地學(xué)習(xí)

好奇心是人類學(xué)習(xí)的核心動(dòng)力，好奇的AI系統(tǒng)因探索和嘗試新事物以及實(shí)現(xiàn)特定目標(biāo)而獲得獎(jiǎng)勵(lì)。雖然以前的類似系統(tǒng)通常會(huì)隨機(jī)地探索它們的環(huán)境，但我們會(huì)以結(jié)構(gòu)化的方式進(jìn)行探索，尋求通過了解周圍環(huán)境來滿足其好奇心，從而減少模型的不確定性。我們已經(jīng)成功地將這種技術(shù)應(yīng)用于模擬和真實(shí)世界的機(jī)器人手臂。

我們的方法不同于其他好奇心驅(qū)動(dòng)的機(jī)器人研究，因?yàn)槲覀兠鞔_優(yōu)化了解決不確定性的行動(dòng)。為了探索動(dòng)態(tài)模型的不確定部分的動(dòng)作產(chǎn)生更高的回報(bào)，我們試圖將模型預(yù)測的方差包括在獎(jiǎng)勵(lì)函數(shù)評(píng)估中。

系統(tǒng)意識(shí)到其模型的不確定性并優(yōu)化動(dòng)作序列，以最大化獎(jiǎng)勵(lì)（實(shí)現(xiàn)期望的任務(wù)）并減少模型的不確定性，使其能夠更好地處理新的任務(wù)和條件。它可以生成更多種類的新數(shù)據(jù)并更快地學(xué)習(xí)，在某些情況下，可以進(jìn)行數(shù)十次迭代，而不是數(shù)百次或數(shù)千次。

研究表明，尋求解決不確定性實(shí)際上可以幫助機(jī)器人更快地完成任務(wù)。模型也能更好地推廣到新任務(wù)中。

雖然探索一個(gè)環(huán)境可能比只專注于特定目標(biāo)更有效，這似乎違反直覺，但這種以好奇心為驅(qū)動(dòng)的行為可以幫助機(jī)器人避免被困或卡住。

我們希望這項(xiàng)研究能夠幫助創(chuàng)建在不確定環(huán)境中更靈活地響應(yīng)并學(xué)習(xí)新任務(wù)的系統(tǒng)。這有助于進(jìn)行結(jié)構(gòu)化探索，以便更快、更有效地學(xué)習(xí)現(xiàn)實(shí)世界中的其他RL任務(wù)，并幫助開發(fā)將不確定性納入其他模型的新方法。

通過觸覺傳感學(xué)習(xí)

機(jī)器人通常主要依靠計(jì)算機(jī)視覺，但觸摸也是一個(gè)重要而復(fù)雜的研究領(lǐng)域。例如，給定特定的操縱任務(wù)，如果物體被遮擋，機(jī)器人可以使用觸覺感測來完成任務(wù)。

我們與加州大學(xué)伯克利分校的研究人員合作，開發(fā)了一種新的觸摸學(xué)習(xí)方法，通過自我監(jiān)督學(xué)習(xí)實(shí)現(xiàn)新目標(biāo)，無需任務(wù)專用訓(xùn)練數(shù)據(jù)。然后可以通過分配新目標(biāo)，使用此模型來確定要采取的最佳操作順序。

我們采用了最初為視頻輸入開發(fā)的預(yù)測模型，并將其用于優(yōu)化基于深度模型的控制策略，這些策略直接對(duì)原始數(shù)據(jù)進(jìn)行操作，在本例中，原始數(shù)據(jù)由高分辨率觸覺傳感器提供的高維地圖組成。研究表明，通過與環(huán)境的多種自我監(jiān)督的探索性互動(dòng)，可以完全學(xué)習(xí)預(yù)測模型而無需獎(jiǎng)勵(lì)。

使用此視頻預(yù)測模型，機(jī)器人能夠完成一系列復(fù)雜的觸覺任務(wù)：滾動(dòng)球，移動(dòng)操縱桿，以及識(shí)別20面模具的右側(cè)面。該模型的成功表明了使用視頻預(yù)測模型創(chuàng)建系統(tǒng)的承諾，這些系統(tǒng)可以了解環(huán)境對(duì)觸摸的反應(yīng)。

這項(xiàng)研究還為探索多模式學(xué)習(xí)創(chuàng)造了新的途徑，這對(duì)于廣泛的人工智能研究非常重要，例如開發(fā)系統(tǒng)以更好地理解不同模式的內(nèi)容。

如果我們想要更接近能夠像人類那樣思考、計(jì)劃和推理的機(jī)器，那么就需要構(gòu)建能夠在數(shù)字世界之外的許多場景中自學(xué)的人工智能系統(tǒng)。

機(jī)器人技術(shù)是人工智能長期研究的重點(diǎn)，以上展示的例子是Facebook AI中正在進(jìn)行的眾多機(jī)器人研究項(xiàng)目中的一些，它們將幫助我們構(gòu)建可以更有效地學(xué)習(xí)并更好地推廣到新應(yīng)用程序的AI。