如何深度強(qiáng)化學(xué)習(xí) 人工智能和深度學(xué)習(xí)的進(jìn)階

傳統(tǒng)上，強(qiáng)化學(xué)習(xí)在人工智能領(lǐng)域占據(jù)著一個(gè)合適的地位。但強(qiáng)化學(xué)習(xí)在過去幾年已開始在很多人工智能計(jì)劃中發(fā)揮更大的作用。其最佳的應(yīng)用點(diǎn)在于計(jì)算艾真體(agent)在環(huán)境上情境化的決策場(chǎng)景中要采取的最佳行動(dòng)。

強(qiáng)化學(xué)習(xí)非常適合自主決策，因?yàn)閱慰勘O(jiān)督學(xué)習(xí)或無監(jiān)督學(xué)習(xí)技術(shù)無法完成任務(wù)。

傳統(tǒng)上，強(qiáng)化學(xué)習(xí)在人工智能領(lǐng)域占據(jù)著一個(gè)合適的地位。但強(qiáng)化學(xué)習(xí)在過去幾年已開始在很多人工智能計(jì)劃中發(fā)揮更大的作用。其最佳的應(yīng)用點(diǎn)在于計(jì)算艾真體(agent)在環(huán)境上情境化的決策場(chǎng)景中要采取的最佳行動(dòng)。

強(qiáng)化學(xué)習(xí)使用試錯(cuò)法將算法獎(jiǎng)勵(lì)函數(shù)最大化，它非常適用于IT運(yùn)營(yíng)管理、能源、醫(yī)療保健、商業(yè)、金融、交通和金融領(lǐng)域的很多自適應(yīng)控制和艾真體自動(dòng)化應(yīng)用。它用來訓(xùn)練人工智能，它為傳統(tǒng)的重點(diǎn)領(lǐng)域提供支持——機(jī)器人技術(shù)、游戲和模擬——以及邊緣分析、自然語言處理、機(jī)器翻譯、計(jì)算機(jī)視覺和數(shù)字助理等新一代人工智能解決方案。

強(qiáng)化學(xué)習(xí)也是物聯(lián)網(wǎng)中自主邊緣應(yīng)用程序開發(fā)的基礎(chǔ)。很多邊緣應(yīng)用程序的開發(fā)(工業(yè)、交通、醫(yī)療和消費(fèi)應(yīng)用)涉及對(duì)注入了人工智能的機(jī)器人技術(shù)的構(gòu)建，這些技術(shù)可以在動(dòng)態(tài)環(huán)境條件下以不同程度的情境自主性進(jìn)行操作。

強(qiáng)化學(xué)習(xí)如何工作

在這樣的應(yīng)用領(lǐng)域中，邊緣設(shè)備的人工智能大腦必須依賴強(qiáng)化學(xué)習(xí)，由于在這里缺少預(yù)先存在的“真實(shí)值(ground truth)”訓(xùn)練數(shù)據(jù)集，他們?cè)噲D將累計(jì)獎(jiǎng)勵(lì)函數(shù)最大化，例如根據(jù)規(guī)范中包含的一組標(biāo)準(zhǔn)組裝一個(gè)生產(chǎn)組件。這與其它類型的人工智能的學(xué)習(xí)方式形成對(duì)比，后者要么是(像監(jiān)督學(xué)習(xí)一樣)對(duì)相對(duì)于真實(shí)值數(shù)據(jù)的算法上的損失函數(shù)進(jìn)行最小化，要么(像無監(jiān)督學(xué)習(xí)一樣)對(duì)數(shù)據(jù)點(diǎn)之間的距離函數(shù)進(jìn)行最小化。

但是，這些人工智能學(xué)習(xí)方法不一定是孤島。最有趣的人工智能趨勢(shì)之一是強(qiáng)化學(xué)習(xí)與更高級(jí)的應(yīng)用程序中的監(jiān)督學(xué)習(xí)和無監(jiān)督學(xué)習(xí)的融合。人工智能開發(fā)人員將這些方法融入到僅憑單一的學(xué)習(xí)方法不足為用的應(yīng)用程序中。

例如，監(jiān)督學(xué)習(xí)本身在沒有標(biāo)記的訓(xùn)練數(shù)據(jù)的情況下是無用的，在自動(dòng)駕駛這樣的應(yīng)用中往往缺乏標(biāo)記的訓(xùn)練數(shù)據(jù)，在這里，每個(gè)瞬時(shí)的環(huán)境情況本質(zhì)上都是未標(biāo)記且獨(dú)特的。同樣，無監(jiān)督學(xué)習(xí)(使用聚類分析來檢測(cè)傳感器饋源和其它復(fù)雜的未標(biāo)記數(shù)據(jù)中的模式)并非用來發(fā)現(xiàn)智能終端在真實(shí)世界的決策場(chǎng)景中應(yīng)采取的最佳操作。

什么是深度強(qiáng)化學(xué)習(xí)

然后是深層強(qiáng)化學(xué)習(xí)，這是一種領(lǐng)先的技術(shù)，在這種技術(shù)中，自治的艾真體(autonomous agent)使用強(qiáng)化學(xué)習(xí)的試錯(cuò)算法和累計(jì)獎(jiǎng)勵(lì)函數(shù)來加速神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)。這些設(shè)計(jì)為很多依靠監(jiān)督和/或無監(jiān)督學(xué)習(xí)的人工智能應(yīng)用程序提供支持。

深度強(qiáng)化學(xué)習(xí)是人工智能開發(fā)和培訓(xùn)管道自動(dòng)化的核心重點(diǎn)領(lǐng)域。它涉及對(duì)強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的艾真體的使用，以快速探索與無數(shù)體系結(jié)構(gòu)、節(jié)點(diǎn)類型、連接、超參數(shù)設(shè)置相關(guān)的性能權(quán)衡，以及對(duì)深度學(xué)習(xí)、機(jī)器學(xué)習(xí)和其他人工智能模型設(shè)計(jì)人員可用的其它選擇。

例如，研究人員正在使用深度強(qiáng)化學(xué)習(xí)來快速確定哪一種深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)(CNN)架構(gòu)可能用于解決特征工程、計(jì)算機(jī)視覺和圖像分類中的各種難題。人工智能工具可能會(huì)使用從深度強(qiáng)化學(xué)習(xí)獲得的結(jié)果來自動(dòng)生成最佳CNN，使用TensorFlow、MXNet或PyTorch等深度學(xué)習(xí)開發(fā)工具來完成該任務(wù)。

在這方面，看到強(qiáng)化學(xué)習(xí)發(fā)展和培訓(xùn)的開放框架的出現(xiàn)是鼓舞人心的。你在探索深度強(qiáng)化學(xué)習(xí)時(shí)可能需要探索下面這些強(qiáng)化學(xué)習(xí)框架，這些框架利用、擴(kuò)展并與TensorFlow和其它深度學(xué)習(xí)和機(jī)器學(xué)習(xí)建模工具接合，這些工具已得到廣泛采用：

強(qiáng)化學(xué)習(xí)

人工智能開發(fā)人員需要的強(qiáng)化學(xué)習(xí)技能

展望未來，人工智能開發(fā)人員將需要沉浸在這些框架和其它框架中實(shí)施的各種強(qiáng)化學(xué)習(xí)算法中。你還需要加深對(duì)多艾真體強(qiáng)化學(xué)習(xí)架構(gòu)的理解，這其中有很多架構(gòu)大量利用老牌的博弈論研究機(jī)構(gòu)。你還要熟悉深度強(qiáng)化學(xué)習(xí)，以此來發(fā)現(xiàn)計(jì)算機(jī)視覺應(yīng)用中與名為“模糊”的攻擊方法相關(guān)的安全漏洞。