近日,OpenAI的研究人員提出了一種全新的AI安全策略——迭代放大法(iterated amplification),通過(guò)描述如何將一個(gè)復(fù)雜的任務(wù)分解成簡(jiǎn)單的子任務(wù)而不是提供標(biāo)簽數(shù)據(jù)或獎(jiǎng)勵(lì)函數(shù),實(shí)現(xiàn)了對(duì)于復(fù)雜行為和目標(biāo)的描述。雖然這一方法還處于比較初級(jí)的階段,但研究人員認(rèn)為這種方法將為AI安全提供一種大規(guī)模的實(shí)現(xiàn)手段。
如果我們想要訓(xùn)練一個(gè)機(jī)器學(xué)習(xí)模型完成特定的任務(wù),我們一定需要訓(xùn)練信號(hào)來(lái)評(píng)價(jià)模型的表現(xiàn)并幫助模型不斷學(xué)習(xí)和改進(jìn)。例如監(jiān)督學(xué)習(xí)中的標(biāo)簽和強(qiáng)化學(xué)習(xí)中的獎(jiǎng)勵(lì)函數(shù)就是訓(xùn)練訊號(hào)。機(jī)器學(xué)習(xí)體系中的一個(gè)重要假設(shè)就是這些訊號(hào)已經(jīng)存在,并且算法可以按照它來(lái)學(xué)習(xí)。但實(shí)際情況是訓(xùn)練信號(hào)可能來(lái)自于不知道的某個(gè)地方。如果我們沒有訓(xùn)練信號(hào)就意味著我們沒有辦法學(xué)習(xí)。如果我們得到的是錯(cuò)誤信號(hào),那么算法可能會(huì)得到無(wú)意識(shí)的甚至危險(xiǎn)的結(jié)果。所以對(duì)于新的任務(wù)和AI安全來(lái)說(shuō),提高得到訓(xùn)練訊號(hào)的能力是十分必要且極具價(jià)值的。
那么讓我們看看目前是怎么獲取訓(xùn)練信號(hào)的呢?有時(shí)候我們可以利用算法得到,比如在圍棋游戲中可以通過(guò)計(jì)數(shù)評(píng)分得到信號(hào)。不過(guò)大多數(shù)真實(shí)世界的任務(wù)并沒有一個(gè)數(shù)學(xué)形式表達(dá)的信號(hào),但通常我們可以人工的手段來(lái)獲取訓(xùn)練信號(hào)。但實(shí)際情況是,很多復(fù)雜的任務(wù)已經(jīng)遠(yuǎn)遠(yuǎn)超過(guò)了人類的認(rèn)知能力,我們沒辦法判斷模型的輸出是否正確,例如設(shè)計(jì)一個(gè)復(fù)雜的運(yùn)輸系統(tǒng)或者管理龐大計(jì)算機(jī)網(wǎng)絡(luò)安全細(xì)節(jié)的管理系統(tǒng)這樣的任務(wù),或者是預(yù)測(cè)全球長(zhǎng)期氣候趨勢(shì)這種復(fù)雜的任務(wù)。
需要不同訓(xùn)練信號(hào)的問題,訓(xùn)練序號(hào)可以來(lái)自表達(dá)式評(píng)價(jià)、人類反饋,但有的任務(wù)超出了人類的能力。
本文提出的迭代放大,是一種在確定性假設(shè)下為后續(xù)任務(wù)生成訓(xùn)練假設(shè)的方法。實(shí)際上,雖然人類不能在全局上直接把握復(fù)雜的問題,但我們可以假設(shè)人類可以有效的評(píng)估復(fù)雜任務(wù)中的一小塊任務(wù)是否符合要求。例如在計(jì)算機(jī)網(wǎng)絡(luò)安全的例子中,人們可以將“防御一系列針對(duì)于服務(wù)器和路由器的攻擊”分解為“針對(duì)服務(wù)器的攻擊”和“針對(duì)路由的攻擊”以及“兩個(gè)攻擊間可能的相關(guān)性”。此外,我們還可以假設(shè),人類可以承擔(dān)很少的一部分任務(wù),例如“識(shí)別出日志中的一行可疑記錄”。如果人類的分解任務(wù)能力和分擔(dān)任務(wù)能力得以落實(shí),這兩項(xiàng)假設(shè)得以成立,那我們就可以為一項(xiàng)龐大的任務(wù)建立訓(xùn)練信號(hào),這些訊號(hào)來(lái)自于人類針對(duì)分解任務(wù)訊號(hào)的組合。
迭代放大的機(jī)制
研究人員在實(shí)際訓(xùn)練放大的過(guò)程中,首先訓(xùn)練AI系統(tǒng)從一個(gè)很小的子任務(wù)開始學(xué)習(xí),通過(guò)尋求人類的幫助(標(biāo)簽/獎(jiǎng)勵(lì)信號(hào))來(lái)學(xué)會(huì)解決這一子問題。隨后讓系統(tǒng)學(xué)習(xí)一個(gè)稍大的問題,這時(shí)候需要人類將較大的任務(wù)進(jìn)行分解,AI系統(tǒng)依靠上一步的學(xué)習(xí)來(lái)解決這些問題。研究人員將這種解決方案用于那些稍微困難的問題,在這些問題中系統(tǒng)從人類處得到訓(xùn)練信號(hào),來(lái)直接訓(xùn)練二級(jí)任務(wù)(此時(shí)無(wú)需人類幫助)。
隨著訓(xùn)練的進(jìn)行,研究人員繼續(xù)為AI提供更為復(fù)雜的復(fù)合任務(wù),不斷構(gòu)建出訓(xùn)練信號(hào)。如果這個(gè)過(guò)程得以完成,AI系統(tǒng)將學(xué)會(huì)解決高度復(fù)雜的問題,盡管這個(gè)系統(tǒng)一開始沒有從任務(wù)中獲得直接的訓(xùn)練信號(hào)。
這一過(guò)程在一定程度上與AlphaGo Zero專家迭代過(guò)程很像,不過(guò)個(gè)專家迭代在強(qiáng)化現(xiàn)存的訓(xùn)練信號(hào),而迭代放大則從零開始構(gòu)建訓(xùn)練信號(hào)。它也和最近的一些問題分解的算法很像,但區(qū)別在于它可以用于沒有先前訓(xùn)練信號(hào)的問題。
實(shí) 驗(yàn)
先前的實(shí)驗(yàn)表明,直接用AI系統(tǒng)解決超越人類能力的問題十分困難,同時(shí)利用人類作為訓(xùn)練信號(hào)也會(huì)引入復(fù)雜性。所以研究人員的第一個(gè)實(shí)驗(yàn)在于嘗試放大了算法的訓(xùn)練信號(hào),來(lái)驗(yàn)證這種方法可以在簡(jiǎn)單任務(wù)的有效性。同時(shí)也限制了對(duì)于監(jiān)督學(xué)習(xí)的注意力。研究人員在5個(gè)示例算法任務(wù)上進(jìn)行了嘗試。這五個(gè)算法示例都有具體的數(shù)學(xué)表達(dá),但研究人員先排除算法信號(hào),了利用一步步從簡(jiǎn)單到復(fù)雜的方法從零開始解決。利用迭代放大的方法,從一些不直接的子任務(wù)中間接學(xué)習(xí)出訓(xùn)練信號(hào)。
在五個(gè)任務(wù)中(排列、序列賦值、通配符匹配、最短路徑、查找并集),新的方法可以與表達(dá)式方法獲得同等甚至更好的效果。
在沒有l(wèi)abel的情況下迭代放大法獲得了與監(jiān)督學(xué)習(xí)相同甚至更好的結(jié)果
放大法在尋求解決那些超越人類直接認(rèn)知和能力的問題,通過(guò)迭代的過(guò)程使得人類可以提供間接的監(jiān)督信號(hào)。這項(xiàng)工作同時(shí)也建立在人類反饋的基礎(chǔ)上,通過(guò)實(shí)現(xiàn)獎(jiǎng)勵(lì)預(yù)測(cè)系統(tǒng),接下來(lái)的版本將會(huì)包含來(lái)自于真實(shí)人類的反饋。目前研究人員僅僅在探索的初級(jí)階段,隨著研究的深入和規(guī)模的擴(kuò)大將會(huì)為很多復(fù)雜的問題帶來(lái)新的可能。
人類反饋
-
AI
+關(guān)注
關(guān)注
87文章
29362瀏覽量
267647 -
函數(shù)
+關(guān)注
關(guān)注
3文章
4257瀏覽量
62226 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8320瀏覽量
132165
原文標(biāo)題:OpenAI提出全新AI安全策略—迭代放大法,助力機(jī)器實(shí)現(xiàn)復(fù)雜目標(biāo)學(xué)習(xí)
文章出處:【微信號(hào):thejiangmen,微信公眾號(hào):將門創(chuàng)投】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論