人工神經(jīng)網(wǎng)絡(luò)需學(xué)習(xí)也可執(zhí)行任務(wù)

神經(jīng)網(wǎng)絡(luò)無需學(xué)習(xí)就能駕駛虛擬賽車。

動物生下來就具有天生的能力和稟性。馬生下來幾小時后就會走，鴨子孵出來后很快就會游，人類嬰兒自然而然會被人臉吸引。大腦進化到了即使幾乎沒有經(jīng)驗也敢于面對世界的地步，許多研究人員希望AI也有這種天生的能力。

新研究發(fā)現(xiàn)，人工神經(jīng)網(wǎng)絡(luò)可以進化到無需學(xué)習(xí)即可執(zhí)行任務(wù)的程度。該技術(shù)有望帶來這樣的AI：極其擅長處理各種任務(wù)，比如為照片添加標簽或駕駛汽車。

人工神經(jīng)網(wǎng)絡(luò)對彼此之間傳輸信息的小型計算單元（“神經(jīng)元”）進行了排列。這種網(wǎng)絡(luò)常常通過調(diào)整神經(jīng)元之間連接的“權(quán)重”或強度來學(xué)習(xí)諸多任務(wù)，比如玩游戲或識別圖像。一種名為神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索（neural architecture search）的技術(shù)試過眾多網(wǎng)絡(luò)形狀和大小，以找到針對某特定用途提高學(xué)習(xí)能力的那種網(wǎng)絡(luò)形狀和大小。

新方法使用同樣這種搜索技術(shù)來查找權(quán)重并不重要的網(wǎng)絡(luò)。對于這種網(wǎng)絡(luò)而言，網(wǎng)絡(luò)的整體形狀決定了它的智能，可能使其特別適合某些任務(wù)。

供職于谷歌Brain的論文主要作者、計算機科學(xué)家Adam Gaier說：“如果動物有所有這些天生的行為，一些神經(jīng)網(wǎng)絡(luò)在未經(jīng)大量訓(xùn)練的情況下就有出色的表現(xiàn)，我們想知道我們能將這個想法運用到多先進的程度。”

整個過程始于一組很簡單的網(wǎng)絡(luò)，這些網(wǎng)絡(luò)將輸入（比如來自機器人傳感器的數(shù)據(jù)）與行為輸出連接起來。它評估網(wǎng)絡(luò)處理特定任務(wù)時的性能，保持網(wǎng)絡(luò)處于最佳性能狀態(tài)，并通過添加神經(jīng)元、添加連接或改變神經(jīng)元對輸入總和的敏感度使網(wǎng)絡(luò)發(fā)生突變。在評估階段，為網(wǎng)絡(luò)的所有權(quán)重賦予一個共享的隨機數(shù)。（這實際上針對幾個隨機數(shù)來完成，然后對結(jié)果求平均值。）

結(jié)果名為與權(quán)重?zé)o關(guān)的神經(jīng)網(wǎng)絡(luò)（WANN）。這種網(wǎng)絡(luò)因處理任務(wù)時表現(xiàn)出色和很簡單而獲得加分。處理該研究論文中那些任務(wù)的典型網(wǎng)絡(luò)可能有數(shù)千個神經(jīng)元和權(quán)重，而WANN只有少量的神經(jīng)元和僅僅一個權(quán)重。

但令人驚訝的是，WANN仍表現(xiàn)不俗。研究團隊將它們與標準網(wǎng)絡(luò)架構(gòu)進行了比較，標準網(wǎng)絡(luò)架構(gòu)的權(quán)重經(jīng)過逐漸完善，可以熟練完成這三項模擬任務(wù)：駕駛賽車、使兩足機器人行走以及控制雙輪推車以平衡支桿。

兩條腿旁邊是神經(jīng)網(wǎng)絡(luò)及眾多連接的示意圖。盡管沒有取得高分，但前一代網(wǎng)絡(luò)中的極簡架構(gòu)仍能控制此處所示的向前行走的Bipedal Walker兩足機器人。

與經(jīng)過訓(xùn)練的網(wǎng)絡(luò)相比，WANN得到的分數(shù)只有其分數(shù)的六分之一到一半。研究人員賦予表現(xiàn)最佳的權(quán)重而不是隨機權(quán)重后，與經(jīng)過訓(xùn)練的網(wǎng)絡(luò)相比，WANN得到的分數(shù)提高到三分之二到五分之四。如果在進化后，以訓(xùn)練龐大標準網(wǎng)絡(luò)的同一方式來訓(xùn)練WANN，其性能與標準網(wǎng)絡(luò)相媲美。

在涉及識別手寫數(shù)字的任務(wù)中，WANN的準確率超過90%（而針對這項任務(wù)訓(xùn)練的龐大網(wǎng)絡(luò)的準確率為99%）。該研究論文上個月在加拿大溫哥華的神經(jīng)信息處理系統(tǒng)（NeurIPS）大會上公布。

優(yōu)步AI實驗室（Uber AI Labs）的計算機科學(xué)家Rosanne Liu沒有參與這項研究，他說：“他們的整個系統(tǒng)切實可行，這非常了不起。”其他研究人員嘗試開發(fā)不依賴權(quán)重的網(wǎng)絡(luò)，但以失敗告終。Gaier稱，這個突破最初是為所有權(quán)重賦予同一數(shù)字的bug，卻不料最終簡化了網(wǎng)絡(luò)搜索。

雖然WANN的性能未能超過經(jīng)過訓(xùn)練的大型網(wǎng)絡(luò)，但該方法為尋找專門適合不同任務(wù)的網(wǎng)絡(luò)架構(gòu)開辟了一條新途徑，正如大腦各部位以不同的方式相連以適合特定的用途。比如說，卷積神經(jīng)網(wǎng)絡(luò)的特點是擁有適合圖像識別的架構(gòu)，可以映射大腦視覺皮層的結(jié)構(gòu)。Gaier認為，可能還有多得多的構(gòu)建模塊，準備使AI一問世就很聰明。