讓人工智能模型獲得人類的聯(lián)想能力

一種新的方法正在讓人工智能模型獲得人類的 “聯(lián)想” 能力，甚至能讓它識別此前從未見過的事物。

來自加拿大滑鐵盧大學(xué)的博士生伊利亞（Ilia Sucholutsky）和他的博士導(dǎo)師馬賽厄斯?尚勞（Matthias Schonlau）教授，首次提出了“少于一次” 樣本學(xué)習(xí)的概念和方法，并由此為人工智能技術(shù)的演進提供了新的思路。

相關(guān)研究論文于 2020 年 9 月發(fā)表在預(yù)印本網(wǎng)站 arXiv 上，名為 “'Less Than One'-Shot Learning: Learning N Classes From M < N Samples”。

伊利亞告訴 DeepTech，他們的研究顯示，對于機器學(xué)習(xí)模型來說，理論上通過兩個樣本（example）即可訓(xùn)練模型學(xué)會識別任意數(shù)量類別（class）。

沒人知道，這種方法一旦實現(xiàn)大規(guī)模應(yīng)用，人工智能會迸發(fā)出怎樣的火花。

高企的訓(xùn)練成本

機器學(xué)習(xí)，尤其是深度學(xué)習(xí)往往需要大量的訓(xùn)練數(shù)據(jù)。

著名的語言模型 GPT-3 使用了 45TB 的數(shù)據(jù)進行訓(xùn)練，這個過程耗資達到了驚人的 1200 萬美元，即使有微軟的鼎力相助，訓(xùn)練結(jié)束之后發(fā)現(xiàn)了一些小 Bug 也不舍得重新訓(xùn)練。

目前，GPT-3 是煉丹師們 “大力出奇跡” 的集大成者，但可以預(yù)見，不遠的將來一定會有新的模型超越并取代它的位置。

“更多更大更強” 的思路是沒有盡頭的。假如我們稍稍停下疲于奔命的腳步，回歸到現(xiàn)實中的人類學(xué)習(xí)過程，就會發(fā)現(xiàn)一個觸及靈魂的拷問 ——人工智能真的必須依托如此巨量的數(shù)據(jù)才能夠?qū)崿F(xiàn)嗎？

相信很多人的答案并不篤定。

舉個例子，假如現(xiàn)在需要讓人工智能模型 “認(rèn)識” 馬這種動物。常規(guī)的做法是挑選成百上千的馬匹圖像對其進行訓(xùn)練。

之所以需要如此之多的樣本，是因為同樣一匹馬，僅僅是轉(zhuǎn)換一個拍攝角度，或微調(diào)一些肉眼無法觀察的像素點，人工智能就會識別失敗，所以需要大量的大小、顏色、體態(tài)、朝向、品種不一的樣本填滿人工智能的 “盲區(qū)”。

即便如此，人工智能的識別成功概率也不能達到 100%，我們離創(chuàng)造真正可以復(fù)現(xiàn)大腦理解能力的人工智能還非常遙遠。

但人類的兒童，卻只需要一張看圖識字的卡片，便能輕易分辨出唐僧所騎乘的是馬，而不是其他外型類似的生物。并且，兒童一旦學(xué)會識別某種事物，這項技能終其一生都很難忘記，只會越來越熟練。

更有甚者，兒童可以在沒有任何真實示例的情況下 “認(rèn)出” 一個新的物體。例如，展示給他們一匹馬和一頭犀牛的圖片，并告訴他們獨角獸結(jié)合了兩者的特點，他們就可以在第一次看到獨角獸時認(rèn)出這個傳說中的生物。

圖 | 犀牛 + 馬 = 犀牛馬？好吧，這張圖并不像獨角獸，但一定程度上體現(xiàn)了論文作者的意圖。

伊利亞和導(dǎo)師認(rèn)為，人工智能模型也應(yīng)該具備同樣的能力。也就是說，人工智能模型應(yīng)該可以從 M 個樣本中學(xué)習(xí)到 N 個類別，其中 N 可以遠遠大于 M。這樣，理論上模型就可以識別比訓(xùn)練示例更多的圖像，而此前的科研人員可能并未充分挖掘訓(xùn)練數(shù)據(jù)的全部潛力。

他們將這一過程稱為 “少于一個” 樣本學(xué)習(xí)（LO-Shot Learning）。

考慮到居高不下的訓(xùn)練成本和日益龐大到接近極限的訓(xùn)練數(shù)據(jù)，這種讓人工智能學(xué)會 “合理聯(lián)想” 的方法或許會在未來產(chǎn)生顛覆性影響。

如何實現(xiàn) “少于一個” 樣本學(xué)習(xí)？

在此前的一篇論文中，現(xiàn)為麻省理工學(xué)院博士生的 Tongzhou Wang 和同事介紹了一種 “蒸餾” 方法，可以將大數(shù)據(jù)集 “提純” 為小數(shù)據(jù)集。

作為實踐，他們將 MNIST（一個包含了 6 萬張從 0 到 9 手寫數(shù)字圖片的業(yè)內(nèi)常用測試數(shù)據(jù)集）提純壓縮成了一個僅由 10 張圖像組成的訓(xùn)練數(shù)據(jù)集。

這些圖像不是直接從原始數(shù)據(jù)集中選取的，而是經(jīng)由一系列的設(shè)計和優(yōu)化后，賦予了這 10 張圖像幾乎與整個原始數(shù)據(jù)集相同的信息。

因此，僅僅用這個超精簡數(shù)據(jù)集對人工智能模型進行訓(xùn)練，就可以達到與用 MNIST 所有圖像進行訓(xùn)練的模型幾乎一致的識別精度。

圖 | “蒸餾” 后的 MNIST 精簡數(shù)據(jù)集。以上 10 張圖是從 MNIST 所含 6 萬張圖像中提純出的，可以用于訓(xùn)練人工智能模型，并且它們在識別手寫數(shù)字時擁有 94% 的準(zhǔn)確性。

伊利亞和導(dǎo)師從中受到啟發(fā)，并且認(rèn)為可以在 Tongzhou Wang 的方法上更進一步 —— 既然可以將 6 萬張圖像壓縮到 10 張，那么為什么不能將它們壓縮到 5 張或更少呢？一旦實現(xiàn)，就意味著，通過區(qū)區(qū)幾張圖象的訓(xùn)練，人工智能模型就能掌握從 0 到 9 這 10 個數(shù)字的各種手寫數(shù)字圖片，從而實現(xiàn)前面所說的 N 大于 M。

伊利亞很快發(fā)現(xiàn)，想要達到這個效果的訣竅就是創(chuàng)建混合有多個數(shù)字特征的圖像，然后為它們打上 “軟標(biāo)簽（讓一個數(shù)據(jù)點同時成為多個類別成員的矢量表示）”，再來用這些樣本訓(xùn)練人工智能模型（類似于前文的馬 + 犀?；旌象w）。

“你可以想象一下數(shù)字 3，它看起來有點像 8，但一點都不像 7?！?伊利亞說。

“軟標(biāo)簽的目的在于標(biāo)注這些共同的特征，進而以這種方式增加信息密度和維度。因此，相比于直接告訴模型這個圖像是 3，我們會說，這個圖像有 60% 可能是 3，30% 可能是 8，10% 可能是 0。” 使用這種數(shù)據(jù)訓(xùn)練出的模型，基本可以達到與常規(guī)訓(xùn)練方式一樣的精度。

“少于一個” 樣本學(xué)習(xí)的局限性

當(dāng)伊利亞和導(dǎo)師成功地使用軟標(biāo)簽在 MNIST 上實現(xiàn) “少于一個” 樣本學(xué)習(xí)后，他們開始思考這個方法能否用于更廣闊的領(lǐng)域。人工智能模型從小樣本中可以識別出的類別數(shù)量是否存在上限？

答案是否定的。

從理論上來看，使用精心設(shè)計的軟標(biāo)簽，甚至只用兩個示例就可以承載任意數(shù)量的類別信息。伊利亞說：“通過兩個數(shù)據(jù)點，你就可以分離出一千個，一萬個，甚至是一百萬個類別?！?/p>

伊利亞和導(dǎo)師通過純數(shù)學(xué)方式的推導(dǎo)，在論文中證明了這一點。他們使用一種最簡單的機器學(xué)習(xí)算法 ——K-近鄰算法（kNN）來表述這一概念，該算法使用圖形方法來為對象分類。值得注意的是，他們在 kNN 算法的基礎(chǔ)上進行了開發(fā)，并將最終的算法稱為SLaPkNN（soft-label prototype kNearest Neighbors）。

在進一步說明之前，有必要以水果分類任務(wù)為例，簡單說明 kNN 算法的核心邏輯。

假設(shè)我們要訓(xùn)練 kNN 模型識別蘋果和橙子，你必須先確定每個水果的特征，這里以顏色（X 軸）、重量（Y 軸）為例。這樣你就可以將多個蘋果和橙子的信息輸入 kNN 模型。

kNN 算法會將所有數(shù)據(jù)點繪制在一張二維圖表上，并在蘋果和橙子分布點的中間地帶繪制邊界線。

圖 | kNN 算法原理。由圖可見，坐標(biāo)軸上分布著紅蘋果、青蘋果和橙子的數(shù)據(jù)點。當(dāng)模型需要判定黑色點屬于哪種水果時，它會依據(jù)藍色框選區(qū)域內(nèi)的色彩分布，將比例最大的橙色判斷為 “鄰近”，進而將黑色點歸類為橙子。

為了將 kNN 算法應(yīng)用于 “少于一個” 樣本學(xué)習(xí)，伊利亞和導(dǎo)師創(chuàng)建了一系列微型的合成數(shù)據(jù)集，并精心設(shè)計了它們的軟標(biāo)簽。

然后，他們讓 kNN 算法繪制了它從樣本中看到的邊界線，發(fā)現(xiàn)它成功地將樣本分成了比數(shù)據(jù)點更多的類別。

圖 | 上圖中，有兩個實例可以調(diào)節(jié)機器學(xué)習(xí)模型（用黑點表示）。經(jīng)典的 kNN 算法會在兩個點和類別之間分界。但 SLaPkNN 算法在兩個類別之間創(chuàng)建了一個新的類別（綠色區(qū)域），它代表著一個新標(biāo)簽。這樣，研究者用 N-1 個樣本實現(xiàn)了 N 類別。

通過對類別邊界線的復(fù)雜編碼和樣本軟標(biāo)簽的調(diào)整，他們讓 kNN 算法精確畫出不同形狀的花朵圖案。

圖 | 作者在論文中炫技。圖表上的每個彩色區(qū)域代表一個不同的類別，每個圖表側(cè)面的餅圖則顯示了每個數(shù)據(jù)點的軟標(biāo)簽分布。

當(dāng)然，凡事總有兩面，這個方法也有其局限性。

當(dāng)伊利亞和導(dǎo)師嘗試將 “少于一次” 樣本學(xué)習(xí)的方法應(yīng)用到其他更復(fù)雜的算法（如深度學(xué)習(xí)等）時，他們發(fā)現(xiàn)設(shè)計軟標(biāo)簽的工作變得異常困難。

kNN 算法具有很好的可解釋性和可視性，為人們設(shè)計標(biāo)簽提供了良好基礎(chǔ)。但神經(jīng)網(wǎng)絡(luò)是復(fù)雜且不可穿透的，這意味著同樣的方法未必可行。并且，設(shè)計用于 “凝練” 神經(jīng)網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)的軟標(biāo)簽時也有一個主要難點：設(shè)計者需要面對龐大的數(shù)據(jù)集并凝練出有效的內(nèi)容。

這一工作目前看來不可能全部通過人工完成。伊利亞說，他現(xiàn)在正在研究其他方法來設(shè)計這些凝練后的合成數(shù)據(jù)集 —— 無論是手動設(shè)計還是使用其他算法進行設(shè)計。

盡管存在諸多挑戰(zhàn)，但不可否認(rèn)這篇論文為 “少于一次” 樣本學(xué)習(xí)提供了理論基礎(chǔ)?！盁o疑經(jīng)過凝練的數(shù)據(jù)集將帶來極大的效率提升?！?伊利亞說。

需要從圖像或視頻幀中識別成千上萬個類別的計算機視覺系統(tǒng)（如自動駕駛）、執(zhí)行情感分析的自然語言處理系統(tǒng)等都將從中受益。

Tongzhou Wang 對此補充道，這篇論文同時也提出了一個非常新穎且重要的目標(biāo) ——如何從小數(shù)據(jù)集中訓(xùn)練強大的模型。

從人類的學(xué)習(xí)經(jīng)驗來看，這是能夠?qū)崿F(xiàn)的，應(yīng)用領(lǐng)域也異常寬廣。從抓捕只有一張照片的犯罪嫌疑人，到識別海上航行的敵方艦艇，都是典型的小樣本場景。

對于這項成果，也有業(yè)內(nèi)人士指出 “可能很難實現(xiàn)”。一名杜克大學(xué)的計算機科學(xué)博士生告訴 DeepTech：“用很少的樣本去生成很多的類，是一件非常反直覺的事情。雖然他做到了這一點，但后續(xù)依然需要將各種特征組合成現(xiàn)實中的真實事物?！?/p>

該博士生分析稱，如果把人類的眉、目、鼻、口、耳這五官特征提取出來，然后通過伊利亞的方式整合到一起，可能可以組成世界上所有存在、不存在的人臉，但在訓(xùn)練模型的時候，依舊需要讓機器知道真正的人臉是怎樣的。

也就是說，模型通過伊利亞的方法訓(xùn)練之后，還需要再增加一個新的步驟來實現(xiàn)閉環(huán)，這個新的學(xué)習(xí)步驟如何實現(xiàn)，以及實現(xiàn)的難易程度，才是關(guān)鍵所在。并且，五官的特征也是需要從大量的、有標(biāo)簽的數(shù)據(jù)中來的。但他也承認(rèn)，“從這個角度看，這篇論文的確提出了一個非常新穎的思路?！?/p>

最后，伊利亞強調(diào)這個研究尚處在早期階段，但他對此充滿信心。

他說，每當(dāng)他向其他研究人員介紹這篇論文時，他們的第一反應(yīng)是說這個想法不可能實現(xiàn)，但緊接著他們便意識到事實并非如此，它可能無意間觸及了一扇通往全新世界的大門。

原文標(biāo)題：反直覺！一種新方法或讓AI模型擁有“聯(lián)想”力，甚至能識別從未見過的事物

文章出處：【微信公眾號：DeepTech深科技】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq