人類(lèi)的本質(zhì)不是復(fù)讀機(jī)，可能是計(jì)算機(jī)

約翰霍普金斯大學(xué)的最新研究發(fā)現(xiàn)：人類(lèi)可能在像計(jì)算機(jī)一樣思考。這樣研究的作者、大四學(xué)生周正隆等人對(duì)1800人做了實(shí)驗(yàn)，結(jié)果顯示98%的人傾向于像計(jì)算機(jī)那樣回答問(wèn)題。

人類(lèi)的本質(zhì)不是復(fù)讀機(jī)，可能是計(jì)算機(jī)。

長(zhǎng)期以來(lái)，人們想方設(shè)法研究讓計(jì)算機(jī)像人類(lèi)一樣思考，比如做視覺(jué)識(shí)別。但是，約翰霍普金斯大學(xué)的最新研究發(fā)現(xiàn)：人類(lèi)可能在像計(jì)算機(jī)一樣思考。

不信先來(lái)做一組測(cè)試。

第一題：你覺(jué)得計(jì)算機(jī)會(huì)把下圖認(rèn)成什么？

A.交通信號(hào)燈

B.電話

答案是：

·

·

·

·

·

·

·

·

A

第二題：你覺(jué)得計(jì)算機(jī)會(huì)把下圖認(rèn)成什么？

A.貨運(yùn)車(chē)

B.校車(chē)

答案是：

·

·

·

·

·

·

·

·

B

你是不是都選對(duì)了？

我們知道，即使是像自動(dòng)駕駛汽車(chē)那樣功能強(qiáng)大的計(jì)算機(jī)，只要把某些圖像的像素稍作改動(dòng)，攝像頭就可能被欺騙，例如會(huì)把黑人識(shí)別成猩猩、把香蕉識(shí)別成烤面包機(jī)等等，這些機(jī)器似乎以人類(lèi)永遠(yuǎn)無(wú)法想象的方式錯(cuò)誤地識(shí)別物體。

但真的是這樣嗎？

約翰霍普金斯大學(xué)的測(cè)試視頻顯示，75%的人其實(shí)選的跟計(jì)算機(jī)一樣，并且他們還對(duì)1800人做了八組實(shí)驗(yàn)，發(fā)現(xiàn)98%的人傾向于像計(jì)算機(jī)那樣回答問(wèn)題。

換句話說(shuō)：雖然我們看不見(jiàn)，但其實(shí)人類(lèi)知道計(jì)算機(jī)在想什么，因?yàn)槿祟?lèi)可能在像計(jì)算機(jī)一樣思考。

這項(xiàng)研究是由約翰霍普金斯大學(xué)大四本科生周正?。╖henglong Zhou，音譯）等人提出來(lái)，主要證明計(jì)算機(jī)錯(cuò)誤識(shí)別物體的缺陷可能并不像人們想象的那么糟糕。研究也提供了一個(gè)新的視角，以及一個(gè)可以探索的新的實(shí)驗(yàn)范式。

這項(xiàng)研究論文發(fā)表在最新的Nature Communications上，周正隆是第一作者。

論文地址：

https://www.nature.com/articles/s41467-019-08931-6

機(jī)器思維理論：讓人類(lèi)分辨難倒機(jī)器的圖像

計(jì)算機(jī)視覺(jué)領(lǐng)域存在一個(gè)關(guān)鍵的盲點(diǎn)：有可能故意制造出神經(jīng)網(wǎng)絡(luò)無(wú)法正確看到的圖像。這些圖片，被稱(chēng)為對(duì)抗性或愚弄性的圖片。

其中，對(duì)抗性圖像中有兩類(lèi)特別引人注目，它們可以被粗略地稱(chēng)為“欺騙”圖像(“fooling” image)和“擾動(dòng)”圖像(“perturbed” image)，如下所示：

a.間接編碼的“欺騙”圖像。b.直接編碼“欺騙”圖像。c.擾動(dòng)對(duì)抗圖像。d. LaVAN攻擊可以導(dǎo)致機(jī)器對(duì)自然圖像進(jìn)行錯(cuò)誤分類(lèi)。e.“魯棒的”對(duì)抗性圖像是從多個(gè)角度錯(cuò)誤分類(lèi)的3D對(duì)象的呈現(xiàn)。

欺騙圖像：是毫無(wú)意義的模式，被機(jī)器視覺(jué)系統(tǒng)歸類(lèi)為熟悉的對(duì)象。例如，一組有方向的線條可以被歸類(lèi)為“棒球”，或者一個(gè)彩色的電視靜態(tài)圖像可以被稱(chēng)為“犰狳”。

擾動(dòng)圖像：通?？梢员粶?zhǔn)確而直接地分類(lèi)(例如，雛菊的普通照片，或者手寫(xiě)的數(shù)字6)，但是被機(jī)器稍微擾動(dòng)一下，就會(huì)產(chǎn)生完全不同的分類(lèi)(例如，美洲虎，或者手寫(xiě)的數(shù)字5)。

對(duì)抗性圖像是一個(gè)大問(wèn)題，它們不僅可能被黑客利用，造成安全風(fēng)險(xiǎn)，而且，人們本能地認(rèn)為，人類(lèi)不會(huì)像機(jī)器那樣對(duì)圖像進(jìn)行分類(lèi)，人類(lèi)和機(jī)器看到的圖像非常不同。

盡管經(jīng)常有人斷言，對(duì)抗性圖像“完全無(wú)法被人類(lèi)眼睛識(shí)別”，但很少有研究通過(guò)測(cè)試人類(lèi)在這類(lèi)圖像上的表現(xiàn)來(lái)積極探索這一假設(shè)。與此同時(shí)，在什么條件下可以有效地比較人類(lèi)和機(jī)器的性能，這一點(diǎn)從來(lái)都不清楚，特別是因?yàn)檫@類(lèi)機(jī)器視覺(jué)系統(tǒng)通常只有有限的標(biāo)簽可以應(yīng)用于這類(lèi)圖像。

為此，周正隆等人引入了一種“機(jī)器思維理論(machine-theory-of-mind)”任務(wù)，詢(xún)問(wèn)人類(lèi)是否能夠推斷出機(jī)器視覺(jué)系統(tǒng)將分配給給定圖像的分類(lèi)。

人類(lèi)的任務(wù)是“像機(jī)器一樣思考”并確定為每個(gè)圖像生成了哪個(gè)標(biāo)簽。

周正隆等人對(duì)任務(wù)進(jìn)行了八次實(shí)驗(yàn)，探索人類(lèi)對(duì)五種不同對(duì)抗性圖像集的理解。在這8個(gè)實(shí)驗(yàn)中，涵蓋了各種各樣的對(duì)抗性攻擊，以及核心實(shí)驗(yàn)設(shè)計(jì)的幾個(gè)變種。實(shí)驗(yàn)發(fā)現(xiàn)，人類(lèi)受試者能夠預(yù)測(cè)機(jī)器對(duì)對(duì)抗性刺激的分類(lèi)。結(jié)論是，人類(lèi)的直覺(jué)比機(jī)器分類(lèi)更加可靠。

實(shí)驗(yàn)：98%的人傾向于計(jì)算機(jī)的回答

由于篇幅有限，本文只介紹八個(gè)實(shí)驗(yàn)中的前三個(gè)。

實(shí)驗(yàn)1：用foil標(biāo)簽欺騙圖像

第一個(gè)實(shí)驗(yàn)采用48張欺騙圖像來(lái)進(jìn)行“機(jī)器思維理論”任務(wù)。這些圖像是由進(jìn)化算法產(chǎn)生的，用來(lái)混淆一個(gè)極具影響力的圖像識(shí)別CNN——AlexNet，并將它們歸類(lèi)為“Pinwheel（風(fēng)車(chē)）”和“bagel（百吉餅）”等熟悉的對(duì)象。

在每一項(xiàng)試驗(yàn)中，受試者都看到了一張欺騙圖像，并選擇他們認(rèn)為機(jī)器為該圖像生成的兩個(gè)標(biāo)簽中的任何一個(gè)，如下圖所示。

圖2

值得注意的是，人類(lèi)觀察者強(qiáng)烈傾向于機(jī)器所選擇的標(biāo)簽，而不是foil標(biāo)簽：分類(lèi)的“準(zhǔn)確性”(即，與機(jī)器分類(lèi)一致)為74%，遠(yuǎn)高于50%。

也許更有說(shuō)服力的是，98%的觀察者選擇機(jī)器的標(biāo)簽的幾率高于隨機(jī)比率，這表明人們驚人地對(duì)機(jī)器的選擇是普遍認(rèn)同的。

這一初步結(jié)果表明，人類(lèi)觀察者可以大致區(qū)分CNN用于將欺騙圖像分類(lèi)為熟悉對(duì)象的特征。

實(shí)驗(yàn)2：首選 vs. 次選

這種能力到底有多強(qiáng)呢？

雖然實(shí)驗(yàn)1中的受試者可以將機(jī)器選擇的標(biāo)簽與隨機(jī)標(biāo)簽區(qū)分開(kāi)來(lái)，但是這種實(shí)現(xiàn)，可能不是通過(guò)辨別圖像與其CNN生成的標(biāo)簽之間的任何有意義的相似性，而是通過(guò)識(shí)別它們之間非常膚淺的共性來(lái)實(shí)現(xiàn)的。

為了詢(xún)問(wèn)人類(lèi)是否能夠理解機(jī)器所做出的微妙區(qū)分，實(shí)驗(yàn)2將CNN的首選標(biāo)簽與隨機(jī)標(biāo)簽進(jìn)行了對(duì)比。

例如，考慮到圖2中的圓形金色斑點(diǎn)，AlexNet在“bagel（百吉餅）”之后的下一個(gè)選擇是“pretzel（椒鹽卷餅）”，它同樣意味著彎曲的金色物體。因此，便得到了每個(gè)被欺騙的圖像排名第二的選項(xiàng)，并讓實(shí)驗(yàn)2中的觀察者在機(jī)器的首選項(xiàng)和次選項(xiàng)之間做出選擇。

同樣，人類(lèi)觀察者同意機(jī)器的分類(lèi)：91％的觀察者傾向于選擇機(jī)器的首選項(xiàng)而不是次選項(xiàng)，71%的圖像顯示人機(jī)一致(下圖中間柱形)。

顯然，人類(lèi)能夠從對(duì)抗性圖像中識(shí)別出更深層次的特征，從而將CNN的主要分類(lèi)與替代分類(lèi)區(qū)分開(kāi)來(lái)。

此外，這一結(jié)果還表明，即使在圖像標(biāo)簽的排序上，人類(lèi)和機(jī)器也表現(xiàn)出重疊，這表明，CNN的次選項(xiàng)對(duì)人類(lèi)來(lái)說(shuō)也是比較直觀的。

實(shí)驗(yàn)3a：多種方式分類(lèi)

上述實(shí)驗(yàn)表明，人類(lèi)可以從相關(guān)備選方案中識(shí)別機(jī)器的首選標(biāo)簽。

然而，這兩項(xiàng)研究都涉及僅有兩種選擇的有限情況；相比之下，圖像識(shí)別CNN通常在對(duì)這樣的圖像進(jìn)行分類(lèi)時(shí)是從數(shù)百或數(shù)千個(gè)標(biāo)簽中進(jìn)行選擇。 若是在更不受約束的情況下，人類(lèi)在圖像分類(lèi)時(shí)是否會(huì)做出與機(jī)器一樣的選擇呢？

即使在這些苛刻的條件下，88％的受試者以高于概率的速度選擇了該機(jī)器的標(biāo)簽。此外，在一項(xiàng)受機(jī)器學(xué)習(xí)文獻(xiàn)中排名第5的測(cè)量方法啟發(fā)的分析中，我們發(fā)現(xiàn)63%的圖像中，機(jī)器的標(biāo)簽是人類(lèi)選擇的前五名中的一員。

換句話說(shuō)，即使單個(gè)最受歡迎的人類(lèi)選擇標(biāo)簽不是CNN的首選標(biāo)簽，第二，第三，第四或第五最受歡迎的人類(lèi)選擇標(biāo)簽（48種可能的選擇中）通常與CNN的首選標(biāo)簽相匹配。

實(shí)驗(yàn)3b：“這是什么？”

之前的研究更接近于CNN在圖像分類(lèi)中所面臨的任務(wù)，即在眾多圖像中選擇一個(gè)標(biāo)簽進(jìn)行分類(lèi)。

然而，之前所有的實(shí)驗(yàn)都與CNN的任務(wù)有另一個(gè)不同之處：CNN選擇一個(gè)與圖像最匹配的標(biāo)簽，而我們的人類(lèi)受試者被要求預(yù)測(cè)機(jī)器的標(biāo)簽，而不是自己給圖像貼標(biāo)簽。如果人類(lèi)的任務(wù)只是簡(jiǎn)單地直接對(duì)圖像進(jìn)行分類(lèi)，他們還會(huì)同意CNN的分類(lèi)嗎?

實(shí)驗(yàn)3b通過(guò)改變?nèi)蝿?wù)說(shuō)明來(lái)研究這個(gè)問(wèn)題：不是讓受試者“像機(jī)器一樣思考”并猜測(cè)機(jī)器的首選標(biāo)簽，而是簡(jiǎn)單地向他們展示圖片，并問(wèn)他們“這是什么?”

在每次試驗(yàn)中，屏幕上都會(huì)出現(xiàn)一張圖片，受試者被問(wèn)到“如果你必須為它選一個(gè)標(biāo)簽，你會(huì)選什么?”(有48種標(biāo)簽)。

再次，人類(lèi)的判斷和機(jī)器的分類(lèi)融合在一起：90%的受試者同意機(jī)器，81%的圖像顯示人機(jī)一致。這些結(jié)果表明，人類(lèi)破譯對(duì)抗性圖像的能力并不取決于我們的“機(jī)器思維理論”任務(wù)的特性，而人類(lèi)的表現(xiàn)反映了對(duì)機(jī)器(錯(cuò)誤)分類(lèi)的普遍認(rèn)同。

接下來(lái)的四個(gè)實(shí)驗(yàn)分別是：

電視靜態(tài)圖像；

被擾動(dòng)的數(shù)字；

自然圖像和局部擾動(dòng)；

3D對(duì)象。

詳細(xì)內(nèi)容可以查看原文章：

https://www.nature.com/articles/s41467-019-08931-6#rightslink

人類(lèi)與機(jī)器存在某種意義上的相似

目前的研究結(jié)果表明，人類(lèi)的直覺(jué)是機(jī)器如何對(duì)圖像進(jìn)行分類(lèi)的可靠信息來(lái)源——即使是那些專(zhuān)門(mén)用來(lái)欺騙機(jī)器的對(duì)抗圖像。

這意味著，在將圖像與標(biāo)簽關(guān)聯(lián)時(shí)，人類(lèi)和機(jī)器在優(yōu)先級(jí)的圖像特性上至少存在某種有意義的相似性。

對(duì)抗性圖像的存在讓人懷疑，最近開(kāi)發(fā)的機(jī)器視覺(jué)系統(tǒng)在如何對(duì)圖像進(jìn)行分類(lèi)方面是否與人類(lèi)有任何真正的相似之處，以及此類(lèi)模型是否可以被秘密攻擊。目前的結(jié)果表明，這種挑戰(zhàn)人機(jī)相似性的概念可能并不像看上去的那么簡(jiǎn)單。

更加熟悉對(duì)抗性圖像的空間可能會(huì)讓人們更好地預(yù)測(cè)機(jī)器的分類(lèi)，也許未來(lái)的工作可能決定如何最好地準(zhǔn)備和訓(xùn)練人類(lèi)檢測(cè)和破譯這些圖像。

以上就是周正隆等人發(fā)表在Nature Communications上的論文主要內(nèi)容。

周正隆等人的研究給人們研究計(jì)算機(jī)眼中的世界提供了一種新的思路。

實(shí)際上，Ian Goodfellow等人在去年的時(shí)候也做過(guò)探索解決對(duì)抗性圖像的研究，在研究中，構(gòu)建了從計(jì)算機(jī)視覺(jué)模型轉(zhuǎn)移到人類(lèi)視覺(jué)系統(tǒng)的對(duì)抗性示例。

Ian Goodfellow等人的論文

在這篇論文中，Ian Goodfellow等人利用了機(jī)器學(xué)習(xí)、神經(jīng)科學(xué)和心理物理學(xué)三個(gè)核心思想：

首先，使用最新的黑匣子對(duì)抗性示例構(gòu)造技術(shù)，為目標(biāo)模型創(chuàng)建對(duì)抗性示例，而無(wú)需訪問(wèn)模型的體系結(jié)構(gòu)或參數(shù)。

其次，調(diào)整機(jī)器學(xué)習(xí)模型以模仿人類(lèi)的初始視覺(jué)處理，使得對(duì)抗性示例更有可能從模型轉(zhuǎn)移到人類(lèi)觀察者。

第三，在時(shí)間限制的環(huán)境中評(píng)估人類(lèi)觀察者的分類(lèi)決策，以便甚至可以檢測(cè)到對(duì)人類(lèi)感知的微妙影響。

研究發(fā)現(xiàn)跨計(jì)算機(jī)視覺(jué)模型傳遞的對(duì)抗性例子確實(shí)成功地影響了人類(lèi)觀察者的感知，從而揭示了計(jì)算機(jī)視覺(jué)模型與人類(lèi)大腦之間共享的一類(lèi)新幻想。

論文地址：

https://arxiv.org/abs/1802.08195

行文至此，引出另外一個(gè)話題：AI眼中的世界到底是什么樣子？

最近，谷歌與OpenAI共同創(chuàng)建了Activation Atlases（激活地圖），這是一種可視化神經(jīng)元之間相互作用的新技術(shù)。通過(guò)使用特征反演(feature inversion)來(lái)可視化一個(gè)圖像分類(lèi)網(wǎng)絡(luò)中數(shù)以百萬(wàn)計(jì)的激活。

換言之，神經(jīng)網(wǎng)絡(luò)圖像分類(lèi)的黑匣子終于被打開(kāi)了。

詳細(xì)文章請(qǐng)點(diǎn)擊下圖了解Activation Atlases的原理。

你認(rèn)為人類(lèi)的本質(zhì)是什么？