亞馬遜：這不是人臉識別,如何解讀置信分？

BuzzFeed的人類們，一路喜歡搞事情。

自從亞馬遜的人臉識別系統(tǒng)Rekognition，把28位美國議員認成了罪犯，他們就決定親自實驗一下。

不過，BuzzFeed測試的不是這套系統(tǒng)，而是同屬亞馬遜的一個名人識別AI。

把FBI通緝犯的507幅圖像拿去給AI匹配。

△畫家Bob Ross與通緝令上的Mike W. Jackson

結(jié)果，吉他手啊，演員啊，畫家啊，紛紛與通緝犯高分匹配成功。AI一共完成了17次置信度 (Confidence)95%以上的匹配。

在另外一項用NIST臉部數(shù)據(jù)集做的測試里，AI還把美國前國務(wù)卿賴斯，和一非裔男子被捕后的照片，匹配在了一起，置信分是96%。

機智的你可能發(fā)現(xiàn)了，重點不在明星和通緝犯的匹配，卻在于這些匹配并非勉勉強強拉個人湊數(shù)，而是AI很有信心的答案。

為什么會這樣？BuzzFeed也想知道，于是聯(lián)系了亞馬遜。

亞馬遜：這不是人臉識別

得到的答復(fù)，可能比實驗結(jié)果，還要讓人驚喜。

亞馬遜說，別看名人AI是作為Rekognition的一次更新，發(fā)布出來的，它們兩個其實是完全不同的產(chǎn)品啊。

名人AI是個娛樂產(chǎn)品，會在社交網(wǎng)絡(luò)或者搞笑App這樣的地方出現(xiàn)。

所以，它要做的就是給出更多相似的組合。

比如，加勒比海盜的杰克船長，畫了很濃的妝，跟強尼戴普平時的樣子相差不少。

即便這樣，名人AI還是會給你一個很高的置信分，告訴你他們兩個是同一個人。

而同樣的一組圖，喂給Rekognition的話，兩者匹配的置信分數(shù)，可能就只有50%-60%了。

畢竟，后者作為嚴肅的人臉識別AI，設(shè)定里就包含了執(zhí)法用途。

為了強調(diào)兩者的差異，亞馬遜甚至表示，名人AI根本不是人臉識別系統(tǒng)，它和Rekognition在模型的結(jié)構(gòu)上，就有明顯的不同。

未曾寫清差別

可問題是，普通人沒有辦法感覺到這樣的差異。

至少，亞馬遜的官方文件和宣傳文，都沒有體現(xiàn)它們之間的區(qū)別。

在跟BuzzFeed聊過之后，亞馬遜的人類才修改了Rekognition的文件。修改過的版本，已經(jīng)可見二者結(jié)構(gòu)上的不同了。

亞馬遜的一位發(fā)言人說，之前的文章寫得太傻了，只想著吸引人點進去，沒有想到應(yīng)該讓用戶看清楚。

就像剛才說的，名人AI針對的是，會在影視作品里偽裝自己的演員，把他們的扮相和真實的長相匹配起來。

所以，如果只對著一群通緝犯去匹配，當然匹配不出正確的結(jié)果了。

亞馬遜還表示，大家不用在意名人AI給的置信分，因為真正的人臉識別系統(tǒng)，打分的規(guī)則是完全不一樣的。

特意不寫清楚？

這樣，問題又來了。

加州大學伯克利分校的學者Joshua Kroll說，執(zhí)法用的AI系統(tǒng)，大部分都不會公開技術(shù)細節(jié)。

這樣的話，公司說什么，就是什么。

像亞馬遜，Rekognition被爆出“把議員認成罪犯”之后，公司才向外界解釋說，95%以上是推薦的置信度。

可置信分數(shù)到底是怎樣得出的，代表怎樣的含義，亞馬遜從來沒有解釋過。

Kroll說，讓外界產(chǎn)生那么大的困惑，這是亞馬遜自己選擇的。

如果公司愿意透露更多的細節(jié)，比如系統(tǒng)是如何開發(fā)，或如何運行的，那么針對亞馬遜人臉識別技術(shù)的質(zhì)疑和困惑就會少一些。

如何解讀置信分？

可是現(xiàn)在，只是給出了95%的推薦置信閾值，執(zhí)法人員又應(yīng)該怎樣理解這個數(shù)字呢？

來自喬治城法律中心的Clare Garvie說，一個人如果看到99%的置信度，那ta大概會認為系統(tǒng)給的結(jié)果是99%肯定的。

可事實并不是這樣，那只是AI系統(tǒng)自己的信心而已。

而執(zhí)法人員會怎么解讀這個數(shù)字，取決于他們接受的是怎樣的培訓。

這個解讀，又可能影響到案件調(diào)查的方向，人類很可能更偏重于那些置信分高的匹配結(jié)果。

人們之所以會有各種各樣的擔心，一部分也是因為，AI可以調(diào)查各種各樣的人，可對人類又很難對AI的工作原理展開調(diào)查。

人類在明，AI在暗。

無休止的調(diào)查？

除此之外，當人臉識別被用于執(zhí)法，你一旦被監(jiān)控拍到，就不知道AI對你的調(diào)查，什么時候是個頭了。

亞馬遜說，存下圖像，只是為了維護系統(tǒng)，改進系統(tǒng)。

可是，圖像會不會被濫用，誰也不知道。