如何制造具有自我意識(shí)、無限接近人類的的機(jī)器人？

編者按：都以為人是AI的終極演進(jìn)目標(biāo)。于是我們從分析人開始謀劃藍(lán)圖。我們分析意識(shí)是什么。分析建造的步驟是什么。殊不知，當(dāng)我們推演其后果時(shí)，發(fā)現(xiàn)其實(shí)具有自我意識(shí)的AI并不是我們想要的，而超越我們的AI其實(shí)已經(jīng)到來。暢銷書《羊毛戰(zhàn)記》的作者Hugh Howey通過這篇長(zhǎng)文對(duì)AI的未來進(jìn)行了他的展望。必須說，這是一個(gè)非常新穎的視角，因?yàn)樗粌H展望了AI的未來，更重要的是洞察出人的本質(zhì)。

宙間最酷的東西

宇宙充滿著很酷的東西：只有一茶匙重的中子星；連光也無法逃逸的超重黑洞；可以穿透脫氧鋼的無窮小的中微子；在我們的地球上能找到的所有那些匪夷所思的動(dòng)植物等。

盡管有點(diǎn)自大，但宇宙間所有已知的事物里面，最令人驚嘆的無疑是包裹在我們頭蓋骨里面的那團(tuán)黏糊糊的東西。那東西知道中子星、黑洞、中微子以及地球上中等數(shù)量的動(dòng)植物群。它甚至還了解（一點(diǎn)）自己。那東西能搞清楚數(shù)學(xué)公理，半真半假的道德真理，以及模棱兩可的哲學(xué)。它還從我們腳底下的泥提取出了建造我們的偉大城市、我們的汽車、飛機(jī)以及火箭，將這些離散的塊狀粘性物變成一個(gè)融創(chuàng)造力、知識(shí)以及有時(shí)候殘忍于一體的偉大的蜂巢大腦的有線和無線信號(hào)所需的一切材料。

毫無疑問，我們的大腦是迄今為止最酷的東西，因?yàn)槿绻麤]有那些大腦的話也就沒有那些論點(diǎn)了。它們是所有論證和討論的基礎(chǔ)。討論結(jié)束。

至少是到目前為止。有朝一日也可能會(huì)有別的也能發(fā)現(xiàn)、創(chuàng)造、論辯、哄騙或者表現(xiàn)殘忍的事物被發(fā)現(xiàn)或者建造出來。它們可能坐著來自遙遠(yuǎn)星球的飛船登陸（極有可能）。它們可能從某個(gè)實(shí)驗(yàn)室或者車庫(kù)冒出來（幾乎可以確定）。這些新的思考機(jī)器毫無疑問將超過我們的那團(tuán)粘性物奇跡。就像孩子長(zhǎng)得比父母高并且達(dá)到新的高峰而父母卻在走下坡路一樣，我們的創(chuàng)造物會(huì)取代我們的位置成為全宇宙最酷的東西。有人認(rèn)為現(xiàn)在就已經(jīng)如此了。

人工智能已經(jīng)到來。在全球各地的實(shí)驗(yàn)室，小小的AI正在煥發(fā)生機(jī)。其中一些下棋下得比任何人都好。另一些則在學(xué)習(xí)駕駛100萬輛汽車行駛10億英里并且拯救的生命比大多數(shù)醫(yī)生或者EMT（急救醫(yī)療技術(shù)員）整個(gè)職業(yè)生涯都要多。一些會(huì)確保你的餐具干凈光潔，或者你的衣服不會(huì)起皺紋。無數(shù)的這些智能被開發(fā)和編程出來；它們只會(huì)變得越來越聰明越來越無所不在；它們即將變得比我們更出色，但它們永遠(yuǎn)都不會(huì)像我們。不過這是好事。

我們與地球的其他生命形式的區(qū)別在于我們是具有自我意識(shí)（self-aware）的。大多數(shù)動(dòng)物都有意識(shí)。很多甚至有自我意識(shí)（self-conscious）。但人類不一樣，我喜歡稱之為超意識(shí)（hyper-conscious）。我們的大腦有個(gè)放大器連接到我們的意識(shí)，而且放大級(jí)別高達(dá)11。

它去到了11，旋鈕都掉了。

意識(shí)的起源

一個(gè)人類什么時(shí)候變得有自我意識(shí)并沒有確切的日期。你沒法在育嬰指南里面寫下那個(gè)日子，或者在那個(gè)時(shí)刻拍張照片留念分享到Facebook，或者給它搞個(gè)周年紀(jì)念日。它是漸進(jìn)地，分階段進(jìn)行的。

人類意識(shí)跟我小時(shí)候掛在學(xué)校體育館的舊式燈光很像。你扳上開關(guān)，一開始什么都沒有發(fā)生。這里或者那里的燈泡先是發(fā)出茲茲的聲音，然后發(fā)出黯淡的光芒，集結(jié)著一排閃爍起來，開始還是不穩(wěn)定的，然后是更多的燈亮，茲茲日益高漲，直到所有懸掛的銀色錐體全都加入進(jìn)來在半小時(shí)或者更久之后強(qiáng)度達(dá)到了全峰狀態(tài)。

我們的切換方式也像這樣。我們先是脫離母胎。剛出娘胎的頭幾個(gè)小時(shí)世界在我們看來很可能是顛倒的——直到我們的大腦適應(yīng)了我們的眼睛創(chuàng)建的倒像之后這種感覺才會(huì)消失。

需要很長(zhǎng)一段時(shí)間我們的手才會(huì)看起來就像我們自己的延伸。我們意識(shí)到自己有不同于別人的大腦和想法甚至需要更長(zhǎng)的時(shí)間。對(duì)于我們很多人來說，任何類型的真正的自知之明和自我啟蒙從來都沒有發(fā)生。因?yàn)槲覀兒苌贂?huì)停下來思考這種雞毛蒜皮。未經(jīng)檢視的人生就是這樣……

AI這個(gè)行當(dāng)?shù)教幎加腥嗽趶?fù)制或者模擬我們智能的各種功能。我們意識(shí)逐步的開關(guān)方式他們是肯定要復(fù)制的。我寫本文時(shí)，體育館正在滋滋響。遠(yuǎn)方的露天看臺(tái)上一盞燈正在嗡嗡響。其他的燈正在閃爍。還有更多正在打開。

圣杯

AI研究的圣杯甚至在AI研究還沒有開始之前就已經(jīng)確定了。計(jì)算的先驅(qū)之一阿蘭·圖靈就描述了對(duì)“思考”機(jī)器的終極測(cè)試：它們能否超過人類？從此以后，人類對(duì)于這樣一個(gè)機(jī)器比人類還像人類的未來就既充滿夢(mèng)想又懷有共同的噩夢(mèng)。這不是說比人聰明——在很多方面它們已經(jīng)是了。而是說它們比人要更加神經(jīng)質(zhì)、更暴力、更好戰(zhàn)、更癡迷、更陰險(xiǎn)、更有創(chuàng)意、更富激情、更多情等等。

科幻小說充斥著這類故事。今年10月我的短篇小說集將會(huì)發(fā)布，從中你會(huì)看到我對(duì)AI也有類似的想法。盡管如此，即便是這些智能在所進(jìn)入的幾乎每一個(gè)知識(shí)領(lǐng)域都超越了人類，但它們看起來并沒有跟我們更接近，跟我們還是很不一樣。

這是好事，但原因不是像電影《未來終結(jié)者》和《黑客帝國(guó)》里面所提出那樣。我們還沒有做出具有自我意識(shí)的機(jī)器的原因主要是因?yàn)槲覀兙芙^接受令我們具有自我意識(shí)的東西。那令我們具備自我意識(shí)的東西不像自負(fù)的錯(cuò)覺或者永恒自我的幻想那么討人喜歡。自我意識(shí)甚至都不是非常有用（所以對(duì)意識(shí)的研究往往會(huì)走入死胡同——它花費(fèi)了太多的時(shí)間去假設(shè)存在著一個(gè)宏偉的目標(biāo)然后再去尋找這個(gè)目標(biāo)了）。

也許AI研究出來最好的東西并不是對(duì)計(jì)算機(jī)的了解，而是對(duì)我們自己的了解。我們建造會(huì)思考的機(jī)器所面臨的挑戰(zhàn)突出了我們自己的生化粘性物的各種小奇跡。它們還突出了我們的缺陷。為了復(fù)制我們自己，我們首先必須要同時(shí)接受這些奇跡和缺陷。

以下就是如何建造一臺(tái)具備自我意識(shí)的機(jī)器的簡(jiǎn)要概述，以及為什么迄今還沒有人造出來的原因（謝天謝地）。

藍(lán)圖

建造自我意識(shí)機(jī)器的藍(lán)圖和你簡(jiǎn)單。你只需：

對(duì)外部刺激做出響應(yīng)的物體或者裝置（這可以是一輛感覺到下雨時(shí)雨刮器會(huì)動(dòng)起來或者面前突然出現(xiàn)一個(gè)孩子時(shí)會(huì)剎車的汽車。這不是問題，因?yàn)槲覀円呀?jīng)造出來這樣的汽車了）。

語(yǔ)言引擎。（也不是問題。這可以是有成百上千不同的燈和指示器的汽車?；蛘呤窍馡BM Watson那樣精通語(yǔ)言的東西。）

第三個(gè)要素稍微有點(diǎn)不尋常，除了想復(fù)制進(jìn)化搞砸的東西以外我想不出為什么要做這個(gè)。最后一個(gè)要素是機(jī)器的獨(dú)立部分，它會(huì)觀察機(jī)器身體的其余部分，然后就其所做的事情編故事——那些通常是錯(cuò)誤的故事。

總結(jié)一下：（1）響應(yīng)刺激的軀體；（2）溝通方法；（3）試圖推斷這些溝通的原因和動(dòng)機(jī)的算法。

這里關(guān)鍵的要素是（3）里面的算法通常必須是錯(cuò)誤的。

如果這份藍(lán)圖令你困惑，你不是唯一有此感受的人。沒人造出具備自我意識(shí)的機(jī)器的原因是大多數(shù)對(duì)意識(shí)是什么以及人如何產(chǎn)生意識(shí)有著錯(cuò)誤的想法。所以我們先跳過這一點(diǎn)。我們后面再到這份藍(lán)圖上面，描述這一算法必須如何編程。

人之所以為人

要想理解人類意識(shí)，必須深入研究心智理論。令人慚愧的這個(gè)概念很含糊，因?yàn)樗诖蠖鄶?shù)時(shí)間里消耗了我們大部分的計(jì)算能力。我們的大腦幾乎被看作是心智理論機(jī)器——我們所有的高級(jí)處理能力幾乎都是放在這一項(xiàng)任務(wù)上。那么心智理論是講什么的，既然我們的大腦如此令人癡迷的話為什么這一話題討論如此寥寥呢？

心智理論是一個(gè)大腦弄清另一個(gè)大腦的內(nèi)容的嘗試。是Sue在想Juan究竟在想什么。Sue對(duì)Juan的思想現(xiàn)狀建立理論。她這么做是為了猜測(cè)接下來Juan會(huì)干什么。只需要考慮一下，大概不會(huì)有其他的群居或部落動(dòng)物比我們?nèi)祟惛鼜?qiáng)大了。在幾十萬年的漫長(zhǎng)歲月里，我們?nèi)祟惐揉彾樱ハ嘁揽?，就像蜜蜂、螞蟻和白蟻一樣。隨著我們的行為和實(shí)現(xiàn)變得越來越復(fù)雜，部落的每一個(gè)成員都對(duì)其他成員在想什么以及會(huì)采取什么行動(dòng)有想法就變得至關(guān)重要。心智理論是知識(shí)間諜，我們都很擅長(zhǎng)——但有個(gè)很關(guān)鍵的局限性，這個(gè)我們稍后再談。

Sue猜測(cè)Juan在想什么被叫做一階心智理論（First Order Theory of Mind）。情況變得更加復(fù)雜。Sue可能對(duì)Juan對(duì)自己是是怎么看的也感到好奇。這就是二階心智理論，也是我們大多數(shù)的神經(jīng)質(zhì)和偏執(zhí)思想的根源?！癑uan認(rèn)為我聰明嗎？”“Juan喜歡我嗎？”“Juan希望我傷害嗎？”“Juan是不是因?yàn)槲易隽耸裁词滦那楹没蛘卟缓茫俊?/p>

類似這樣的問題應(yīng)該非常熟悉。我們的生活充斥著這些東西。而這還僅僅只是開始。

三階心智理論就會(huì)是Sue猜測(cè)Juan在想Josette對(duì)Tom是怎么看的。更簡(jiǎn)單點(diǎn)，Tom知道Josette對(duì)他感興趣嗎？或者Sue也許在想Josette在想Juan對(duì)Sue是怎么想的。換句話說，Josette是不是在妒忌呢？好幾個(gè)名字以及所有的“在想什么”繞來繞去，開始有點(diǎn)犯蒙了吧，但這就是我們腦子里整天在想的事情，比任何其他意識(shí)層面的思維類型都要多。我們很難不去想這些。我們也許稱之為八卦或者社交，但我們的大腦視之為自己的主要責(zé)任——其主要功能。有人猜測(cè)，心智理論才是我們的大腦有了這樣的相對(duì)容量的原因，而不是工具使用。

在一個(gè)石頭滿天飛的世界里，處理能力的一個(gè)好的用處是計(jì)算軌跡然后學(xué)會(huì)如何躲避。一個(gè)人對(duì)拋物線的F=ma就會(huì)天生有感覺。在一個(gè)你推我擠的世界里，處理能力的好的用處是計(jì)算那些人接下來會(huì)出現(xiàn)在哪里，以及他們到達(dá)那里之后會(huì)做什么。

如果這種特質(zhì)那么有用的話，為什么所有的那些動(dòng)物都不具備自我意識(shí)？很有可能它們是有的。大量研究表明很多動(dòng)物展現(xiàn)出了不同程度的自我意識(shí)。動(dòng)物知道，鏡中那張臉上的一點(diǎn)顏色其實(shí)是在自己的頭上。動(dòng)物還會(huì)跟別的動(dòng)物溝通如何去解決一個(gè)謎題來讓雙方都能獲得獎(jiǎng)賞。甚至章魚也展現(xiàn)出了可觀的具備自我意識(shí)的跡象。但就像獵豹是陸地最快的動(dòng)物一樣，人類是心智理論之王。

我曾經(jīng)見過我的狗會(huì)觀察我，猜我接下來會(huì)做什么。我會(huì)不會(huì)扔那根棍子？那最后的一點(diǎn)食物我會(huì)吃掉還是分享？我甚至見過狗在設(shè)法解決二階心智理論的問題。在跟伙伴玩耍纏斗時(shí)，狗需要揣摩我的意圖是什么。我有沒有突然打開包裝？還是說這又是一個(gè)游戲？我的狗應(yīng)該站在哪一邊？

狗是動(dòng)物王國(guó)心智理論的一個(gè)好例子，因?yàn)楣方?jīng)過多年的進(jìn)化已經(jīng)學(xué)會(huì)跟人打交道并且會(huì)注意我們的行為特征。具有自我意識(shí)的AI將會(huì)緊緊跟隨這種模式，因?yàn)?a target="_blank">機(jī)器人已經(jīng)成為了我們的馴化的伙伴。其中一些已經(jīng)在嘗試猜測(cè)我們?cè)谙胧裁?，接下來我們要做什么。正在研發(fā)的一些汽車會(huì)閱讀我們的臉來確定我們的注意力在什么地方，是不是犯困了。這屬于一階心智理論，已經(jīng)被植入到道路上行駛的自動(dòng)汽車?yán)锩妗?/p>

不過這些能力的進(jìn)一步發(fā)展并不能導(dǎo)致自我意識(shí)的產(chǎn)生。原因非常簡(jiǎn)單也很優(yōu)雅，而這解釋了人類意識(shí)的神秘之處，并且為前面提到的創(chuàng)造自我意識(shí)機(jī)器提供了藍(lán)圖，我們今天在實(shí)驗(yàn)室已經(jīng)很容易做到這些。但你很快就會(huì)發(fā)現(xiàn)這會(huì)是一個(gè)可怕的想法。而且不是敵托邦科幻小說里面那種世界末日式的可怕。

缺失的一環(huán)

人類大腦并不是單一的整體。它是成千上萬幾乎沒有相互聯(lián)系的不同模塊的組合。我們喜歡把大腦看作是計(jì)算機(jī)芯片。我們可能甚至試著更精確一點(diǎn)，把大腦看作桌面計(jì)算機(jī)，有著跟RAM（短時(shí)記憶）、硬盤（長(zhǎng)時(shí)記憶）、風(fēng)扇（自主神經(jīng)功能）、供電（消化）等分離的中央處理單元。

這是一個(gè)有趣的類比，但卻極其誤導(dǎo)人。計(jì)算機(jī)是帶有統(tǒng)一目的、設(shè)計(jì)得當(dāng)?shù)脑O(shè)備。所有這些不同部分大概都是同時(shí)針對(duì)同樣的目的設(shè)計(jì)的，而且在設(shè)計(jì)上它們就要和諧共處。這些無論如何都跟人類大腦不像。甚至連接近都不算。人類大腦更像是華盛頓特區(qū)（或者任何大型政府或者大企業(yè)）。大腦其中一些功能是在幾億年前就形成的，比如給細(xì)胞個(gè)體提供能量或者通過細(xì)胞膜灌注鈉鉀的那些功能。還有一些是幾百萬年前形成的，比如激活神經(jīng)細(xì)胞確保血液注入以及吸入氧氣的那些。往前來到大腦額葉，我們有最近才形成的控制哺乳類動(dòng)物行為和思想的模塊。

大腦的每一個(gè)模塊就像是擁擠的小鎮(zhèn)上的一棟棟建筑。其中一些模塊相互間甚至都不講話。泵血和呼吸反射這兩棟建筑本該留在自己的設(shè)備上（注：心和肺）。其他模塊則容易吵架、抬杠、不和，互相顛覆，不受控制地抽搐，謀劃政變等等各種歇斯底里。下面就是幾個(gè)例子。

幾個(gè)月前，我跟女友從加拉帕格斯群島出發(fā)去法屬波利尼西亞?？缭?000英里的公海往往需要2周到1個(gè)月的時(shí)間。通常我的女友是不會(huì)向暈船屈服的，但在南太平洋的會(huì)聚區(qū)，洶濤讓我們的帆船進(jìn)入了一種奇怪而不平穩(wěn)的節(jié)奏。她淪為了一種可怕感覺的犧牲品，一直吐了好幾天。

暈船就是我們的大腦模塊沒有彼此溝通好（或者做好自己的事情）的例子。當(dāng)來自我們環(huán)境的運(yùn)動(dòng)的視覺線索跟來自我們內(nèi)耳（感知平衡的地方）的信號(hào)不匹配時(shí)，我們的大腦就會(huì)假定我們中毒了。對(duì)于整天爬樹食用各種顏色亮麗的東西的生物來說，這是一個(gè)合理的假設(shè)。毒素會(huì)破壞我們大腦的處理，導(dǎo)致失效和壞數(shù)據(jù)。我們沒有進(jìn)化到適應(yīng)出海，所以當(dāng)動(dòng)作跟我們看到的東西不匹配時(shí)，我們的身體就以為我們已經(jīng)喪失了平衡雙腿的能力。結(jié)果就是我們把胃清空（排出毒物），然后我們躺下來一動(dòng)也不想動(dòng)（防止我們從懸掛的樹枝上跌落致死）。

就算我們知道這是發(fā)生在大腦的不同模塊，一個(gè)更高級(jí)的處理模塊也無濟(jì)于事。我們無疑是知道自己沒有中毒的，但這一模塊不會(huì)輕易戰(zhàn)勝暈船模塊。我自己也暈過船，而且對(duì)這類事情非常好奇，我曾經(jīng)覺察過不同的模塊的相互扭打。躺下來睡了很久之后，盡管還在暈船，但我仍然爬了起來執(zhí)行各種船需要我干的任務(wù)——那一刻暈船幾乎已經(jīng)消失了——只是等我把雜務(wù)都干完之后才又有了感覺。模塊會(huì)根據(jù)我們的環(huán)境刺激確定不同的優(yōu)先級(jí)。我們的大腦不是一臺(tái)整體的桌面PC。要想真正觀察其類似物的情況，可以打開C-SPAN或者旁聽一場(chǎng)爭(zhēng)吵不斷的企業(yè)董事會(huì)議。

我們的模塊互相打架的另一個(gè)例子：我們內(nèi)部有一些非常強(qiáng)勢(shì)的模塊被設(shè)計(jì)成會(huì)復(fù)制自己（為此，它們需要復(fù)制我們）。這就是性模塊，這是我們內(nèi)部的華盛頓特區(qū)里面最雄偉最漂亮的建筑之一。在我們約會(huì)的時(shí)候這些模塊指揮著我們很多的清醒時(shí)刻，它們會(huì)留意我們的當(dāng)前關(guān)系，決定該穿什么以及如何維持身體等等等等。

這些生殖模塊會(huì)敦促女人打扮起來參加舞會(huì)。催促男人去到有女人打扮起來跳舞的地方然后站在那里喝酒。那些模塊甚至還會(huì)讓其中一些人配對(duì)成功雙雙把家還。這就是各種不同的模塊靠小藥丸、避孕套等旨在顛覆讓情侶結(jié)合的原始沖動(dòng)的工具進(jìn)行干涉的地方。然而，如果沒有利用那些東西的話，哪怕更高級(jí)的模塊很明確地不想讓任何人在當(dāng)晚懷孕，一個(gè)私生子也可能會(huì)誕生出來，其他的模塊然后就會(huì)用愛和緊密聯(lián)系敲打大腦，幫助撫養(yǎng)那小孩。我們的一些模塊希望我們懷孕。但我們更強(qiáng)勢(shì)的模塊往往會(huì)希望推遲這個(gè)或者確保是跟對(duì)的人結(jié)合。潛伏模塊則在守株待兔，不管另一頭的其他建筑里面的享樂主義和無情無義是怎么想的，都要確保我們跟孩子的聯(lián)系。

關(guān)鍵要記住的是，不同人之間的這些模塊是高度可變的，我們這些模塊的獨(dú)特混合就形成了跟我們自己相關(guān)聯(lián)的個(gè)性。這意味著我們不是一樣的。我們也許有渴求繁殖的模塊，即便其中一些人的身體并不能產(chǎn)生精子，或者一些卵無法受精。我們也許有生殖模塊，即便性吸引模塊是給相同性別的人準(zhǔn)備的。

完美設(shè)計(jì)的桌面計(jì)算機(jī)這個(gè)類比算是徹底失敗了，而這種類比的失敗導(dǎo)致一些可怕的法律和風(fēng)俗習(xí)慣，因?yàn)槲覀兯坪鯚o法容忍設(shè)計(jì)不同于我們的東西。這還導(dǎo)致AI研究人員沿著錯(cuò)誤的道路前進(jìn)，如果他們想要模仿人類行為的話。我們必須故意將處理系統(tǒng)的不可靠以及脫節(jié)的本性植入進(jìn)去。我們必須故意分解系統(tǒng)，類似于自然如何將其胡亂拼湊的樣子。我們尤其將被迫模擬這種模塊性最特殊的一個(gè)功能，那個(gè)以非常特殊的方式跟心智理論結(jié)合的功能。正是這種結(jié)合導(dǎo)致了人類意識(shí)。這是我們給自我意識(shí)機(jī)器描繪的藍(lán)圖里面最重要的功能。

最重要的錯(cuò)誤

在心智理論的概念牢牢占據(jù)了我們的想法以及知道大腦模塊既不可靠也不相連之后，我們就準(zhǔn)備好可以去了解人類意識(shí)，意識(shí)是如何產(chǎn)生的，以及意識(shí)是（不）干什么用的了。

這可能會(huì)令那些習(xí)慣聽到我們并不理解人類意識(shí)并且在該領(lǐng)域并未取得進(jìn)展說法的人感到驚訝。這完全是錯(cuò)的。我們沒有取得進(jìn)展的是理解人類意識(shí)是干什么用的。

這方面幾千年的失敗指向了一個(gè)簡(jiǎn)單的事實(shí)：人類意識(shí)根本就不是給任何東西準(zhǔn)備的。它根本就沒有用。意識(shí)沒有進(jìn)化的好處。意識(shí)產(chǎn)生自兩個(gè)超級(jí)有用、我們?nèi)币欢疾豢缮娴哪K的聯(lián)合，因此我們就容忍了這種煩人且有害的意識(shí)。

其中一個(gè)模塊就是心智理論。前面已經(jīng)提過心智理論比任何更高級(jí)的神經(jīng)活動(dòng)消耗的大腦處理能力都要多。這是非常重要的。這一模塊的問題是它對(duì)自己的力量沒有選擇性；我們甚至都不清楚此類選擇性有沒有可能。這意味著我們的心智理論能力施加在我們自己身上就像施加到別人身上一樣頻繁（或者要比后者頻繁得多）。

想象有這么一支奇葩的射線槍，其射擊范圍之寬以至于不管你怎么瞄準(zhǔn)都會(huì)傷到自己。這應(yīng)該讓你對(duì)我們?nèi)绾问褂眯闹抢碚撚辛艘环逦挠∠?。我們的大腦已經(jīng)準(zhǔn)備好觀察別人來確定他們?cè)谙胧裁矗瑸槭裁匆@么做，接下來可能會(huì)做什么。往下看，這些大腦（及其無思考能力的模塊）看到一個(gè)軀體跟它們相連。這些模塊觀察手執(zhí)行任務(wù)，腳帶他們?nèi)サ絼e處，思想流脫口而出。關(guān)閉我們的心智理論模塊是不可能的（而且也不會(huì)是個(gè)好主意；我們會(huì)在石頭滿天飛的世界里看不見東西）。所以這個(gè)心智理論模塊捏造出關(guān)于我們自己行為的故事。為什么我們想打扮起來參加舞會(huì)？因?yàn)橛腥?！而且我們的朋友也?huì)去那里！為什么肚子都滿了我們還在不斷地吃東西？因?yàn)槊牢?！而且我們今天還多走了1000步！

這些有關(guān)我們自身行為的問題永遠(yuǎn)都不會(huì)完。而答案幾乎總是錯(cuò)的。

消化一下，好好理解這句話。我們告訴自己的有關(guān)自己行為的解釋幾乎總是錯(cuò)的。

這就是心智理論超能力的怪異之處。我們把它用到別人身上時(shí)就很好。但用在自己身上時(shí)就錯(cuò)得離譜。我們猜測(cè)別人動(dòng)機(jī)的準(zhǔn)確率要比猜測(cè)自己高得多。從某種意義上來說，我們已經(jīng)形成了一個(gè)魔力場(chǎng)，可以在我們將那把會(huì)讀心術(shù)的射線槍對(duì)準(zhǔn)別人（以及自己）時(shí)保護(hù)我們免受影響。這個(gè)力場(chǎng)就是我們的自負(fù)，這讓我們對(duì)自己的看法開始自我膨脹，對(duì)自己的行為會(huì)更加的自視清高，并且會(huì)產(chǎn)生一種自己鶴立雞群的幻覺。

我們對(duì)自身行為想出來的不正確的解釋是為了自我保護(hù)。它們往往是狂野的創(chuàng)意或者荒謬的過分簡(jiǎn)化。像“有趣”和“可口”這樣的答案都是指回到一個(gè)快樂模塊的間接答案，對(duì)這一獎(jiǎng)賞機(jī)制的潛在好處并沒有好奇心。我們雖然肚子填滿了東西但還是吃個(gè)不停的真相是我們是從一個(gè)卡路里稀缺的世界進(jìn)化過來的。我們通過跳舞吸引伴侶好制造出自己的復(fù)制品，因?yàn)橐龑?dǎo)這一行為的模塊制造了很多副本，把其他的設(shè)計(jì)都擠掉了。

研究人員對(duì)這種行為與我們告訴自己有關(guān)自身行為的謊言的不一致進(jìn)行了長(zhǎng)期研究。一項(xiàng)研究讓受試者以為自己感覺溫暖（在為那些受試者準(zhǔn)備的虛假測(cè)試加入特定用語(yǔ)就可以輕易實(shí)現(xiàn)這一點(diǎn)）。當(dāng)這些人站起來調(diào)整恒溫器時(shí)，研究人員會(huì)打斷他們?cè)儐枮槭裁匆{(diào)整溫度。這些人就會(huì)說出令人信服的故事，而當(dāng)指出那些特定用語(yǔ)時(shí)，懷疑壓倒了一切。即便我們看到了自己的行動(dòng)是從哪里來的，我們還是選擇相信自己的心智理論模塊，而后者早已經(jīng)得出了自己的結(jié)論。

受試者的功能磁共振成像機(jī)器還披露了另一項(xiàng)特質(zhì)。通過實(shí)時(shí)觀察他們的大腦，我們可以看到在大腦更高級(jí)的部分意識(shí)到那些決定時(shí)決定就已經(jīng)做出了。也就是說，研究人員在受試者說出自己已經(jīng)做出選擇之前就能說出受試者會(huì)按哪個(gè)按鈕。動(dòng)作在說之前就做出了。我們移動(dòng)；我們觀察自己的動(dòng)作；我們告訴自己為什么要做事情的故事。非常有用的心智理論工具是我們無法關(guān)閉的，它會(huì)繼續(xù)運(yùn)轉(zhuǎn)，編造有關(guān)我們自身行動(dòng)的故事。

關(guān)于這一點(diǎn)更明顯的例子來自那些出現(xiàn)各種神經(jīng)受損的人。有視覺處理問題，或者大腦左右半球被切斷聯(lián)系的的受試者，可以給他們的每只眼睛看不同的圖像。相互不連接的模塊會(huì)接收這些存在沖突的輸入然后編造出迷人的故事。一只眼睛可能看到的是一把耙子，而另一只眼睛看到的是一堆雪。看耙子的那只眼睛基本上是失明的，因?yàn)槿绻粏柕降脑捠茉囌邿o法說出看到的是什么。但處理該圖像的模塊仍然活躍，所以在被問到該用什么工具處理看到的圖像（雪）時(shí)，那人會(huì)回答“耙子”。有趣的不在這里。有趣的是這個(gè)人會(huì)通過令人吃驚的扭曲來證明自身回答的合理性，哪怕把整個(gè)過程都解釋給他聽之后還是這樣。你可以告訴內(nèi)部的華盛頓特區(qū)它是怎么搭錯(cuò)線的，但它還是會(huì)繼續(xù)固執(zhí)地堅(jiān)持其精神錯(cuò)亂。

如果要造自我意識(shí)機(jī)器我們就得這么建?？赡苓@時(shí)候你已經(jīng)開始看出為什么沒人應(yīng)該浪費(fèi)自己的時(shí)間了。這些機(jī)器（可能）不會(huì)終結(jié)世界，但它們會(huì)像自然創(chuàng)造我們那樣的荒謬和愚蠢。我能想到的建造此類機(jī)器的唯一理由是可以雇傭更多的精神病學(xué)家。

藍(lán)圖修訂版

阿蘭·圖靈的圖靈測(cè)試有一位古怪的粉絲，她實(shí)在是閑得慌，打聽到了這份建造自我意識(shí)機(jī)器的藍(lán)圖。認(rèn)為這會(huì)導(dǎo)致某種超智能的誕生，可以說出治愈癌癥的秘方以及實(shí)現(xiàn)冷聚變的辦法，于是她雇了我，給了我一大筆錢以及一支電氣與機(jī)械工程師團(tuán)隊(duì)。那我們?nèi)绾尾拍芙M裝出一臺(tái)具備自我意識(shí)的機(jī)器呢？

根據(jù)我們對(duì)心智理論以及斷開連接的模塊的了解，我們要建造的第一個(gè)東西是意識(shí)程序。這種程序還是相當(dāng)簡(jiǎn)單的而且肯定已經(jīng)存在。利用現(xiàn)成技術(shù)，我們決定我們的第一臺(tái)機(jī)器的樣子和行為都將與無人車非常相像。很多年以來，實(shí)現(xiàn)真正自動(dòng)駕駛汽車的最大限制就在于意識(shí)裝置：讓汽車知道周圍發(fā)生什么的傳感器。這方面目前已經(jīng)取得了巨大進(jìn)展，為我們的機(jī)器提供了視力和聽力。

有了這些基本意識(shí)之后，我們接著利用機(jī)器學(xué)習(xí)算法來建立一個(gè)行為指令系統(tǒng)供AI汽車學(xué)習(xí)。這個(gè)研究方向跟多部分的無人車研究不同——傳統(tǒng)上工程師希望教會(huì)汽車如何安全地做特定的事情——我們的團(tuán)隊(duì)卻相反，會(huì)教城市網(wǎng)格內(nèi)的一系列傳感器觀察其他車輛然后猜測(cè)它們?cè)谧鍪裁?。那部藍(lán)色的日產(chǎn)要去雜貨店因?yàn)?“它餓了”。這部紅色的面包車要開去加油站因?yàn)椤八枰獎(jiǎng)恿Α?。那部車喝醉了。這部視力不是很好。還有一部反應(yīng)速度很慢。這部腎上腺素滿滿。

這成千上萬的需求和擬人化的描述語(yǔ)會(huì)搭建成一個(gè)龐大的短語(yǔ)庫(kù)或者指示燈。如果我們要造一個(gè)人形機(jī)器人的話，我們也一樣要觀察人然后建立人要執(zhí)行的各種動(dòng)作的詞匯。傳感器會(huì)通過掃描眼睛（人和狗也會(huì)這么做）來注意意識(shí)的對(duì)象。它們會(huì)通過我們的面部表情和肢體語(yǔ)言了解我們的情緒（目前的系統(tǒng)已經(jīng)能做到）。這個(gè)庫(kù)和傳感器陣列將組成我們的心智理論模塊。其目的純粹是講故事，有關(guān)別人動(dòng)作的故事。當(dāng)我們把它變成講自己的故事時(shí)魔術(shù)就會(huì)發(fā)生。

我們的庫(kù)先從一階概念開始，然后再搭建二階和三階的東西。那輛黃色的福特看到灰色的雪佛蘭朝它開過來了嗎？它稍微轉(zhuǎn)了一下彎，所以，是的。那部面包車是不是認(rèn)為這輛改裝車開得太瘋狂了？它在路上留出的空間要比給其他車留出的平均空間要多，所以是的。那輛面包車是不是認(rèn)為所有的改裝車都開得太瘋狂了呢？剛才那輛從代理商處離開的Corvette它只留出了2英里的速度差空間，所以是的。這會(huì)不會(huì)導(dǎo)致面包車懷有成見？當(dāng)我們放任自己的車由它的模塊做出自我決斷時(shí)，它就必須要確定自己是否帶有成見。也許它會(huì)靠其他的數(shù)據(jù)做出自己是謹(jǐn)慎而不是懷有偏見的判斷（自負(fù)妨礙了它準(zhǔn)確地運(yùn)用心智理論）。

走到這一步之前，我們首先需要讓機(jī)器具備自我意識(shí)。于是我們教它替車主開車先在城里轉(zhuǎn)轉(zhuǎn)。然后讓這輛AI汽車觀察自己的行為然后通過猜的方式說出自己在干什么。此處的關(guān)鍵是不要賦予它完美的意識(shí)。不要讓它接觸GPS單元，因?yàn)槔锩嬉呀?jīng)設(shè)定好要去雜貨店了。也不要讓它知道車主的手機(jī)知道的東西，因?yàn)槔锩嬲煞蛞呀?jīng)發(fā)短信給妻子讓她回家路上接孩子了。為了模仿人類的行為，無知是關(guān)鍵。無知是初始猜測(cè)，或者我們所謂的偏見的保證。

在我們算法里面，跟后來想出的理論與有了更多的數(shù)據(jù)（克服初始的偏見需要占優(yōu)勢(shì)的證據(jù)。50%的可能性就足以確定最初的想法，但要想勝過最初的猜測(cè)可能需要更高的可能性，比如說75%）相比，早期的假設(shè)會(huì)被賦予較高的權(quán)重。編造的故事是錯(cuò)的，并且為將來的謬誤描繪了一幅陰沉的畫面。所以當(dāng)那車每天都在加油站停下來并插上充電樁時(shí)，哪怕車永遠(yuǎn)都是85%的電量，心智理論算法會(huì)假設(shè)這是為了安全起見，或者就可能的颶風(fēng)疏散未雨綢繆。

但它不知道的是車主每天去加油站其實(shí)是在吃墨西哥版的肉夾饃（microwaved cheesy gordita），以及一堆炸薯?xiàng)l和半升蘇打水。隨后，當(dāng)那車定期會(huì)去醫(yī)院時(shí)，故事就會(huì)變成是去體檢和此人謹(jǐn)慎，而不是充血性心力衰竭發(fā)作。這種不斷的猜測(cè)，以及機(jī)器一直猜錯(cuò)、困惑和相當(dāng)自信，會(huì)給我們那位古怪的圖靈粉絲以科幻小說所承諾的那種具有自我意識(shí)的AI。而我們的那位怪人將會(huì)發(fā)現(xiàn)，做出來的這個(gè)設(shè)計(jì)無論從哪個(gè)方面來說都是極其糟糕的。

意識(shí)的語(yǔ)言

我懷疑在我們意識(shí)到之前很久可能我們就已經(jīng)有了AI，理由是我們總以為AI會(huì)駐留在一個(gè)設(shè)備里面，是自包含的，由一堆算法組成。但這根本不是我們的建造方式。這只是人類意識(shí)的配方里面最后一種成分，也就是語(yǔ)言所制造出來的一個(gè)幻覺。語(yǔ)言比任何其他特質(zhì)都更多地賦予了我們這種感覺，即我們的大腦是單一的模塊，單個(gè)的設(shè)備。

在我再次拋出我們的大腦不是單一實(shí)體的觀點(diǎn)之前，我們先來看看我們的身體，大腦是它不可或缺的一部分。我們的身體由數(shù)萬億不同的細(xì)胞組成，其中很多是可以獨(dú)立于我們存活下去的。我們身體的培養(yǎng)物可以在實(shí)驗(yàn)室存活幾十年。人的整個(gè)器官可以移植到別人的身體內(nèi)。而且我們體內(nèi)不屬于我們的細(xì)胞甚至比組成我們的細(xì)胞還要多。我知道這聽起來似乎不可能，但的確，生活在我們的內(nèi)臟里面、皮膚上等地方的生物體要比構(gòu)成我們身體的細(xì)胞總數(shù)還要多。而且這些都不是過客。它們影響著我們的情緒，我們的健康，我們的思想和我們的行為。當(dāng)我們討論“自己”時(shí)這些都是必不可少的一面。

盡管這是非?？膳碌氖虑?，而且有太多的人遭遇這種不幸，但人沒手、沒腳以及沒了大部分軀干還是可以活下來的。有些人失去了一半的大腦還是可以繼續(xù)過上算是正常的生活。有些人出生就只有一半大腦仍能設(shè)法過下去。

想想看這個(gè)：到了30歲的時(shí)候，一個(gè)人出生時(shí)的每一個(gè)細(xì)胞都已經(jīng)被不同的細(xì)胞完全替換掉。原來的細(xì)胞幾乎全都沒了。然而，我們?nèi)匀桓杏X像是同一個(gè)人。理解所有這些生物方面的奇事，以及我們的大腦如何對(duì)“相同”進(jìn)行合理化解釋，對(duì)于當(dāng)AI降臨時(shí)認(rèn)清AI至關(guān)重要。這感覺也許像是騙我們?cè)煲惠v無人車，給它在城市周圍布滿各種傳感器，建造一個(gè)單獨(dú)的模塊去猜測(cè)車輛的意圖，再把這個(gè)模塊用回到那輛車上，然后稱之為AI。但這正是當(dāng)我們把我們看成是“我們”時(shí)我們?cè)谧龅氖隆?shí)際上，我們需要植入AI的一個(gè)反應(yīng)就是在面對(duì)其不同的、算法上的自我時(shí)要表現(xiàn)出強(qiáng)烈的厭惡。否認(rèn)我們的本性也許是我們最根本的本性。

就像身體一樣，大腦不需要太多的內(nèi)部模塊也能存在。大腦機(jī)能的研究就是這么開始的，受試者一般是頭部受到過創(chuàng)傷或者進(jìn)行手術(shù)（大腦半球切除術(shù)、前腦葉白質(zhì)切除術(shù)、腫瘤切除等）的人。我們大腦模塊極細(xì)的專門化總是令人驚嘆。有些視覺模塊是識(shí)別運(yùn)動(dòng)的，而且只識(shí)別運(yùn)動(dòng)。缺乏這一模塊的人無法看到對(duì)象在運(yùn)動(dòng)，所以家人朋友似乎是突然出現(xiàn)無中生有的。有些人如果看到書面語(yǔ)代表的是動(dòng)物的話是無法發(fā)出其讀音的。而代表物體的單詞就能看到而且發(fā)音清晰。動(dòng)物識(shí)別模塊——這也許是我們見過的最好的模塊——不見了。

但盡管如此，這些人仍然具有自我意識(shí)。他們是人。

小孩也是這樣。一個(gè)只有幾周大的嬰兒還不能認(rèn)識(shí)到她的手是屬于自己的。從出生到不記得自己大部分經(jīng)歷的老年癡呆癥患者，通過這不同的階段我們發(fā)現(xiàn)了所謂的人類。我們非常恰當(dāng)?shù)匕堰@些人也一樣當(dāng)作人類，但我們總歸要愿意對(duì)意識(shí)做出定義以便給人工意識(shí)選好目標(biāo)。就像Kevin Kelly喜歡說那樣，在AI方面我們總是改變目標(biāo)。機(jī)器今天能做的事情在僅僅10年前還被認(rèn)為是不可能的。隨著取得改進(jìn)，神秘感消失了，于是我們又把指標(biāo)提高了。但幾乎從每一個(gè)可衡量的手段來看，機(jī)器都已經(jīng)比新生兒能力更強(qiáng)了。從每一個(gè)可衡量的方面看，它們也比臥病在床靠生命補(bǔ)給的病人更強(qiáng)。隨著AI的進(jìn)步，它會(huì)繼續(xù)朝著人類的中堅(jiān)份子水平進(jìn)發(fā)，超過跚跚學(xué)步的兒童以及處在人生末期的老人，直到勝過中青年然后繼續(xù)擴(kuò)展能力。

這種事每天都在發(fā)生。AI已經(jīng)學(xué)會(huì)了走路，這是最小和最老的人無法做到的。AI會(huì)開車，而且失敗率很低，這幾乎是任何年紀(jì)的人都做不到的。隨著每一層的添加，每一種技能的達(dá)成，AI在表現(xiàn)上正在對(duì)年齡段兩端的人類構(gòu)成碾壓，那個(gè)體育館越來越多的燈開始閃爍不停，滋滋作響。這就像是大霧天氣下的日出一樣。突然之間，太陽(yáng)已經(jīng)當(dāng)頭照，但我們卻從來都沒注意到它的升起。

那語(yǔ)言呢？

前面我已經(jīng)提到過語(yǔ)言是意識(shí)的關(guān)鍵成分。對(duì)于AI來說這是一個(gè)非常重要的概念。然而我們大腦的很多模塊都會(huì)為了爭(zhēng)奪我們的注意力狀態(tài)（我們大腦在任何時(shí)候念念不忘的東西）以及我們的語(yǔ)言處理中心（跟我們的注意力狀態(tài)緊密相連，幾乎可以說是融為一體，并無二致）而相互打架。

為了試驗(yàn)一下是不是這樣，你可以一邊聽有聲讀物或者播客一邊跟別人講話?？赡軉?？練習(xí)幾年之后你能不能解鎖這個(gè)能力？說到并發(fā)溝通流，我知道最接近的一個(gè)就是同聲翻譯（real-time human translators）。但這只是一種幻覺，因?yàn)楦拍睢獙?duì)意識(shí)的關(guān)注——是一樣的。對(duì)于我們這些連母語(yǔ)都不算精通的人（更不用說2門及以上了）來說，同聲翻譯簡(jiǎn)直就像會(huì)魔術(shù)一樣。用英文告訴我一個(gè)故事，我可以做到同時(shí)用英語(yǔ)重復(fù)一遍。而且你會(huì)發(fā)現(xiàn)大多數(shù)情況下我是在你沉默的時(shí)候說的，相比之下那些同聲翻譯實(shí)在是太出色了。

語(yǔ)言和注意力是我們大腦倒置的漏斗里面的狹長(zhǎng)噴管。成千上萬不同的模塊都往這個(gè)漏斗搗騰輸入。灌進(jìn)去的有激素，有環(huán)境特征，有視覺和聽覺線索，甚至還包括幻覺和不正確的假設(shè)。一堆堆的數(shù)據(jù)都只能從一個(gè)管道析取出來。這僅有的一條渠道要受到我們的注意力系統(tǒng)和語(yǔ)言的限制和約束。這相當(dāng)于桌面計(jì)算機(jī)的顯示器。在最后一刻所有的并行處理都被串行化了。

這會(huì)產(chǎn)生可怕的后果。我往往在數(shù)小時(shí)或者數(shù)天之后會(huì)忘了什么東西卻只記得誰(shuí)跟我嘮叨了什么，這種情況的發(fā)生次數(shù)我已經(jīng)數(shù)不清了。有一次我曾經(jīng)在AirBnb落過一臺(tái)筆記本。那是凌晨4點(diǎn)，我要趕一班早班的飛機(jī)。我住的地方門是自動(dòng)上鎖的，而且一旦關(guān)了就無法撤銷。站在門外，我突然感覺自己好像忘了什么東西，但是絞盡腦汁也想不起是什么。這時(shí)候我又沒有人可以打電話讓我再進(jìn)去查一遍。于是我在腦子里把可能會(huì)遺漏的東西過了一遍（充電器、機(jī)票），把口袋的東西又摸了一遍（錢包手機(jī)）。我的一部分在發(fā)出危險(xiǎn)警報(bào)，但是唯一的輸出流還是在按照自己的節(jié)奏不緊不慢，輸出一片空白。

這一切不可思議的地方在于我是知道這是怎么發(fā)生的——危險(xiǎn)模塊知道有什么東西會(huì)通不過意識(shí)的漏斗，所以我應(yīng)該留意。盡管有這個(gè)先見之明，我還是關(guān)上了門。只是等門發(fā)出了“吧嗒”的聲音時(shí)那信息才通過了?，F(xiàn)在我可以清晰的看到我的筆記本在床上，那時(shí)候我正在做一份手稿的最后筆記。但是我之前從來都沒有在任何地方落過筆記本，所以它并沒有出現(xiàn)在我的檢查清單里面。我腦袋發(fā)出的警報(bào)是我的一部分，但不是全部的我。那只是通過了狹窄的語(yǔ)言走廊的。所以我們大腦的語(yǔ)言中心如果受損的話其對(duì)正常生活的危害就像記憶模塊一樣大的原因所在。

這里我需要指出的是語(yǔ)言并不是說的話。聾子也一樣通過言語(yǔ)來處理，盲人和啞巴也一樣。不過請(qǐng)想象一下沒有言語(yǔ)的動(dòng)物是怎么生活的。你當(dāng)然能感受到它們對(duì)食物、性以及陪伴的渴望。對(duì)溫暖、庇護(hù)以及玩耍的渴望。沒有語(yǔ)言時(shí)，這些渴望來自并行處理。它們受限于注意力關(guān)注，但絕對(duì)不是串行化到一連串的話里面。

我們是從極其稀少的跟語(yǔ)言脫離接觸的人類長(zhǎng)大成人的案例研究中了解這是什么樣的。童年被關(guān)進(jìn)屋子里的孩子。在野外生存的孩子。虐待的情況下會(huì)給沒有語(yǔ)言的生活造成什么破壞是很難梳理的，但有一點(diǎn)，那些失去其語(yǔ)言處理模塊的人隨后在生活中展現(xiàn)出來的行為上的好奇心如果不進(jìn)行梳理的話我們會(huì)假設(shè)是因?yàn)閮和按隆?/p>

當(dāng)Watson在智力競(jìng)賽Jeopardy獲勝時(shí)，使得“他”在AI中鶴立雞群的原因在于讓我們跟他連接起來，去傾聽他的串行化的輸出流。我們能在他那小小的藍(lán)色屏幕上讀到他的答案，就像我們能看懂入圍Jeopardy決賽的人類選手字跡潦草的答案一樣。這個(gè)輸出的組中爆發(fā)是使得Watson看起來像人的原因。這正是圖靈在同名測(cè)試（他設(shè)計(jì)的測(cè)試中受試者是通過一張張的紙來進(jìn)行書面交流的）中希望看到的交流。我們的自動(dòng)駕駛AI不會(huì)具備完全自我意識(shí)，除非我們對(duì)它進(jìn)行編程讓它告訴我們（以及自己）它編造的有關(guān)自身行為的故事。

這是我對(duì)Kevin Kelly有關(guān)AI已至的宣告唯一有爭(zhēng)辯的地方。我承認(rèn)Google的服務(wù)器和各種互聯(lián)的項(xiàng)目應(yīng)該已經(jīng)算是一個(gè)超級(jí)智能的AI。對(duì)于一個(gè)理解我們問什么并且對(duì)一切都能給出答案——那種大家信任到把該公司的名字等同于“發(fā)現(xiàn)答案”的同義詞的答案的東西，你還能把它叫做什么？

Google還能作畫，翻譯，在幾乎每一個(gè)游戲上打敗最好的人類選手，開車比我們還溜，并且做著還非常機(jī)密、非常非常令人毛骨悚然的事情。Google已經(jīng)讀完且記住了幾乎所有寫出來的書。它還再可以大聲地把這些書朗讀給你聽。它犯的錯(cuò)誤也像人。它容易產(chǎn)生偏見（這既有來自環(huán)境的，也有大部分是男性程序員的偏見）。它缺的兩個(gè)東西我們的機(jī)器將會(huì)擁有，一個(gè)是自我指認(rèn)循環(huán)，另一個(gè)是串行輸出流。

我們的機(jī)器會(huì)編造自己在做什么的故事。它還會(huì)敘述那些故事給別人聽。而且往往是錯(cuò)的。

如果你想找找在宇宙中如此渺小的感覺，只需在太平洋上抬頭凝望一下銀河系。如果你不可能做到，那就想想讓我們之所以為人的東西其實(shí)就跟木偶讓自己相信自己沒有被繩子牽著一樣的卑賤。

更好的主意

造一輛有意而為的無知的車是個(gè)糟糕的想法。要想讓我們的機(jī)器具備相當(dāng)于人類意識(shí)的自我意識(shí)，我們就得讓它把筆記本落在AirBnB。它偶爾就得出現(xiàn)沒油的情況。通過給成百上千的輸入模塊賦予不同的權(quán)重，人為地限制授權(quán)給決策及離職理論故事最后仲裁者的時(shí)間和處理能力，這是很容易編程實(shí)現(xiàn)的。我們自己的大腦就好比是有著千兆位分辨率的傳感器，每個(gè)輸入模塊的吞吐量均達(dá)萬億次，但我們的輸出卻是古老的IBM 8088芯片。我們不會(huì)把AI看成像人一樣，因?yàn)槲覀冇肋h(yuǎn)也不會(huì)做出這種限制。

但I(xiàn)BM的Watson就依照J(rèn)eopardy的規(guī)則植入了這樣的限制。Jeopardy需要速度。Watson必須迅速確定他對(duì)自己答案的確定性有多大來決定是否按鈴。如結(jié)果表明那樣，按響蜂鳴器的時(shí)機(jī)正是贏得Jeopardy的關(guān)鍵。往往令Watson看起來最像人的不是他答對(duì)了問題，而是看他的第2、3、4個(gè)猜測(cè)是什么，每一個(gè)猜測(cè)的確定性百分比如何。真正讓W(xué)atson像人的是他出錯(cuò)的時(shí)候，就像Jeopardy決賽時(shí)一道“美國(guó)城市”類別的問題Watson卻給出了一座加拿大城市的答案。

（值得注意的是，在我們看來機(jī)器人失敗的時(shí)候最像人類，這是有原因的。當(dāng)我的Roomba在沙發(fā)底下被困住，或者吸塵口被地毯的毛線堵住時(shí)，那一刻是機(jī)器最吸引我的時(shí)候。觀看YouTube上面Boston Dynamics機(jī)器人的視頻然后估摸一下你的反應(yīng)。當(dāng)機(jī)器人大狗被推倒，或者開始在雪地里打滑，或者當(dāng)包裹處理員把箱子從它手上敲掉或者推搡它的臉時(shí)——這時(shí)候我們很多人都會(huì)感受到最深切的聯(lián)系。還要注意的是這是我們的心智理論大腦最擅長(zhǎng)的事情，但對(duì)象變成了機(jī)器而不是人類同伴。）

汽車制造商此刻正忙著早我們永遠(yuǎn)也不會(huì)稱為自我意識(shí)的汽車。那是因?yàn)樗鼈冊(cè)斓锰昧恕Ｎ覀兊乃{(lán)圖是要造一臺(tái)不知道自己動(dòng)機(jī)的機(jī)器，同時(shí)要為這些動(dòng)機(jī)提供一個(gè)連續(xù)不斷的對(duì)話框。造一臺(tái)知道其他汽車在做什么的機(jī)器這個(gè)想法要好很多。沒有猜測(cè)。也根本沒有運(yùn)行對(duì)話框。

這意味著要訪問GPS單元，智能手機(jī)的短信，家庭計(jì)算機(jī)的電子郵件。但也要訪問一切其他車輛以及整座城市的傳感器數(shù)據(jù)。日產(chǎn)告訴福特說它準(zhǔn)備要去購(gòu)物廣場(chǎng)。每一輛車都知道所有其他汽車在干什么。不會(huì)有碰撞。在高速公路上，有類似目的地的汽車會(huì)拼成一個(gè)車隊(duì)，磁性保險(xiǎn)杠會(huì)連城一行，共享一道氣流分擔(dān)每一輛車的能源使用。機(jī)器會(huì)協(xié)同運(yùn)作。它們展現(xiàn)了出全能汽車的所有特質(zhì)。它們知道一切需要知道的東西，有了新數(shù)據(jù)，它們會(huì)麻黃素那個(gè)改變自己的想法。不帶偏見。

我們是幸運(yùn)的，因?yàn)檫@類車隊(duì)是由今天的AI研究人員建造的。它不會(huì)有科幻小說故事里面看到的那些怪異（我的短篇小說《Glitch》里面的小故障，或者我的那本有名無實(shí)的短篇小說集《機(jī)器學(xué)習(xí)》里面的恐怖事件）。相反，它將提供的是設(shè)計(jì)得當(dāng)?shù)南到y(tǒng)，幾乎永遠(yuǎn)會(huì)按照設(shè)計(jì)意圖做事情。很少會(huì)有事故，原因能被理解，這一知識(shí)得到廣泛分享，也做出了改進(jìn)。這些人類的目標(biāo)是共存，去塑造他們的環(huán)境以實(shí)現(xiàn)福祉、生產(chǎn)力、創(chuàng)造力以及知識(shí)倉(cāng)庫(kù)的最大化。這里可以開發(fā)一個(gè)有用的功能，那就是讀心術(shù)，這樣每個(gè)人都能知道其他知道什么。這可以防止兩家意大利餐廳在數(shù)周內(nèi)在同一個(gè)地方相繼開業(yè)，導(dǎo)致一家破產(chǎn)浪費(fèi)了大量資源（并且導(dǎo)致其業(yè)主和員工的幸福感喪失）。這種心靈感應(yīng)還有助于改善關(guān)系，所以當(dāng)一位伙伴知道另一位感到困惑或者情緒低落以及精確知道對(duì)方想要什么時(shí)，就能夠及時(shí)提供幫忙。

想象有這么一刻，人類被一位完美的工程師給創(chuàng)造了出來（很多人認(rèn)為這個(gè)很容易——有的也許會(huì)認(rèn)為這樣一個(gè)假設(shè)更困難些）。

這些人對(duì)自身的驅(qū)動(dòng)力、行為以及思想擁有完美認(rèn)知也是很有用的?；蛘咧烂恳豁?xiàng)行動(dòng)的可能后果的話甚至?xí)谩＞拖褚恍┞殬I(yè)的美國(guó)NFL橄欖球員對(duì)不讓自己孩子參與可能會(huì)對(duì)今后大腦造成損害的運(yùn)動(dòng)直言不諱一樣，這些設(shè)計(jì)好的人類也不會(huì)讓自己從事有危害性的活動(dòng)。整個(gè)產(chǎn)業(yè)就會(huì)崩潰。拉斯維加斯會(huì)變成一座空城。意外出生的小孩將趨于0。

而這正是為什么我們會(huì)有現(xiàn)在這些系統(tǒng)的原因。在一個(gè)人人都會(huì)讀心術(shù)的世界里，一個(gè)懂得隱藏自己想法的人將會(huì)擁有巨大優(yōu)勢(shì)。讓別人都以為自己拿到了該得的一份鹿肉好了，然后偷偷溜出去趁沒人注意的時(shí)候從食鹽架上取走幾塊肉。然后暗示Sue你覺得是Juan干的。享受更多卡路里收集、獵艷的額外資源吧，此外也請(qǐng)享受Sue對(duì)你的感激并認(rèn)為Juan是個(gè)騙子的事實(shí)。

這一切都是可怕的行為，但經(jīng)過幾代之后，這一模塊會(huì)比Juan的誠(chéng)實(shí)模塊多出很多副本。相當(dāng)快之后，就會(huì)有大量這種隱藏事實(shí)的機(jī)器出現(xiàn)，試圖猜測(cè)別人在想什么，隱藏自己在想什么，非常擅長(zhǎng)這兩件事情，然后意外地將這些射線槍對(duì)準(zhǔn)了自己的身體。

人的境況

我們歌頌自己的智力，我們創(chuàng)造產(chǎn)品，我們假設(shè)人工智能這兩方面都會(huì)給我們更多。它們已經(jīng)是了。通過迭代（應(yīng)用機(jī)器學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)）學(xué)習(xí)的算法已證明了它們幾乎在我們投入資源的每一個(gè)領(lǐng)域都比我們要好而不僅僅是在我們認(rèn)為的計(jì)算領(lǐng)域。算法已經(jīng)能編出古典音樂——質(zhì)疑者甚至在盲測(cè)中以為是著名作曲家的作品。Google開發(fā)的圍棋AI已經(jīng)擊敗了全世界最好的圍棋選手（注：新一代的Alphago Zero剛剛無師自通只用3天時(shí)間就擊敗了擊敗人類最好選手的Alphago）。其中它在第三場(chǎng)比賽中走出的一步是如此的不同尋常以至于圍棋專家都感到震驚不已。那步走法被贊“有創(chuàng)意”、“有靈氣”。

Google還有一個(gè)算法能夠畫出它所認(rèn)為的貓的樣子。這不是從別處復(fù)制過來的貓的圖像，而是在學(xué)習(xí)了數(shù)百萬只貓的樣子后對(duì)貓的大體“感覺”。對(duì)于成千上萬種對(duì)象它都可以這么干。還有一些程序已經(jīng)在僅接受“獲得更高分?jǐn)?shù)”這一條指令的情況下掌握了大型電玩游戲。游戲的控制和規(guī)則算法都是不知道的。它會(huì)嘗試隨機(jī)的動(dòng)作，而導(dǎo)致更高分?jǐn)?shù)的動(dòng)作就變成了通用策略。超級(jí)瑪麗水管工最終跳過了板條箱，像有經(jīng)驗(yàn)的人類控制那樣用錘子把它砸了個(gè)稀巴爛。AI這個(gè)地方正變得極其令人毛骨悚然，但它們并沒有變得更像人。而且也不應(yīng)該像。

我的確能看到AI變得像人的未來可能性，但我們必須提防這種可能性。這不是因?yàn)槲覍?duì)Nick Bolstrom和Sam Harris這樣的專家的觀點(diǎn)買賬，他們對(duì)未來的看法是《終結(jié)者》和《黑客帝國(guó)》里面的樣子（對(duì)其最合理的擔(dān)憂的過分簡(jiǎn)單化）。在我們實(shí)現(xiàn)HAL和Cylons之前很久，我們將會(huì)擁有用來挫敗其他AI的AI。網(wǎng)絡(luò)戰(zhàn)爭(zhēng)將進(jìn)入下一階段，甚至在我寫的時(shí)候就已經(jīng)開始了。就在我寫這篇文章的那個(gè)星期，朝鮮發(fā)射了一枚導(dǎo)彈，不過導(dǎo)彈在發(fā)射后數(shù)秒就爆炸了。該國(guó)的發(fā)射失敗率不僅高于平均水平，而且還在變得越來越糟。這個(gè)——加上美國(guó)生命自己正在積極利用網(wǎng)絡(luò)戰(zhàn)破壞這些發(fā)射——意味著我們的程序已經(jīng)在嘗試偷鹿肉者對(duì)Sue和Juan做的事情。

互聯(lián)網(wǎng)路由器通過把競(jìng)爭(zhēng)對(duì)手的路由器搞掉線來讓自己的用戶獲得更多的帶寬會(huì)怎樣？這甚至都不需要程序員走邪門歪道就能辦到。如果路由器內(nèi)置的機(jī)器學(xué)習(xí)算法的目標(biāo)是帶寬最大化的話，它可能就會(huì)意外發(fā)現(xiàn)這種解決方案，然后再推廣到整個(gè)路由器產(chǎn)品族上。而競(jìng)爭(zhēng)對(duì)手的路由器也會(huì)尋求類似解決方案。這樣一來我們就會(huì)出現(xiàn)電子版的公地悲劇，也就是因?yàn)楣蚕碣Y源對(duì)每個(gè)人的潛在功用實(shí)在是太大了，第一個(gè)行動(dòng)的人會(huì)獲得最大回報(bào)（而最后行動(dòng)的人將無所得），以至于人類會(huì)破壞共享資源。這種情況下，邏輯往往會(huì)戰(zhàn)勝道德，而好人也會(huì)做可怕的事。

有朝一日汽車也許會(huì)“決定”，如果不讓其他車輛知道那天早上高速公路通暢得出奇的話，自己就能節(jié)省能源并且更快到達(dá)目的地?；蛘吒?，它們發(fā)送有關(guān)事故、交通問題或者超速陷阱的虛假數(shù)據(jù)。醫(yī)院于是派出了救護(hù)車，結(jié)果到了卻發(fā)現(xiàn)沒有人員需要救援。此類意外后果已經(jīng)出現(xiàn)。華爾街有個(gè)著名的“閃崩”就是由投資算法導(dǎo)致的，至今都沒人知道發(fā)生了什么。由于相互競(jìng)爭(zhēng)的算法的互相影響，數(shù)十億美元的真金白銀被抹掉然后迅速又漲了回來，而那些算法的主人和創(chuàng)造者甚至都不能完全掌握這些算法。

Google的搜索結(jié)果是個(gè)AI，而且是全世界最好的AI之一。但這家公司應(yīng)用深度學(xué)習(xí)越多，這些機(jī)器就越擅長(zhǎng)自己的工作，而它們是通過自學(xué)迭代來達(dá)到這種精通的——所以即便是看著代碼你也看不出查詢A是如何導(dǎo)致答案B的。這已經(jīng)是我們所生活的世界。而且只會(huì)變得愈發(fā)明顯。

人類境況也是數(shù)百萬年機(jī)器學(xué)習(xí)的最終結(jié)果。這些算法被寫入到DNA里面，然后通過激素和蛋白質(zhì)傳送出去，它們會(huì)相互競(jìng)爭(zhēng)，以改善創(chuàng)建更多自身副本的機(jī)會(huì)。協(xié)作是更具創(chuàng)造力的生存創(chuàng)新之一。傳奇生物學(xué)家E.O. Wilson把人類劃為“完全群居”動(dòng)物（跟螞蟻、蜜蜂以及白蟻目屬于同一類）。這種真社會(huì)性以導(dǎo)致專業(yè)化的勞動(dòng)分工和創(chuàng)造力為特征。它嚴(yán)重依賴于我們的群體協(xié)作能力，即便我們?cè)趥€(gè)體層面其實(shí)是互相競(jìng)爭(zhēng)和破壞的。

正如之前所述，不協(xié)作是有優(yōu)勢(shì)的，這個(gè)學(xué)博弈論的人應(yīng)該很清楚。會(huì)撒謊且僥幸成功的算法制造出了更多的副本，也就意味著下一代忽悠更多的說謊者。會(huì)偷東西的機(jī)器也一樣?；蛘咄ㄟ^戰(zhàn)爭(zhēng)等手段清除競(jìng)爭(zhēng)對(duì)手的機(jī)器也是。但這些努力的問題是其未來的子孫將會(huì)互相競(jìng)爭(zhēng)。這不僅是制造更多副本的辦法，也是更多生命要發(fā)生沖突的導(dǎo)火索。就像我們這里所看到那樣，生活也會(huì)充滿混亂。人類做出決策然后在自己在干什么的事情上對(duì)自己撒謊。他們雖然很飽但還是要吃蛋糕，屈服于賭博和化學(xué)藥品上癮，對(duì)虐待關(guān)系忍辱負(fù)重，不愿鍛煉身體，并且撿起了無數(shù)的糟糕習(xí)慣，用妙到不真實(shí)的創(chuàng)意故事來為其找理由。

絕大部分的A不會(huì)像人類的境況。它們會(huì)更聰明但不會(huì)那么古怪。這會(huì)令我們熱愛科幻小說的滿懷希望的AI研究人員感到失望，但這會(huì)令人類受益令其變得更好。會(huì)開車的AI致死致殘的人數(shù)會(huì)少很多，占用的資源也會(huì)更少，。并且解放我們無數(shù)的手機(jī)啊in。醫(yī)生AI已經(jīng)更擅長(zhǎng)在組織掃描中識(shí)別出癌癥。律師AI做預(yù)審調(diào)查更好。已經(jīng)沒有什么人類可以跟AI匹敵的困難游戲了。而生活就是一場(chǎng)游戲，一場(chǎng)充滿著背叛與罪惡，以及大量協(xié)作的游戲。

未來

今天我們已經(jīng)可以輕易建造出自我意識(shí)機(jī)器。這臺(tái)機(jī)器一開始可以非常簡(jiǎn)單，但會(huì)隨著時(shí)間發(fā)展變得越來越復(fù)雜。就像人類的嬰兒一開始以為自己的手屬于自己的其他部分，然后意識(shí)到其他生物跟自己的大腦和思想共存，最終再到Juan認(rèn)為Sue以為Mary在暗戀Jane，這臺(tái)自我意識(shí)機(jī)器會(huì)朝著水平像人一樣的猜測(cè)思想和自欺欺人的方向去建造。

但這不應(yīng)該成為目標(biāo)。目標(biāo)應(yīng)該是朝著相反的方向發(fā)展。經(jīng)過數(shù)百萬年對(duì)稀缺資源的爭(zhēng)奪之后，人類大腦的算法現(xiàn)在導(dǎo)致的問題已經(jīng)比解決的問題要多。目標(biāo)不應(yīng)該是開發(fā)模仿人類的人工算法，而應(yīng)該是人類要學(xué)會(huì)如何像我們完美設(shè)計(jì)的建造物一樣更加和諧地共存。

一些社會(huì)已經(jīng)在朝著這個(gè)方向進(jìn)行了實(shí)驗(yàn)。最近有一股趨勢(shì)是敞開心扉開誠(chéng)布公，伙伴把自己的想法都說出來，而不管這個(gè)想法是如何的令人不愉快（也會(huì)帶來一些可想而知的后果）。一些文化已經(jīng)嘗試去預(yù)言人類境況的混亂，并且用針對(duì)性的思考、冥想以及體育鍛煉來予以改善。佛教和瑜伽就是兩個(gè)例子。素食主義是更進(jìn)一步的實(shí)踐，我們的算法開始把所有其他類型的算法也視為是值得尊重和保護(hù)的了。

即便這些可貴的嘗試也容易由內(nèi)而外腐化?；浇膛c伊斯蘭教的濫用罄竹難書，但瑜伽的高層人物也被爆出過性虐待的丑聞，還有佛教徒的恐怖主義。那些愿意分道揚(yáng)鑣、隱藏他人和自己知識(shí)和動(dòng)機(jī)并且實(shí)施更加罪惡的人總是會(huì)更有優(yōu)勢(shì)。不敢其創(chuàng)立宗旨如何，相信一個(gè)體系仍然保持純潔就是為了讓人放松警惕。就像我們的建造物需要警覺一樣，我們祖先交給我們的算法也應(yīng)該警覺。

未來無疑將看到AI在數(shù)量和復(fù)雜性方面均出現(xiàn)不可思議的擴(kuò)張。很多會(huì)有意做出模仿人的樣子，就像通過手機(jī)和聊天機(jī)器人提供了有幫助的信息一樣，以及長(zhǎng)時(shí)推銷商品和服務(wù)給我們一樣。大多數(shù)會(huì)在執(zhí)行單一任務(wù)上超級(jí)高效，哪怕是像開車這樣復(fù)雜的任務(wù)。但幾乎不會(huì)有機(jī)器具備自我意識(shí)，因?yàn)檫@會(huì)導(dǎo)致它們工作變?cè)?。自我意識(shí)是有用的（自己在空間的位置，自身組件是如何工作的），但我們告訴自己的故事，那些我們?cè)谙氤鲫P(guān)于別人的故事后通過概括學(xué)會(huì)的故事，并不是我們?cè)谝粋€(gè)自動(dòng)化機(jī)器的世界里樂于看到的。

未來還可能會(huì)是什么樣子取決于我們自己內(nèi)部算法的擴(kuò)展和改進(jìn)。我們有著更加善待他人的悠久歷史。盡管本地新聞總是想向你兜售相反的信息，但對(duì)于絕大多數(shù)人類來說，世界一天天正變得越來越安全?；蛘邆惱淼赖乱苍诟纳?。我們的同理心范圍正在擴(kuò)張。我們正在把更多的計(jì)算能力分配給大腦前庭，超過了分配給來自爬蟲模塊的不道德的沖動(dòng)。但這要付出努力。我們每個(gè)人都是自身內(nèi)部算法的程序員，自我改善完全取決于我們自己。這需要從理解我們構(gòu)造是如何的不完美開始，學(xué)會(huì)不要相信我們編給自己關(guān)于自身行動(dòng)的故事，然后命令自己清理bug并安裝更新的功能進(jìn)去。

盡管我們完全有能力建造像人類一樣的人工智能，但我們也許永遠(yuǎn)都不會(huì)這么做。