霍金：應(yīng)從研究提升AI能力轉(zhuǎn)移到最大化的社會(huì)效益上面

?

在長城會(huì)舉辦的“天工開悟，智行未來”的活動(dòng)上，霍金現(xiàn)在還無法判斷人工智能的崛起對人類來說到時(shí)是好事還是壞事，但我們應(yīng)該竭盡所能，確保其未來發(fā)展對我們和我們的環(huán)境有利。“我認(rèn)為人工智能的發(fā)展，本身是一種存在著問題的趨勢，而這些問題必須在現(xiàn)在和將來得到解決。”

霍金表示，人工智能的研究與開發(fā)正在迅速推進(jìn)。也許我們所有人都應(yīng)該暫停片刻，把我們的研究重復(fù)從提升人工智能能力轉(zhuǎn)移到最大化人工智能的社會(huì)效益上面。

人類未來是否會(huì)被人工智能代替？霍金表示，人類無法知道我們將無限地得到人工智能的幫助，還是被藐視并被邊緣化，或者很可能被它毀滅。我們擔(dān)心聰明的機(jī)器將能夠代替人類正在從事的工作，并迅速地消滅數(shù)以百萬計(jì)的工作崗位。

此外，霍金強(qiáng)調(diào)，人工智能也有可能是人類文明史的終結(jié)，除非我們學(xué)會(huì)如何避免危險(xiǎn)。我曾經(jīng)說過，人工智能的全方位發(fā)展可能招致人類的滅亡，比如最大化使用智能性自主武器。除非，人工智能系統(tǒng)需要按照人類的意志工作。

以下為霍金演講實(shí)錄：

在我的一生中，我見證了社會(huì)深刻的變化。其中最深刻的，同時(shí)也是對人類影響與日俱增的變化，是人工智能的崛起。簡單來說，我認(rèn)為強(qiáng)大的人工智能的崛起，要么是人類歷史上最好的事，要么是最糟的。我不得不說，是好是壞我們?nèi)圆淮_定。但我們應(yīng)該竭盡所能，確保其未來發(fā)展對我們和我們的環(huán)境有利。我們別無選擇。我認(rèn)為人工智能的發(fā)展，本身是一種存在著問題的趨勢，而這些問題必須在現(xiàn)在和將來得到解決。

人工智能的研究與開發(fā)正在迅速推進(jìn)。也許我們所有人都應(yīng)該暫停片刻，把我們的研究重復(fù)從提升人工智能能力轉(zhuǎn)移到最大化人工智能的社會(huì)效益上面?；谶@樣的考慮，美國人工智能協(xié)會(huì)（AAAI）于2008至2009年，成立了人工智能長期未來總籌委員會(huì)[原文：Presidential

Panel on Long-Term AI Futures]，他們近期在目的導(dǎo)向的中性技術(shù)上投入了大量的關(guān)注。但我們的人工智能系統(tǒng)須要按照我們的意志工作?？鐚W(xué)科研究是一種可能的前進(jìn)道路：從經(jīng)濟(jì)、法律、哲學(xué)延伸至計(jì)算機(jī)安全、形式化方法，當(dāng)然還有人工智能本身的各個(gè)分支。

文明所提產(chǎn)生的一切都是人類智能的產(chǎn)物，我相信生物大腦可以達(dá)到的和計(jì)算機(jī)可以達(dá)到的，沒有本質(zhì)區(qū)別。因此，它遵循了“計(jì)算機(jī)在理論上可以模仿人類智能，然后超越”這一原則。但我們并不確定，所以我們無法知道我們將無限地得到人工智能的幫助，還是被藐視并被邊緣化，或者很可能被它毀滅。的確，我們擔(dān)心聰明的機(jī)器將能夠代替人類正在從事的工作，并迅速地消滅數(shù)以百萬計(jì)的工作崗位。

在人工智能從原始形態(tài)不斷發(fā)展，并被證明非常有用的同時(shí)，我也在擔(dān)憂創(chuàng)造一個(gè)可以等同或超越人類的事物所導(dǎo)致的結(jié)果：人工智能一旦脫離束縛，以不斷加速的狀態(tài)重新設(shè)計(jì)自身。人類由于受到漫長的生物進(jìn)化的限制，無法與之競爭，將被取代。這將給我們的經(jīng)濟(jì)帶來極大的破壞。未來，人工智能可以發(fā)展出自我意志，一個(gè)與我們沖突的意志。盡管我對人類一貫持有樂觀的態(tài)度，但其他人認(rèn)為，人類可以在相當(dāng)長的時(shí)間里控制技術(shù)的發(fā)展，這樣我們就能看到人工智能可以解決世界上大部分問題的潛力。但我并不確定。

2015年1月份，我和科技企業(yè)家埃隆·馬斯克，以及許多其他的人工智能專家簽署了一份關(guān)于人工智能的公開信，目的是提倡就人工智能對社會(huì)所造成的影響做認(rèn)真的調(diào)研。在這之前，埃隆·馬斯克就警告過人們：超人類人工智能可能帶來不可估量的利益，但是如果部署不當(dāng)，則可能給人類帶來相反的效果。我和他同在“生命未來研究所”的科學(xué)顧問委員會(huì)，這是一個(gè)為了緩解人類所面臨的存在風(fēng)險(xiǎn)的組織，而且之前提到的公開信也是由這個(gè)組織起草的。這個(gè)公開信號(hào)召展開可以阻止?jié)撛趩栴}的直接研究，同時(shí)也收獲人工智能帶給我們的潛在利益，同時(shí)致力于讓人工智能的研發(fā)人員更關(guān)注人工智能安全。此外，對于決策者和普通大眾來說，這封公開信內(nèi)容翔實(shí)，并非危言聳聽。人人都知道人工智能研究人員們在認(rèn)真思索這些擔(dān)心和倫理問題，我們認(rèn)為這一點(diǎn)非常重要。比如，人工智能是有根除疾患和貧困的潛力的，但是研究人員必須能夠創(chuàng)造出可控的人工智能。那封只有四段文字，題目為《應(yīng)優(yōu)先研究強(qiáng)大而有益的人工智能》的公開信，在其附帶的十二頁文件中對研究的優(yōu)先次序作了詳細(xì)的安排。

在過去的20年里，人工智能一直專注于圍繞建設(shè)智能代理所產(chǎn)生的問題，也就是在特定環(huán)境下可以感知并行動(dòng)的各種系統(tǒng)。在這種情況下，智能是一個(gè)與統(tǒng)計(jì)學(xué)和經(jīng)濟(jì)學(xué)相關(guān)的理性概念。通俗地講，這是一種做出好的決定、計(jì)劃和推論的能力?；谶@些工作，大量的整合和交叉孕育被應(yīng)用在人工智能、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)學(xué)、控制論、神經(jīng)科學(xué)、以及其它領(lǐng)域。共享理論框架的建立，結(jié)合數(shù)據(jù)的供應(yīng)和處理能力，在各種細(xì)分的領(lǐng)域取得了顯著的成功。例如語音識(shí)別、圖像分類、自動(dòng)駕駛、機(jī)器翻譯、步態(tài)運(yùn)動(dòng)和問答系統(tǒng)。

隨著這些領(lǐng)域的發(fā)展，從實(shí)驗(yàn)室研究到有經(jīng)濟(jì)價(jià)值的技術(shù)形成良性循環(huán)。哪怕很小的性能改進(jìn)，都會(huì)帶來巨大的經(jīng)濟(jì)效益，進(jìn)而鼓勵(lì)更長期、更偉大的投入和研究。目前人們廣泛認(rèn)同，人工智能的研究正在穩(wěn)步發(fā)展，而它對社會(huì)的影響很可能擴(kuò)大，潛在的好處是巨大的，既然文明所產(chǎn)生的一切，都是人類智能的產(chǎn)物；我們無法預(yù)測我們可能取得什么成果，當(dāng)這種智能是被人工智能工具放大過的。但是，正如我說過的，根除疾病和貧窮并不是完全不可能，由于人工智能的巨大潛力，研究如何（從人工智能）獲益并規(guī)避風(fēng)險(xiǎn)是非常重要的。

現(xiàn)在，關(guān)于人工智能的研究正在迅速發(fā)展。這一研究可以從短期和長期來討論。一些短期的擔(dān)憂在無人駕駛方面，從民用無人機(jī)到自主駕駛汽車。比如說，在緊急情況下，一輛無人駕駛汽車不得不在小風(fēng)險(xiǎn)的大事故和大概率的小事故之間進(jìn)行選擇。另一個(gè)擔(dān)憂在致命性智能自主武器。他們是否該被禁止？如果是，那么“自主”該如何精確定義。如果不是，任何使用不當(dāng)和故障的過失應(yīng)該如何問責(zé)。還有另外一些擔(dān)憂，由人工智能逐漸可以解讀大量監(jiān)控?cái)?shù)據(jù)引起的隱私和擔(dān)憂，以及如何管理因人工智能取代工作崗位帶來的經(jīng)濟(jì)影響。

當(dāng)前控制人工智能技術(shù)的工具，例如強(qiáng)化學(xué)習(xí)，簡單實(shí)用的功能，還不足以解決這個(gè)問題。因此，我們需要進(jìn)一步研究來找到和確認(rèn)一個(gè)可靠的解決辦法來掌控這一問題。

近來的里程碑，比如說之前提到的自主駕駛汽車，以及人工智能贏得圍棋比賽，都是未來趨勢的跡象。巨大的投入傾注到這項(xiàng)科技。我們目前所取得的成就，和未來幾十年后可能取得的成就相比，必然相形見絀。而且我們遠(yuǎn)不能預(yù)測我們能取得什么成就，當(dāng)我們的頭腦被人工智能放大以后。也許在這種新技術(shù)革命的輔助下，我們可以解決一些工業(yè)化對自然界造成的損害。關(guān)乎到我們生活的各個(gè)方面都即將被改變。簡而言之，人工智能的成功有可能是人類文明史上最大的事件。

但是人工智能也有可能是人類文明史的終結(jié)，除非我們學(xué)會(huì)如何避免危險(xiǎn)。我曾經(jīng)說過，人工智能的全方位發(fā)展可能招致人類的滅亡，比如最大化使用智能性自主武器。今年早些時(shí)候，我和一些來自世界各國的科學(xué)家共同在聯(lián)合國會(huì)議上支持其對于核武器的禁令。我們正在焦急的等待協(xié)商結(jié)果。目前，九個(gè)核大國可以控制大約一萬四千個(gè)核武器，它們中的任何一個(gè)都可以將城市夷為平地，放射性廢物會(huì)大面積污染農(nóng)田，最可怕的危害是誘發(fā)核冬天，火和煙霧會(huì)導(dǎo)致全球的小冰河期。這一結(jié)果使全球糧食體系崩塌，末日般動(dòng)蕩，很可能導(dǎo)致大部分人死亡。我們作為科學(xué)家，對核武器承擔(dān)著特殊的責(zé)任，因?yàn)檎强茖W(xué)家發(fā)明了它們，并發(fā)現(xiàn)它們的影響比最初預(yù)想的更加可怕。

現(xiàn)階段，我對災(zāi)難的探討可能驚嚇到了在座的各位。很抱歉。但是作為今天的與會(huì)者，重要的是，你們要認(rèn)清自己在影響當(dāng)前技術(shù)的未來研發(fā)中的位置。我相信我們團(tuán)結(jié)在一起，來呼吁國際條約的支持或者簽署呈交給各國政府的公開信，科技領(lǐng)袖和科學(xué)家正極盡所能避免不可控的人工智能的崛起。

去年10月，我在英國劍橋建立了一個(gè)新的機(jī)構(gòu)，試圖解決一些在人工智能研究快速發(fā)展中出現(xiàn)的尚無定論的問題。“利弗休姆智能未來中心”是一個(gè)跨學(xué)科研究所，致力于研究智能的未來，這對我們文明和物種的未來至關(guān)重要。我們花費(fèi)大量時(shí)間學(xué)習(xí)歷史，深入去看——大多數(shù)是關(guān)于愚蠢的歷史。所以人們轉(zhuǎn)而研究智能的未來是令人欣喜的變化。雖然我們對潛在危險(xiǎn)有所意識(shí)，但我內(nèi)心仍秉持樂觀態(tài)度，我相信創(chuàng)造智能的潛在收益是巨大的。也許借助這項(xiàng)新技術(shù)革命的工具，我們將可以削減工業(yè)化對自然界造成的傷害。

我們生活的每一個(gè)方面都會(huì)被改變。我在研究所的同事休·普林斯承認(rèn)，“利弗休姆中心”能建立，部分是因?yàn)榇髮W(xué)成立了“存在風(fēng)險(xiǎn)中心”。后者更加廣泛地審視了人類潛在問題，“利弗休姆中心”的重點(diǎn)研究范圍則相對狹窄。

人工智能的最新進(jìn)展，包括歐洲議會(huì)呼吁起草一系列法規(guī)，以管理機(jī)器人和人工智能的創(chuàng)新。令人感到些許驚訝的是，這里面涉及到了一種形式的電子人格，以確保最有能力和最先進(jìn)的人工智能的權(quán)利和責(zé)任。歐洲議會(huì)發(fā)言人評(píng)論說，隨著日常生活中越來越多的領(lǐng)域日益受到機(jī)器人的影響，我們需要確保機(jī)器人無論現(xiàn)在還是將來，都為人類而服務(wù)。向歐洲議會(huì)議員提交的報(bào)告，明確認(rèn)為世界正處于新的工業(yè)機(jī)器人革命的前沿。報(bào)告中分析的是否給機(jī)器人提供作為電子人的權(quán)利，這等同于法人（的身份），也許有可能。報(bào)告強(qiáng)調(diào)，在任何時(shí)候，研究和設(shè)計(jì)人員都應(yīng)確保每一個(gè)機(jī)器人設(shè)計(jì)都包含有終止開關(guān)。在庫布里克的電影《2001太空漫游》中，出故障的超級(jí)電腦哈爾沒有讓科學(xué)家們進(jìn)入太空艙，但那是科幻。我們要面對的則是事實(shí)。奧斯本·克拉克跨國律師事務(wù)所的合伙人，洛納·布拉澤爾在報(bào)告中說，我們不承認(rèn)鯨魚和大猩猩有人格，所以也沒有必要急于接受一個(gè)機(jī)器人人格。但是擔(dān)憂一直存在。報(bào)告承認(rèn)在幾十年的時(shí)間內(nèi)，人工智能可能會(huì)超越人類智力范圍，人工智能可能會(huì)超越人類智力范圍，進(jìn)而挑戰(zhàn)人機(jī)關(guān)系。報(bào)告最后呼吁成立歐洲機(jī)器人和人工智能機(jī)構(gòu)，以提供技術(shù)、倫理和監(jiān)管方面的專業(yè)知識(shí)。如果歐洲議會(huì)議員投票贊成立法，該報(bào)告將提交給歐盟委員會(huì)。它將在三個(gè)月的時(shí)間內(nèi)決定要采取哪些立法步驟。

我們還應(yīng)該扮演一個(gè)角色，確保下一代不僅僅有機(jī)會(huì)還要有決心，在早期階段充分參與科學(xué)研究，以便他們繼續(xù)發(fā)揮潛力，幫助人類創(chuàng)造一個(gè)更加美好的的世界。這就是我剛談到學(xué)習(xí)和教育的重要性時(shí)，所要表達(dá)的意思。我們需要跳出“事情應(yīng)該如何”這樣的理論探討，并且采取行動(dòng)，以確保他們有機(jī)會(huì)參與進(jìn)來。我們站在一個(gè)美麗新世界的入口。這是一個(gè)令人興奮的、同時(shí)充滿了不確定性的世界，而你們是先行者。我祝福你們。