人工智能技術(shù)迅猛發(fā)展，安全領(lǐng)域挑戰(zhàn)不容小覷

人工智能技術(shù)和應(yīng)用飛速發(fā)展，推動(dòng)經(jīng)濟(jì)社會(huì)創(chuàng)新發(fā)展的同時(shí)，也在重塑人類安全的未來。作為2018世界人工智能大會(huì)的重要組成部分，題為“人工智能安全：挑戰(zhàn)與機(jī)遇”的安全高端對(duì)話9月18日在上海國(guó)際會(huì)議中心舉辦。此次對(duì)話活動(dòng)由上海賽博網(wǎng)絡(luò)安全產(chǎn)業(yè)創(chuàng)新研究院、中國(guó)信息通信研究院安全研究所聯(lián)合承辦，上海社會(huì)科學(xué)院互聯(lián)網(wǎng)研究中心等協(xié)辦。

對(duì)話圍繞倫理問題、國(guó)家安全、網(wǎng)絡(luò)安全三大主題展開，研判人工智能時(shí)代的安全挑戰(zhàn)，探索人工智能安全發(fā)展的創(chuàng)新之道，促進(jìn)人工智能產(chǎn)業(yè)的健康發(fā)展，確保人工智能發(fā)展造福人類未來。

1

人工智能技術(shù)迅猛發(fā)展

軍事歷來是推動(dòng)技術(shù)變革的主要力量之一，特別是在一些戰(zhàn)略性領(lǐng)域，新技術(shù)與軍事變革之間的互動(dòng)，不僅推動(dòng)了技術(shù)的發(fā)展，也影響了軍事變革。算法上的突破、數(shù)據(jù)數(shù)量和質(zhì)量的不斷提升以及計(jì)算能力的增長(zhǎng)為人工智能在軍事領(lǐng)域的應(yīng)用提供了無限的想象空間。

從現(xiàn)有的技術(shù)條件來看，人工智能至少可以在機(jī)器人、戰(zhàn)場(chǎng)環(huán)境的分析和目標(biāo)識(shí)別、后勤組織計(jì)劃、情報(bào)分析、信息管理、信息行動(dòng)等方面在一定程度上提升或改變?cè)袑?duì)軍事的認(rèn)知。

人工智能的發(fā)展可以減少軍人的傷亡程度、增強(qiáng)指揮決策、控制戰(zhàn)爭(zhēng)的殺傷范圍方面改變未來的戰(zhàn)爭(zhēng)形態(tài)。

第一，當(dāng)越來越多的無人駕駛飛機(jī)、坦克、汽車，以及自主決策武器開始走向戰(zhàn)場(chǎng)，軍人直接暴露在戰(zhàn)場(chǎng)殺傷環(huán)境將會(huì)減少，軍人的傷亡率較傳統(tǒng)的戰(zhàn)爭(zhēng)也會(huì)下降。這會(huì)使得跟傳統(tǒng)軍人形象迥異，一群戴著眼鏡，像在網(wǎng)吧中玩著網(wǎng)絡(luò)游戲的新的職業(yè)軍人和軍事單元出現(xiàn)在戰(zhàn)斗序列中。

第二，人工智能在輔助戰(zhàn)場(chǎng)決策可以發(fā)揮重要作用，包括制定軍事計(jì)劃、后勤組織保障、戰(zhàn)場(chǎng)環(huán)境實(shí)時(shí)信息獲取、分析、目標(biāo)的圖像識(shí)別等方面可以大幅度提高戰(zhàn)場(chǎng)的指揮決策能力。

第三，人工智能時(shí)代戰(zhàn)爭(zhēng)將更多是特種戰(zhàn)爭(zhēng)，而非全方位的戰(zhàn)爭(zhēng)。人工智能在網(wǎng)絡(luò)戰(zhàn)、信息戰(zhàn)，以及類似的“斬首行動(dòng)”“定點(diǎn)清除”等特種作戰(zhàn)領(lǐng)域?qū)?huì)發(fā)揮重要的作用。這從很大程度上而言這也會(huì)改變戰(zhàn)場(chǎng)的形態(tài)，人工智能領(lǐng)域的特種作戰(zhàn)將會(huì)先與大規(guī)模沖突的爆發(fā)，改變?nèi)藗儌鹘y(tǒng)上認(rèn)為，戰(zhàn)爭(zhēng)就是工業(yè)化時(shí)代的大規(guī)模飛機(jī)、坦克、軍艦等武器之間直接對(duì)抗的印象。

鑒于人工智能在軍事領(lǐng)域的重要作用，各國(guó)的軍隊(duì)和政府都高度重視從國(guó)防角度來看待人工智能，越來越多的國(guó)家開始發(fā)展和使用人工智能武器，制定人工智能國(guó)防領(lǐng)域的發(fā)展戰(zhàn)略。

2016年2月，時(shí)任美國(guó)情報(bào)總監(jiān)詹姆斯·克萊伯在參議院武裝力量委員會(huì)的聽證會(huì)上認(rèn)為，人工智能系統(tǒng)的欺騙性和破壞性難以預(yù)測(cè)和理解，將會(huì)對(duì)國(guó)家安全和關(guān)鍵信息基礎(chǔ)設(shè)施帶來巨大風(fēng)險(xiǎn)。特朗普政府開始加大對(duì)人工智能國(guó)家戰(zhàn)略的制定和資源的投入，美國(guó)國(guó)防部門的國(guó)防創(chuàng)新咨詢委員會(huì)和國(guó)防科學(xué)委員會(huì)不遺余力地推動(dòng)美國(guó)軍方向人工智能轉(zhuǎn)型，并且成立了國(guó)防部聯(lián)合人工智能中心；近期，美國(guó)國(guó)防高級(jí)研究計(jì)劃局（DARPA）作為美軍重要的技術(shù)創(chuàng)新部門宣布對(duì)人工智能的投資增加20億美元，用以布局下一代人工智能。

俄羅斯也高度重視人工智能在國(guó)防領(lǐng)域的發(fā)展。俄羅斯國(guó)防力量積極的開發(fā)人工智能武器，包括超級(jí)坦克、無人蜂群、無人導(dǎo)航水下航行器等，根據(jù)媒體報(bào)道，俄羅斯已經(jīng)開始在敘利亞戰(zhàn)場(chǎng)中使用基于人工智能的武器系統(tǒng)。在美俄之外，包括中國(guó)、英國(guó)、澳大利亞、韓國(guó)、印度等越來越多的國(guó)家開始重視人工智能在軍事領(lǐng)域的發(fā)展和應(yīng)用。

2

安全領(lǐng)域挑戰(zhàn)不容小覷

人工智能擁有巨大潛能，但事情往往具有兩面性，為了獲取戰(zhàn)略競(jìng)爭(zhēng)優(yōu)勢(shì)，各國(guó)人工智能在國(guó)防領(lǐng)域的競(jìng)爭(zhēng)，也帶來了安全方面的風(fēng)險(xiǎn)——包括為了獲取競(jìng)爭(zhēng)優(yōu)勢(shì)而忽視人工智能的倫理問題、人工智能技術(shù)擴(kuò)散，以及過度強(qiáng)調(diào)人工智能的國(guó)家安全屬性對(duì)正常的技術(shù)發(fā)展和商業(yè)所帶來的威脅挑戰(zhàn)。

首先，致命性自主武器的倫理問題。致命性系統(tǒng)是一種直接或間接地對(duì)人類造成傷害或死亡的系統(tǒng)。現(xiàn)有系統(tǒng)如裝備了武器的無人機(jī)，就在某種程度上將自動(dòng)化與致命性結(jié)合起來，但是這一系統(tǒng)需要人類的參與。完全自主的致命性自主武器系統(tǒng)還需要能夠識(shí)別和選擇目標(biāo)，確定擬對(duì)目標(biāo)施加的武力級(jí)別，并在特定范圍的時(shí)間和空間內(nèi)對(duì)目標(biāo)實(shí)施規(guī)定的武力。半自主、全自主系統(tǒng)包括殺傷人員地雷、反艦雷達(dá)、各種精確制導(dǎo)導(dǎo)彈、魚雷、巡航導(dǎo)彈、反衛(wèi)星武器、空中和海上無人機(jī)、無人機(jī)群以及網(wǎng)絡(luò)蠕蟲。從不含情報(bào)的地雷到精確制導(dǎo)導(dǎo)彈以及依據(jù)地形的巡航導(dǎo)彈，這些系統(tǒng)中的情報(bào)數(shù)量差異巨大。

國(guó)際社會(huì)存在著很大的反對(duì)發(fā)展致命性自主武器的聲音。如此眾多的自主武器帶來的問題是機(jī)器是否有權(quán)力去自主決定殺傷目標(biāo)，以及由于算法黑箱或者自主武器失控而導(dǎo)致的誤殺和誤傷成為致命性自主武器發(fā)展必須要面臨的倫理問題。雖然戰(zhàn)爭(zhēng)和傷亡是需要極力去避免的，但是由機(jī)器來決定傷亡則更加難以接受。不僅如此，人工智能的應(yīng)用會(huì)在一定程度上降低戰(zhàn)爭(zhēng)的門檻，這會(huì)鼓勵(lì)減少自我約束，采取進(jìn)攻性的行動(dòng)來達(dá)到相應(yīng)的目的，但同時(shí)也會(huì)對(duì)國(guó)際安全形成新的不穩(wěn)定因素。

其次，作為人工智能發(fā)展核心的算法和數(shù)據(jù)都存在著潛在的安全問題，這會(huì)導(dǎo)致人工智能決策的風(fēng)險(xiǎn)。從編程的角度來看，任何的代碼都是由人編寫，因此無法確保程序完全安全、可靠、可控、可信。從數(shù)據(jù)角度來看，人工智能依賴大數(shù)據(jù)，同時(shí)數(shù)據(jù)的質(zhì)量也會(huì)影響算法的判斷。軍事數(shù)據(jù)質(zhì)量獲取、加工、存儲(chǔ)和使用等環(huán)節(jié)都存在著一定的數(shù)據(jù)質(zhì)量和安全風(fēng)險(xiǎn)，從而增加了軍事領(lǐng)域使用人工智能的安全風(fēng)險(xiǎn)。

再次，人工智能技術(shù)擴(kuò)散給全球安全帶來的威脅。伴隨著人工智能武器的開發(fā)，國(guó)際社會(huì)面臨的另一大難題就是反擴(kuò)散問題，恐怖主義組織以及不負(fù)責(zé)任的國(guó)家獲取人工智能武器，并威脅國(guó)際安全和平。人工智能從某種意義上而言，也是一種程序和軟件，因此，它面臨的擴(kuò)散風(fēng)險(xiǎn)要遠(yuǎn)遠(yuǎn)大于常規(guī)武器。類似于美國(guó)國(guó)家安全局的網(wǎng)絡(luò)武器庫被黑客攻擊，并且在暗網(wǎng)交易，最后被黑客開發(fā)為勒索病毒的案例，也有可能在人工智能武器領(lǐng)域重現(xiàn)。

最后，人工智能的軍備競(jìng)賽會(huì)對(duì)技術(shù)邏輯和商業(yè)邏輯產(chǎn)生破壞。人工智能具有軍民兩用性質(zhì)，其發(fā)展最初的目的是為了發(fā)展經(jīng)濟(jì)，增加社會(huì)福利。過度的強(qiáng)調(diào)軍事用途會(huì)對(duì)人工智能的全球研發(fā)體系和產(chǎn)業(yè)鏈造成嚴(yán)重威脅。近期，美國(guó)政府對(duì)《外國(guó)投資審查法案》進(jìn)行修訂，其中重點(diǎn)就是要阻止其他國(guó)家對(duì)美國(guó)人工智能初創(chuàng)企業(yè)的并購。法國(guó)政府也采取了相應(yīng)做法提高外國(guó)企業(yè)對(duì)法國(guó)人工智能技術(shù)、人才的并購門檻。再加上，出口管制和人才交流限制。人工智能技術(shù)尚未發(fā)展成熟，各種鴻溝已經(jīng)在各國(guó)之間開始構(gòu)筑，會(huì)嚴(yán)重影響正常的技術(shù)研發(fā)，并且破壞全球化的商業(yè)邏輯。

3

治理機(jī)制構(gòu)建刻不容緩

人工智能在軍事領(lǐng)域的發(fā)展和應(yīng)用已經(jīng)成為很多國(guó)家的國(guó)家戰(zhàn)略，相應(yīng)的治理工作應(yīng)當(dāng)在現(xiàn)有的國(guó)際安全架構(gòu)開展。今年9月在日內(nèi)瓦召開的聯(lián)合國(guó)常規(guī)武器公約的討論中，各方并未就制定禁止人工智能驅(qū)動(dòng)的致命性完全自主武器的條約達(dá)成共識(shí)。全球約有共26個(gè)國(guó)家支持全面禁止人工智能武器，而絕大多數(shù)國(guó)家還在觀望。在規(guī)則不確定和大國(guó)戰(zhàn)略競(jìng)爭(zhēng)的背景下，人工智能在軍事領(lǐng)域發(fā)展面臨的風(fēng)險(xiǎn)和威脅在不斷增加。加強(qiáng)人工智能的國(guó)際治理工作，降低軍備競(jìng)賽風(fēng)險(xiǎn)則是當(dāng)務(wù)之急。

經(jīng)過2014年和2015年的兩次非正式會(huì)議后，在2016年12月16日關(guān)于特定常規(guī)武器公約的聯(lián)合國(guó)會(huì)議上成立了致命性自主武器系統(tǒng)（LAWS）政府專家組（GGE）。該小組的任務(wù)是研究致命性自主武器領(lǐng)域的新興技術(shù)，評(píng)估其對(duì)國(guó)際和平與安全的影響，并為其國(guó)際治理提出建議。

人工智能引發(fā)的安全問題是專家組的一大重要分歧，技術(shù)強(qiáng)國(guó)與弱國(guó)之間存在截然不同的觀點(diǎn)。技術(shù)弱國(guó)認(rèn)為應(yīng)當(dāng)完全禁止致命性自主武器的開發(fā)使用，技術(shù)大國(guó)則持相反意見，認(rèn)為開發(fā)致命性自主武器可以降低人員損傷，有利于打擊恐怖主義和維護(hù)國(guó)家安全，并且很多系統(tǒng)已經(jīng)在戰(zhàn)場(chǎng)上進(jìn)入實(shí)戰(zhàn)。

軍事是推動(dòng)技術(shù)進(jìn)步的重要因素，互聯(lián)網(wǎng)就是由美國(guó)軍方所發(fā)明，人工智能的技術(shù)發(fā)展背后也有軍事因素的強(qiáng)力推動(dòng)。但是，人工智能的科技競(jìng)賽也非技術(shù)之福，特別是致命性自主武器的擴(kuò)散會(huì)造成更為嚴(yán)重的后果。因此，從聯(lián)合國(guó)層面制定相應(yīng)的規(guī)范，并且促成大國(guó)之間在發(fā)展致命性自主武器上達(dá)成一定的軍控條約是當(dāng)務(wù)之急。

聯(lián)合國(guó)政府專家組應(yīng)制定致命性自主武器系統(tǒng)和人工智能軍事應(yīng)用的目標(biāo)。其中，最重要的一個(gè)目標(biāo)是制定相應(yīng)的國(guó)際法，在國(guó)際法不明確的情況下，各國(guó)應(yīng)克制在軍事領(lǐng)域使用人工智能武器。聯(lián)合國(guó)政府專家組也應(yīng)考慮對(duì)國(guó)際法此前未曾預(yù)見的情況追加法律限制，并以道德或倫理為由盡量減少對(duì)人和平民的傷害。更進(jìn)一步的目標(biāo)包括管理以下情況的操作風(fēng)險(xiǎn)，包括降低使用武力門檻、意外導(dǎo)致不應(yīng)有的傷害、造成意外的升級(jí)螺旋式增長(zhǎng)以及產(chǎn)生軍備競(jìng)賽和擴(kuò)散。

當(dāng)然，從聯(lián)合國(guó)角度來達(dá)成一項(xiàng)談判可能需要十年甚至更長(zhǎng)的時(shí)間，鑒于越來越多的風(fēng)險(xiǎn)，大國(guó)之間應(yīng)當(dāng)及早就人工智能在軍事領(lǐng)域應(yīng)用可能帶來的潛在風(fēng)險(xiǎn)開展對(duì)話，及早啟動(dòng)相應(yīng)的軍控進(jìn)程。短期內(nèi)促成技術(shù)強(qiáng)國(guó)在謀求戰(zhàn)略優(yōu)勢(shì)和國(guó)際安全體系穩(wěn)定之間的妥協(xié)。

各國(guó)政府在制定人工智能在軍事領(lǐng)域的戰(zhàn)略時(shí)，還應(yīng)當(dāng)高度重視人工智能的治理工作。比如，無論是半自主和全自主的武器系統(tǒng)的設(shè)計(jì)，應(yīng)允許指揮官和作戰(zhàn)人員在使用武力方面作出適當(dāng)?shù)娜藶榕袛?。為保證這一要求的實(shí)現(xiàn)，需要嚴(yán)格的設(shè)計(jì)、對(duì)設(shè)計(jì)的測(cè)試和評(píng)估、操作驗(yàn)證和測(cè)試，解決系統(tǒng)錯(cuò)誤和故障的安全工程以及避免人為錯(cuò)誤的認(rèn)知工程。

在決定是否使用人工智能武器時(shí)，應(yīng)當(dāng)制定明確的規(guī)范和流程，避免造成不可預(yù)測(cè)的后果。同時(shí)，還應(yīng)當(dāng)加強(qiáng)對(duì)人工智能武器的安全性，避免安全泄露，或者是隨意轉(zhuǎn)讓相關(guān)技術(shù)。無論是無意或者有意地?cái)U(kuò)散都會(huì)增加軍備競(jìng)賽的風(fēng)險(xiǎn)，威脅國(guó)際安全體系。