多無人系統(tǒng)協(xié)同中的人工智能安全探索

來源：中國工程院院刊《中國工程科學(xué)》2021年第3期

作者：施文，王楷文，俞成浦，孫健，陳杰

編者按

多無人系統(tǒng)協(xié)同可以將在空間上分布的無人系統(tǒng)有機(jī)連接起來，實(shí)現(xiàn)多系統(tǒng)在時(shí)間、空間、模式、任務(wù)等多維度上的有效協(xié)同，最終形成目標(biāo)探測、跟蹤識別、智能決策、自主控制和效能評估的完整鏈條。多無人系統(tǒng)協(xié)同在給社會(huì)創(chuàng)造價(jià)值的過程中，也會(huì)帶來著諸多安全隱患，特別是在軍事作戰(zhàn)、產(chǎn)業(yè)升級、政府監(jiān)管、社會(huì)治理以及倫理等多個(gè)方面將給國家安全帶來新的挑戰(zhàn)。

本文闡述了統(tǒng)籌推進(jìn)多無人系統(tǒng)協(xié)同賦能應(yīng)用與風(fēng)險(xiǎn)防控的重大意義，提出了“四位一體”全面推進(jìn)多無人系統(tǒng)協(xié)同安全發(fā)展的戰(zhàn)略思路，探索了多無人系統(tǒng)協(xié)同在內(nèi)生安全和衍生安全層面潛在的挑戰(zhàn)與應(yīng)對思路。就智能無人系統(tǒng)安全，文章建議，構(gòu)建國家級無人系統(tǒng)驗(yàn)證平臺，推動(dòng)人才隊(duì)伍建設(shè)；逐步深化無人系統(tǒng)產(chǎn)業(yè)“放管服”，發(fā)展新一代人工智能安全生態(tài)；充分發(fā)揮多無人系統(tǒng)協(xié)同的優(yōu)勢，賦能保障和改善民生，服務(wù)構(gòu)建人類命運(yùn)共同體。

一、前言

智能無人系統(tǒng)種類多樣，覆蓋海陸空不同空間，正在全面深入國家安全和社會(huì)生活各領(lǐng)域，并推動(dòng)新一輪產(chǎn)業(yè)變革和相關(guān)技術(shù)高度集成。多無人系統(tǒng)協(xié)同作為一項(xiàng)人工智能的顛覆性技術(shù)，將在空間上分布的無人系統(tǒng)有機(jī)連接起來，實(shí)現(xiàn)多系統(tǒng)在時(shí)間、空間、模式、任務(wù)等多維度上的有效協(xié)同，最終形成目標(biāo)探測、跟蹤識別、智能決策、自主控制和效能評估的完整鏈條。伴隨著技術(shù)水平的不斷提升，多無人系統(tǒng)的使命任務(wù)將不斷拓展，將極大地改變?nèi)粘Ｉ罘绞胶蛙娛伦鲬?zhàn)方式。

多無人系統(tǒng)協(xié)同在給社會(huì)創(chuàng)造價(jià)值的過程中存在著諸多安全隱患，如無人車的交通事故，無人機(jī)的擾航、恐怖襲擊，機(jī)器人造成工人失業(yè)等。多無人系統(tǒng)協(xié)同可能將在軍事作戰(zhàn)、產(chǎn)業(yè)升級、政府監(jiān)管、社會(huì)治理以及倫理等多個(gè)方面給國家安全帶來新的挑戰(zhàn)。

目前，國內(nèi)多無人系統(tǒng)協(xié)同的研究仍處于起步階段，其基礎(chǔ)理論框架對未來無人系統(tǒng)發(fā)展和技術(shù)突破起著至關(guān)重要的作用。因此，本文針對這一空白領(lǐng)域展開前瞻研究，旨在揭示多無人系統(tǒng)協(xié)同中人工智能安全的重要意義，針對相應(yīng)問題提出對策建議，以期為我國無人系統(tǒng)安全發(fā)展提供參考。

二、統(tǒng)籌推進(jìn)多無人系統(tǒng)協(xié)同賦能應(yīng)用與風(fēng)險(xiǎn)防控意義重大

（一）多無人系統(tǒng)協(xié)同研究持續(xù)高速發(fā)展的重要抓手

2017 年 7 月，國務(wù)院印發(fā)的《新一代人工智能發(fā)展規(guī)劃》闡釋了人工智能新時(shí)代戰(zhàn)略的豐富內(nèi)涵，這為我國多無人系統(tǒng)中人工智能安全改革指明了方向，進(jìn)一步明確了中長期發(fā)展的目標(biāo)。我國人工智能新時(shí)代戰(zhàn)略實(shí)施以來迎來了很大起色，但關(guān)于多無人系統(tǒng)中的人工智能安全問題仍未給出明確解決方案。尋找各項(xiàng)問題解決方案，立足安全基礎(chǔ)，推進(jìn)多無人系統(tǒng)的穩(wěn)步發(fā)展，有利于多無人系統(tǒng)人工智能落地。

（二）不斷增強(qiáng)我國軍事實(shí)力的有效途徑

軍事實(shí)力是綜合國力最直接的體現(xiàn)，在多無人系統(tǒng)廣泛應(yīng)用于軍事領(lǐng)域的背景下，其安全問題的重要性更加突出。一方面，越來越多的國家研發(fā)出了智能化武器，實(shí)現(xiàn)多無人系統(tǒng)協(xié)同作戰(zhàn)的能力越來越強(qiáng)，未來的戰(zhàn)爭將由多無人系統(tǒng)協(xié)同作戰(zhàn)主導(dǎo)；因此，在智能化戰(zhàn)爭中如何保證領(lǐng)土主權(quán)和國土安全具有重要意義。另一方面，在智能化戰(zhàn)爭中多無人系統(tǒng)自身的防護(hù)同樣具有重要意義，如何保證自身系統(tǒng)的安全、保證數(shù)據(jù)不泄露、控制權(quán)在手、遭遇打擊仍能完成任務(wù)是目前多無人系統(tǒng)研究的一大課題。

（三）提升我國社會(huì)安全保障水平的關(guān)鍵前提

人工智能安全是關(guān)系到我國經(jīng)濟(jì)社會(huì)發(fā)展的時(shí)代性、戰(zhàn)略性問題。多無人系統(tǒng)協(xié)同將廣泛應(yīng)用于工業(yè)、農(nóng)業(yè)、經(jīng)濟(jì)和國防領(lǐng)域，對國家安全也會(huì)帶來深刻變革。由于多無人系統(tǒng)濫用門檻低，容易被極端組織和犯罪團(tuán)伙利用，管理難度遠(yuǎn)大于從前。加強(qiáng)人工智能新時(shí)代多無人系統(tǒng)立法，形成數(shù)據(jù)、模型、應(yīng)用等一系列相關(guān)的法律、法規(guī)，完善人工智能使用標(biāo)準(zhǔn)的制定，有助于帶動(dòng)國家整體社會(huì)安全保障水平的提升。

（四）實(shí)現(xiàn)未來高度智能化社會(huì)建設(shè)的必然要求

傳統(tǒng)無人系統(tǒng)目前已應(yīng)用于社會(huì)的智能化建設(shè)，如智能快遞分揀、無人超市、交通違章識別等，節(jié)省了大量的人力。未來，多無人系統(tǒng)協(xié)同的廣泛應(yīng)用將會(huì)在更大程度上保障和改善民生。但相較于傳統(tǒng)無人系統(tǒng)，應(yīng)用具備通信和交互能力的多無人系統(tǒng)可能會(huì)引發(fā)更加嚴(yán)重的公共安全、倫理安全等問題。因此，重點(diǎn)加強(qiáng)多無人系統(tǒng)應(yīng)用中的問題研究和風(fēng)險(xiǎn)防范至關(guān)重要，只有處理好上述問題，才能確保多無人系統(tǒng)在未來能夠安全可靠地為社會(huì)做出貢獻(xiàn)，推動(dòng)我國新一代人工智能健康發(fā)展。

三、多無人系統(tǒng)協(xié)同安全發(fā)展概況

隨著多無人系統(tǒng)協(xié)同理論體系的成熟，相應(yīng)的產(chǎn)品與應(yīng)用呈現(xiàn)出迅猛發(fā)展的勢頭。從應(yīng)用領(lǐng)域的角度，多無人系統(tǒng)產(chǎn)品主要包括無人車集群，無人機(jī)集群和無人船集群。無人車集群不但能夠?qū)⒏黝愜囕v的駕駛?cè)藛T解放出來，極大地減輕汽車駕駛員的工作量，還能夠通過智能優(yōu)化算法合理安排道路資源，緩解交通壓力，并減少道路交通安全事故的發(fā)生。無人機(jī)集群的應(yīng)用則涵蓋了軍事上的攻擊、騷擾、偵查任務(wù)以及民用的災(zāi)害救援、監(jiān)控巡查、環(huán)境監(jiān)測、農(nóng)業(yè)植保等領(lǐng)域。無人船集群則主要用于執(zhí)行危險(xiǎn)、枯燥以及其他不適于有人艦艇執(zhí)行的任務(wù)，包括水質(zhì)監(jiān)測、航道測繪、海上巡邏等。相較于傳統(tǒng)的有人系統(tǒng)，多智能體系統(tǒng)具有多方面優(yōu)勢，包括更低的操作門檻，更低的運(yùn)維成本，更廣泛的應(yīng)用領(lǐng)域，更穩(wěn)定的運(yùn)行狀況，更高效的資源分配等。在軍事上，多無人系統(tǒng)更是能夠極大程度地保障操作人員的安全，減少人員的傷亡，在進(jìn)攻端還能夠利用其數(shù)量優(yōu)勢形成長距離、大范圍、高精度的飽和式打擊，甚至有可能改變現(xiàn)代戰(zhàn)爭的模式。

隨著多無人系統(tǒng)的飛速發(fā)展，很多發(fā)達(dá)國家目前正積極推進(jìn)智能多無人系統(tǒng)安全框架研究以及法案的制定。美國在多無人系統(tǒng)中的人工智能安全方面的研究以及政策發(fā)布非常頻繁，2019 年 6 月，美國更新了《國家人工智能研究和發(fā)展戰(zhàn)略計(jì)劃》，將人工智能系統(tǒng)安全列為戰(zhàn)略目標(biāo)之一；2020 年 1 月發(fā)布的《人工智能應(yīng)用監(jiān)管指南備忘錄（草案）》提出了人工智能十項(xiàng)監(jiān)管原則；2020 年 3 月通過的《2020 年國家人工智能計(jì)劃法案》支持對無人系統(tǒng)的道德、法律、社會(huì)等安全問題展開研究；2020 年 11 月更新的《人工智能和國家安全》中詳細(xì)寫明了智能多無人系統(tǒng)在軍事上的發(fā)展與倫理安全問題。

歐盟方面同樣在智能無人系統(tǒng)安全上展開了積極研究以及政策制定，歐盟各成員國都紛紛出臺法律法規(guī)以規(guī)范無人機(jī)運(yùn)行。法國自 2019 年 7 月起規(guī)定無人機(jī)必須注冊電子賬號；德國規(guī)定所有無人機(jī)必須在機(jī)身刻上所有者的姓名與地址；英國把機(jī)場附近的無人機(jī)禁飛區(qū)半徑從原來的 1 km 增加到 5 km；西班牙、葡萄牙、意大利等國都禁止無人機(jī)在夜間飛行。2019 年初，歐盟委員會(huì)發(fā)布了《關(guān)于歐洲人工智能開發(fā)與使用的協(xié)同計(jì)劃》，將人工智能安全列為了一大關(guān)鍵發(fā)力領(lǐng)域，在全球人工智能倫理道德領(lǐng)域占據(jù)了領(lǐng)先地位；2019 年 4 月，歐盟委員會(huì)發(fā)布了《人工智能倫理準(zhǔn)則——可信 AI 倫理指南》，提出了可信 AI 的七大原則；2020 年 6 月，歐盟新發(fā)布的無人機(jī)通用準(zhǔn)則在歐盟全境正式啟用，該準(zhǔn)則取代了歐盟成員國各自的現(xiàn)行法規(guī)，為歐洲發(fā)展無人機(jī)行業(yè)提供了明確、統(tǒng)一的規(guī)則。

我國的多無人系統(tǒng)相關(guān)法案制定也在逐步推進(jìn)。2017 年 7 月，我國國務(wù)院首次頒布的人工智能戰(zhàn)略性文件《新一代人工智能發(fā)展規(guī)劃》，提出了 2030 年人工智能核心產(chǎn)業(yè)規(guī)模應(yīng)超過 1 萬億元，帶動(dòng)相關(guān)產(chǎn)業(yè)規(guī)模超過 10 萬億元的目標(biāo)，并對多無人系統(tǒng)協(xié)同中的人工智能基礎(chǔ)理論框架給出了定義，提出了“加強(qiáng)人工智能相關(guān)法律、倫理和社會(huì)問題研究，建立保障人工智能健康發(fā)展的法律法規(guī)和倫理道德框架”。但該框架在自主協(xié)同控制與優(yōu)化決策理論的定義中，更側(cè)重于協(xié)同控制的實(shí)現(xiàn)與優(yōu)化，對于多無人系統(tǒng)中可能存在的安全性隱患沒有較多闡述。2020 年 12 月，中國信息通信研究院安全研究所發(fā)布了《人工智能安全框架（2020 年）》，制定了一個(gè)較為全面的人工智能安全框架，但其中對于多無人系統(tǒng)協(xié)同中特有的安全問題表述仍不詳細(xì)。

四、多無人系統(tǒng)協(xié)同面臨的挑戰(zhàn)

區(qū)別于傳統(tǒng)無人系統(tǒng)研究，多無人系統(tǒng)協(xié)同的核心要素包括通信交互，合作博弈，以及群體智能演化等。結(jié)合多無人系統(tǒng)協(xié)同的上述特點(diǎn)，堅(jiān)持以問題為導(dǎo)向分析其具體戰(zhàn)略舉措，圍繞多無人系統(tǒng)本身的內(nèi)生安全和多無人系統(tǒng)對外界的衍生安全兩大模塊構(gòu)建了多無人系統(tǒng)協(xié)同中的人工智能安全框架，如圖 1 所示

圖1 多無人系統(tǒng)協(xié)同中的人工智能安全框架 （一）內(nèi)生安全

為了多無人系統(tǒng)任務(wù)的可靠執(zhí)行，內(nèi)生安全主要考慮的是系統(tǒng)本身是否穩(wěn)定可靠，能否在通信交互過程中不泄密，能否保證控制權(quán)始終在自己手中，以及能否在出現(xiàn)故障后繼續(xù)完成任務(wù)。多無人系統(tǒng)協(xié)同的內(nèi)生安全要關(guān)注多無人系統(tǒng)工作的各個(gè)環(huán)節(jié)，從保證局部每個(gè)環(huán)節(jié)的安全以確保整體的安全，這其中涵蓋了各無人系統(tǒng)單體間交互的數(shù)據(jù)安全、多無人系統(tǒng)所處的網(wǎng)絡(luò)安全、搭載于多無人系統(tǒng)的軟件及其算法安全、多無人系統(tǒng)本身的系統(tǒng)架構(gòu)安全等。

多無人系統(tǒng)協(xié)同的內(nèi)生安全包括了通信與交互安全、協(xié)同決策與集群演化算法安全和系統(tǒng)架構(gòu)安全三部分。

1. 通信與交互安全

多無人系統(tǒng)協(xié)同任務(wù)在執(zhí)行過程中，需要頻繁的進(jìn)行通信交互，這其中包括各多無人系統(tǒng)個(gè)體之間的交互，還包括各多無人系統(tǒng)與其所有者之間的交互，多無人系統(tǒng)與各種實(shí)體任務(wù)對象交互等。因此，通信與交互安全是多無人系統(tǒng)協(xié)同內(nèi)生安全的重要內(nèi)容。通信網(wǎng)絡(luò)安全的主旨是防范來自網(wǎng)絡(luò)的攻擊，保障多無人系統(tǒng)所有者能夠安全可靠地控制多無人系統(tǒng)，保證數(shù)據(jù)不被竊取和篡改。一方面，多無人系統(tǒng)的協(xié)同中需要保障彼此之間的通信安全可靠，一旦數(shù)據(jù)傳播受到截?cái)啵畔?nèi)容被他人竊取、解密或篡改，多無人系統(tǒng)將受到極大的威脅，我方戰(zhàn)略意圖也將受到嚴(yán)重打擊。另一方面，如果通信網(wǎng)絡(luò)的安全性不能滿足要求，則多無人系統(tǒng)的控制權(quán)將不能得到保障，由于多無人系統(tǒng)極強(qiáng)的行為能力，與單純的各種數(shù)據(jù)損失相比較，控制權(quán)不安全造成的后果往往更嚴(yán)重。

針對上述多無人系統(tǒng)存在的數(shù)據(jù)泄露及控制權(quán)丟失的問題，為系統(tǒng)個(gè)體搭載不可被外界直接訪問的安全存儲(chǔ)空間，對數(shù)據(jù)進(jìn)行加密處理，保證通信過程中的數(shù)據(jù)安全；同時(shí)可以采用數(shù)字證書、密鑰等認(rèn)證材料進(jìn)行雙向的遠(yuǎn)程身份認(rèn)證，以確保系統(tǒng)中每個(gè)個(gè)體身份的合法性以及指揮部的可信性。

2. 協(xié)同決策與集群演化算法安全

在算法安全上，一方面要考慮多無人系統(tǒng)能否做出正確的決策，另一方面更要考慮協(xié)同決策算法和自學(xué)習(xí)演化的方向是否自主可控。決策算法不成熟可能導(dǎo)致協(xié)同欠魯棒，難以實(shí)現(xiàn)臨機(jī)協(xié)同決策和行動(dòng)，當(dāng)系統(tǒng)結(jié)構(gòu)受外界影響發(fā)生變化時(shí)，智能協(xié)同算法如未能實(shí)時(shí)完成控制和優(yōu)化，則很難實(shí)現(xiàn)精準(zhǔn)的協(xié)同控制任務(wù)，使協(xié)同一致性和穩(wěn)定性降低，從而增加了協(xié)同任務(wù)失敗和多無人系統(tǒng)在任務(wù)中損毀的風(fēng)險(xiǎn)。在未來的發(fā)展中，基于群體智能演化的多無人系統(tǒng)能夠自主學(xué)習(xí)和換代，其演化方向的安全性更為重要，將成為多無人系統(tǒng)協(xié)同中算法安全的全新挑戰(zhàn)。

針對上述問題，改進(jìn)決策算法的訓(xùn)練過程，揭示無人系統(tǒng)集群的協(xié)同演化規(guī)律，設(shè)計(jì)主動(dòng)防御的機(jī)制，在訓(xùn)練過程中加入大量可能出現(xiàn)的對抗樣本，即在訓(xùn)練過程中添加假想敵，從而提高算法的魯棒性，減少協(xié)同控制任務(wù)失敗以及演化方向錯(cuò)誤的可能性，更加安全可靠地實(shí)現(xiàn)協(xié)同決策和演化。

3. 系統(tǒng)架構(gòu)安全

系統(tǒng)架構(gòu)安全可細(xì)分為機(jī)電安全和拓?fù)浒踩珒蓚€(gè)方面。其中，機(jī)電安全要考慮多無人系統(tǒng)中每個(gè)個(gè)體的信息收發(fā)特性、信息處理能力是否足夠，傳感器、通信模塊能否滿足執(zhí)行協(xié)同任務(wù)的需求。拓?fù)浒踩珓t是建立在機(jī)電安全的基礎(chǔ)上，需要考慮多無人系統(tǒng)的整體響應(yīng)速度和協(xié)同模式，能否在復(fù)雜場景下實(shí)時(shí)采集、處理和交換信息，進(jìn)一步正確分配和執(zhí)行任務(wù)，并且在部分無人系統(tǒng)單體出現(xiàn)故障時(shí)，能否正確檢測故障，進(jìn)行拓?fù)淝袚Q繼續(xù)任務(wù)。

建立多層分簇的協(xié)同框架可以有效解決系統(tǒng)架構(gòu)安全問題，多層分簇的框架可以幫助多無人系統(tǒng)在面對變化時(shí)快速做出反應(yīng)，即使遇到故障也能實(shí)現(xiàn)拓?fù)淝袚Q，繼續(xù)完成好下一步任務(wù)，從而使得網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)更加穩(wěn)定，實(shí)現(xiàn)更加穩(wěn)健和魯棒的多無人系統(tǒng)協(xié)同。

（二）衍生安全

多無人系統(tǒng)協(xié)同的衍生安全主要考慮的是多無人系統(tǒng)在投入使用后，系統(tǒng)外部的人或其他事物可能面臨的影響。在系統(tǒng)出現(xiàn)故障、受到干擾或出現(xiàn)決策失誤時(shí)，除了任務(wù)失敗和系統(tǒng)本身損毀的風(fēng)險(xiǎn)外，還可能引發(fā)衍生安全問題。同時(shí)，如果多無人系統(tǒng)控制權(quán)的所有者懷有惡意，對多無人系統(tǒng)下達(dá)了帶有其不良企圖的任務(wù)目標(biāo)，可能產(chǎn)生更為嚴(yán)重的衍生安全風(fēng)險(xiǎn)。多無人系統(tǒng)協(xié)同中的人工智能衍生安全主要考慮公共安全、倫理安全和軍事安全三個(gè)方面。

1. 公共安全

多無人系統(tǒng)協(xié)同工作時(shí)，事故的發(fā)生將會(huì)危害公共安全，不但會(huì)對社會(huì)秩序造成一定影響，更有可能會(huì)威脅到人身財(cái)產(chǎn)安全。當(dāng)前多無人機(jī)協(xié)同系統(tǒng)在各行各業(yè)廣泛使用，但安全性能評估體系還未完善，易出現(xiàn)各種事故，例如各種外界干擾導(dǎo)致的無人機(jī)群演示失敗、無人車造成道路交通擁堵等。同時(shí)，多無人機(jī)協(xié)同具有低成本、用途廣、使用門檻低、身份信息隱蔽、大面積殺傷等特點(diǎn)，非法使用將會(huì)嚴(yán)重威脅到人身財(cái)產(chǎn)安全，多無人系統(tǒng)的發(fā)展勢必會(huì)帶來新的違法犯罪形式，而與單無人系統(tǒng)相比，多無人系統(tǒng)便于無身份有組織犯罪，會(huì)極大地危害公共安全。

面對多無人系統(tǒng)可能對社會(huì)公共安全帶來的沖擊，加強(qiáng)監(jiān)管無疑是最為有效的解決途徑。加強(qiáng)對所有無人設(shè)備廠商以及持有者的監(jiān)管，對于廠商嚴(yán)格檢查其所有生產(chǎn)線、搭載算法以及設(shè)備流通對象，對于所有私人持有的無人設(shè)備實(shí)行嚴(yán)格的實(shí)名制登記管理，讓所有合法的無人機(jī)擁有其自己的“身份證明”，對于未登記的無人機(jī)以及登記但不合法的無人機(jī)持有者進(jìn)行嚴(yán)肅處理。

2. 倫理安全

社會(huì)倫理方面，在民用領(lǐng)域，多無人系統(tǒng)在從事重復(fù)性、規(guī)則性、可編程的工作內(nèi)容方面更加快速、高效、精確，不僅可以替代體力勞動(dòng)，而且可以替代大部分腦力勞動(dòng)，在制造業(yè)、農(nóng)業(yè)以及醫(yī)療中發(fā)揮主力軍的作用，從而導(dǎo)致眾多工人面臨轉(zhuǎn)業(yè)或者失業(yè)的問題；在軍用領(lǐng)域，由于技術(shù)故障、判斷失誤等原因，在使用多無人協(xié)同系統(tǒng)作戰(zhàn)時(shí)將出現(xiàn)對人類的誤傷甚至是誤殺。同時(shí)，多無人系統(tǒng)各個(gè)個(gè)體之間，以及多無人系統(tǒng)與人之間的交互建立在信任的基礎(chǔ)之上，一旦智能無人系統(tǒng)具備了獨(dú)立思維能力，將導(dǎo)致機(jī)與機(jī)甚至人與機(jī)之間的沖突。從遠(yuǎn)期來看，多無人協(xié)同系統(tǒng)智能化和自主化水平的不斷提升，存在超出人類控制的風(fēng)險(xiǎn)，將可能對人類產(chǎn)生傷害。

人工智能的發(fā)展造成工人轉(zhuǎn)業(yè)、失業(yè)的問題是必然會(huì)出現(xiàn)的，在產(chǎn)業(yè)結(jié)構(gòu)轉(zhuǎn)型的過程中，舊職業(yè)被新職業(yè)替代是不可避免的，工業(yè)革命的成功同樣伴隨著大量工人的轉(zhuǎn)業(yè)。因此，將視角轉(zhuǎn)向人工智能創(chuàng)造出來的新職業(yè)，不應(yīng)去回避失業(yè)、轉(zhuǎn)業(yè)的問題，而是在高新技術(shù)領(lǐng)域、新興產(chǎn)業(yè)以及現(xiàn)代服務(wù)業(yè)中加大投入力度，主動(dòng)推動(dòng)產(chǎn)業(yè)結(jié)構(gòu)的轉(zhuǎn)型升級，鼓勵(lì)勞動(dòng)力從第一、第二產(chǎn)業(yè)轉(zhuǎn)向第三產(chǎn)業(yè)。至于人工智能具備獨(dú)立思維而對人類造成傷害的問題，以目前技術(shù)，這還只是一個(gè)遙遠(yuǎn)的假設(shè)，但在未來面對有自主學(xué)習(xí)能力的人工智能時(shí)，可以在其學(xué)習(xí)初期，將人類價(jià)值觀中的協(xié)同合作、利他主義等內(nèi)容讓其學(xué)習(xí)，踏出人類與人工智能和諧相處的第一步。

3. 軍事安全

當(dāng)前，國際競爭形勢錯(cuò)綜復(fù)雜，不確定因素所致的安全隱患陡增，保護(hù)國家主權(quán)和領(lǐng)土完整，抵御外來武裝力量的侵略是軍事安全的核心，強(qiáng)大的軍事實(shí)力一直以來都是我國強(qiáng)大的根本，軍事安全的重要性不言而喻。多無人系統(tǒng)協(xié)同目前在軍事上的應(yīng)用最為廣泛，未來的作戰(zhàn)模式將由多智能無人武器協(xié)同的出現(xiàn)而徹底改變。在軍事上，我們不僅要具備抵御外來武裝力量入侵的能力，還要具備主動(dòng)打擊外來威脅源的能力。

我國要加強(qiáng)多無人系統(tǒng)在國防戰(zhàn)略中的布局，夯實(shí)多無人系統(tǒng)協(xié)同技術(shù)發(fā)展的基礎(chǔ)，密切關(guān)注世界軍事科技和武器裝備發(fā)展動(dòng)向，努力搶占科技研發(fā)的戰(zhàn)略制高點(diǎn)，牢牢把握多無人系統(tǒng)在軍事領(lǐng)域發(fā)展的趨勢，為未來戰(zhàn)爭中可能存在的各種風(fēng)險(xiǎn)挑戰(zhàn)做好準(zhǔn)備，推動(dòng)國防建設(shè)跨越式發(fā)展，為實(shí)現(xiàn)中國夢、強(qiáng)軍夢提供堅(jiān)強(qiáng)力量，為和平與發(fā)展這一全人類共同愿望的實(shí)現(xiàn)貢獻(xiàn)力量。

五、“四位一體”全面推進(jìn)多無人系統(tǒng)協(xié)同安全發(fā)展

構(gòu)建多無人系統(tǒng)安全治理框架，與國際接軌，構(gòu)筑面向多種無人系統(tǒng)的生態(tài)系統(tǒng)。立足創(chuàng)新驅(qū)動(dòng)發(fā)展戰(zhàn)略，落實(shí)多無人系統(tǒng)協(xié)同相關(guān)理論基礎(chǔ)，提升人工智能科技創(chuàng)新能力，充分發(fā)揮多學(xué)科交叉融合的優(yōu)勢，大力發(fā)展智能多無人系統(tǒng)前端技術(shù)，建設(shè)智能的經(jīng)濟(jì)社會(huì)體系。建設(shè)安全治理法治體系，完善智能多無人系統(tǒng)應(yīng)用相關(guān)的法律法規(guī)，建立完善的人工智能社會(huì)責(zé)任制度，實(shí)現(xiàn)新時(shí)代的全面依法治國。制定倫理準(zhǔn)則，完善人工智能技術(shù)研發(fā)規(guī)范，建設(shè)與人工智能和平共處的社會(huì)，實(shí)現(xiàn)智能化的新時(shí)代。

（一）推進(jìn)無人系統(tǒng)的安全生態(tài)建設(shè)

為了保障多無人系統(tǒng)協(xié)同中人工智能技術(shù)的健康發(fā)展，構(gòu)建完善的多無人系統(tǒng)安全治理框架勢在必行。通過國際間的交流合作，建立一套面向無人機(jī)、無人車、無人艇等多種無人系統(tǒng)的健全的安全評估和監(jiān)管體系。強(qiáng)化風(fēng)險(xiǎn)把控，針對多無人系統(tǒng)協(xié)同技術(shù)的內(nèi)生安全和衍生安全問題，構(gòu)建多無人系統(tǒng)協(xié)同風(fēng)險(xiǎn)評估指標(biāo)體系，對可能產(chǎn)生的危害及其程度進(jìn)行評估，劃分危險(xiǎn)等級，制定相應(yīng)的安全標(biāo)準(zhǔn)和對策措施，并規(guī)范評估程序。建立專門的治理機(jī)構(gòu)，如多無人系統(tǒng)協(xié)同安全委員會(huì)，統(tǒng)籌管理多無人系統(tǒng)協(xié)同的安全發(fā)展問題，對多無人系統(tǒng)中的人工智能技術(shù)進(jìn)行安全評估和監(jiān)管，保障國家人工智能相關(guān)安全政策落實(shí)到位，并對多無人系統(tǒng)中的人工智能可能帶來的就業(yè)、公民生命財(cái)產(chǎn)安全、隱私安全等社會(huì)問題開展研究，并與社會(huì)各領(lǐng)域進(jìn)行廣泛的交流與合作，提出可操作的、建設(shè)性的政策建議。

（二）推進(jìn)無人系統(tǒng)的先進(jìn)技術(shù)建設(shè)

堅(jiān)持國際合作與自主創(chuàng)新并舉，基礎(chǔ)研究與應(yīng)用落地并行。持之以恒加強(qiáng)多無人系統(tǒng)協(xié)同的相關(guān)基礎(chǔ)理論研究，集中力量突破基礎(chǔ)理論和相關(guān)產(chǎn)業(yè)的薄弱環(huán)節(jié)，前瞻性瞄準(zhǔn)多無人系統(tǒng)技術(shù)的新興方向，重點(diǎn)關(guān)注量子人工智能密碼、聯(lián)邦學(xué)習(xí)、對抗樣本生成、分簇自組網(wǎng)技術(shù)、區(qū)塊鏈技術(shù)等與多無人系統(tǒng)的架構(gòu)安全、通信安全和數(shù)據(jù)安全等問題緊密相關(guān)的基礎(chǔ)理論研究。提升人工智能科技創(chuàng)新能力，時(shí)刻關(guān)注國際上的多無人系統(tǒng)發(fā)展動(dòng)向，學(xué)習(xí)先進(jìn)知識和前沿技術(shù)，提升自主可控技術(shù)的創(chuàng)新能力，保證相關(guān)技術(shù)的安全性，進(jìn)一步保障多無人系統(tǒng)協(xié)同中的人工智能安全。充分發(fā)揮多學(xué)科交叉融合的優(yōu)勢，探索多學(xué)科交叉融合的有效途徑，大力發(fā)展智能多無人系統(tǒng)前端技術(shù)，建設(shè)智能的經(jīng)濟(jì)社會(huì)體系。立足走中國特色自主創(chuàng)新道路、堅(jiān)持科技創(chuàng)新與制度創(chuàng)新協(xié)同發(fā)力、持續(xù)加強(qiáng)基礎(chǔ)研究三個(gè)方面，貫徹新發(fā)展理念，彰顯對加強(qiáng)自主可控技術(shù)與創(chuàng)新的信心與決心，增強(qiáng)自主創(chuàng)新能力，加快建設(shè)創(chuàng)新型國家。

（三）推進(jìn)無人系統(tǒng)的法律規(guī)范建設(shè)

與時(shí)俱進(jìn)制定并完善人工智能的相關(guān)政策和多無人系統(tǒng)協(xié)同的相關(guān)法律，堅(jiān)持柔性的原則和規(guī)范化的法律相結(jié)合，構(gòu)建以人工智能為特色的新法治體系，為實(shí)現(xiàn)全面推進(jìn)依法治國，加快建設(shè)社會(huì)主義法治國家提供強(qiáng)力支撐。開展與多無人系統(tǒng)技術(shù)應(yīng)用相關(guān)的民事與刑事責(zé)任確認(rèn)、個(gè)人隱私安全、數(shù)據(jù)安全、產(chǎn)權(quán)保護(hù)等法律問題的研究，建立保障多無人系統(tǒng)協(xié)同技術(shù)健康發(fā)展的法律法規(guī)和倫理道德框架。建立健全問責(zé)追責(zé)制度，明確責(zé)任劃分、強(qiáng)化責(zé)任落實(shí)，明確監(jiān)管者、產(chǎn)品開發(fā)者和用戶之間的權(quán)責(zé)關(guān)系。重點(diǎn)明確人工智能研究人員在人工智能安全領(lǐng)域的專業(yè)責(zé)任，要求其通過技術(shù)手段來保障多無人系統(tǒng)的安全。圍繞自動(dòng)駕駛、服務(wù)機(jī)器人等應(yīng)用基礎(chǔ)較好的細(xì)分領(lǐng)域，加快研究制定相關(guān)安全管理法規(guī)，為新技術(shù)的快速應(yīng)用奠定法律基礎(chǔ)。根據(jù)多無人系統(tǒng)的功能、用途和安全性，建立完善的多無人系統(tǒng)的分類和分級體系。加快推進(jìn)技術(shù)安全標(biāo)準(zhǔn)的制定，細(xì)化指標(biāo)的同時(shí)覆蓋更多領(lǐng)域。加快國內(nèi)安全技術(shù)標(biāo)準(zhǔn)與國際標(biāo)準(zhǔn)的銜接，向國際領(lǐng)先水平看齊。

（四）推進(jìn)無人系統(tǒng)的社會(huì)倫理建設(shè)

多無人系統(tǒng)由于其頻繁交互、協(xié)同作業(yè)的特點(diǎn)，一方面可以大幅改善人類的生活質(zhì)量，另一方面也可能出現(xiàn)產(chǎn)生獨(dú)立意識而不可控的安全風(fēng)險(xiǎn)。在多無人系統(tǒng)協(xié)同的研發(fā)過程中加入倫理設(shè)計(jì)，將人類價(jià)值觀中的協(xié)同合作、利他主義等內(nèi)容供其學(xué)習(xí)，使多無人系統(tǒng)在初始時(shí)就具備一定的道德判斷能力。在實(shí)際運(yùn)行過程中，該系統(tǒng)能夠遵循人們預(yù)設(shè)的倫理道德準(zhǔn)則，以此杜絕危害人類社會(huì)的可能性。由人工智能安全管理機(jī)構(gòu)提出的具體的倫理要求，在產(chǎn)品研發(fā)中通過技術(shù)手段嵌入倫理道德的要素，并通過政策要求和法律規(guī)范予以落實(shí)和保障，從思想源頭上遏制多無人系統(tǒng)中人工智能技術(shù)的可能風(fēng)險(xiǎn)，實(shí)現(xiàn)科學(xué)技術(shù)和人文關(guān)懷的統(tǒng)一，踏出人類與人工智能和諧相處的第一步。

六、對策建議

（一）構(gòu)建國家級無人系統(tǒng)驗(yàn)證平臺，推動(dòng)人才隊(duì)伍建設(shè)

構(gòu)建“產(chǎn)學(xué)研”于一體的自主無人系統(tǒng)公共技術(shù)驗(yàn)證平臺，為復(fù)合型高端人才和高水平創(chuàng)新團(tuán)隊(duì)提供沃土。發(fā)揮“政產(chǎn)學(xué)研”主體活力，引進(jìn)和培養(yǎng)一批服務(wù)基礎(chǔ)創(chuàng)新研究和產(chǎn)業(yè)健康發(fā)展的青年人才，給予平臺充分的開放性和資源支持，解決人才隊(duì)伍后顧之憂。重點(diǎn)突破和驗(yàn)證可控智能演化、可信感知交互和可靠協(xié)同控制等與安全應(yīng)用落地緊密相關(guān)的共性關(guān)鍵技術(shù)，引導(dǎo)和支持各方共研共建自主無人系統(tǒng)通用安全保障技術(shù)體系。

（二）逐步深化無人系統(tǒng)產(chǎn)業(yè)“放管服”，發(fā)展新一代人工智能安全生態(tài)

推動(dòng)以民用無人系統(tǒng)為代表的人工智能行業(yè)準(zhǔn)入標(biāo)準(zhǔn)和產(chǎn)品全面深度質(zhì)檢體系的建立，深化“放管服”，以保障實(shí)際投入使用的民用無人系統(tǒng)的安全可靠，促進(jìn)產(chǎn)業(yè)生態(tài)健康發(fā)展。在此基礎(chǔ)上，逐步細(xì)化無人系統(tǒng)在各細(xì)分領(lǐng)域應(yīng)用的法律法規(guī)，制定某些特定領(lǐng)域中，無人系統(tǒng)設(shè)計(jì)、生產(chǎn)、使用和服務(wù)相關(guān)人員的資格認(rèn)證標(biāo)準(zhǔn)，更智慧地把握機(jī)遇與應(yīng)對挑戰(zhàn)。

（三）充分發(fā)揮多無人系統(tǒng)協(xié)同的優(yōu)勢，賦能應(yīng)用

深入調(diào)研以無人系統(tǒng)為代表的新一代人工智能技術(shù)和產(chǎn)業(yè)發(fā)展過程中伴生的社會(huì)治安、就業(yè)安置、產(chǎn)業(yè)安全和國防事業(yè)中的新風(fēng)險(xiǎn)，制定局部風(fēng)險(xiǎn)處置預(yù)案和總體安全發(fā)展規(guī)劃。在制造業(yè)、農(nóng)業(yè)、司法、教育、國防和醫(yī)療等領(lǐng)域促進(jìn)無人系統(tǒng)逐步應(yīng)用落地，趨利避害，賦能保障和改善民生，服務(wù)構(gòu)建人類命運(yùn)共同體。實(shí)現(xiàn)在無人系統(tǒng)及其協(xié)同技術(shù)的高速發(fā)展和應(yīng)用階段平穩(wěn)過渡，牢牢把握機(jī)遇，從容應(yīng)對挑戰(zhàn)。

審核編輯：湯梓紅