人工智能安全領(lǐng)域的巨大挑戰(zhàn)

近年來，隨著云計(jì)算、大數(shù)據(jù)以及深度學(xué)習(xí)等技術(shù)的快速發(fā)展，人工智能技術(shù)也日益成熟，并開始在各個(gè)領(lǐng)域落地應(yīng)用。

但是，人工智能在推動(dòng)產(chǎn)業(yè)發(fā)展的同時(shí)，也給安全領(lǐng)域帶來了巨大的挑戰(zhàn)。在日前召開的2018中國人工智能移動(dòng)安全高峰論壇上，來自不同領(lǐng)域的安全專家圍繞“AI與安全”的話題展開了討論。

工信部網(wǎng)絡(luò)安全管理局副局長楊宇燕表示，保障人工智能的安全使用是一項(xiàng)復(fù)雜的系統(tǒng)工程，目前，這一工程還存在安全意識(shí)不足、制度落實(shí)不到位等問題。

為了應(yīng)對人工智能安全的發(fā)展，楊宇燕認(rèn)為應(yīng)該從四個(gè)方面發(fā)力。首先是突破核心技術(shù)，其次是加強(qiáng)標(biāo)準(zhǔn)的制定，然后是建立網(wǎng)絡(luò)威脅信息共享機(jī)制，最后是加強(qiáng)應(yīng)急處置和評測體系的建設(shè)。

百度首席安全科學(xué)家韋韜則認(rèn)為，人工智能的演進(jìn)速度太快，背后隱藏的安全風(fēng)險(xiǎn)給安全防護(hù)工作帶來巨大壓力，“如果防護(hù)方不提前把控風(fēng)險(xiǎn)，黑產(chǎn)一定會(huì)把它們利用到極致，并對社會(huì)造成巨大的災(zāi)害?！?/p>

系統(tǒng)漏洞

李康去年剛剛從學(xué)術(shù)圈轉(zhuǎn)到產(chǎn)業(yè)界，現(xiàn)在是360智能安全研究院的負(fù)責(zé)人。他主要的研究方向是攻防對抗里的安全技術(shù)，其中便包括人工智能對抗方面的研究。

在李康看來，人工智能系統(tǒng)中存在非常多的漏洞，其中遇到最多的安全問題是“逃逸攻擊”。這也被形容為“騙人攻擊”，因?yàn)槠渲饕康木褪瞧垓_人工智能應(yīng)用，最典型的案例就是人臉識(shí)別系統(tǒng)將A認(rèn)作是B。

形成這種攻擊的主要原因是深度學(xué)習(xí)模型在做數(shù)據(jù)培訓(xùn)時(shí)，通常是采用固定的維度，比如圖像訓(xùn)練，所有圖像資料都會(huì)被進(jìn)行維度處理，調(diào)整至同樣的格式呈現(xiàn)給機(jī)器。但在這個(gè)變維的過程中，也成為攻擊者進(jìn)行“數(shù)據(jù)投毒”，欺騙人工智能的場景。

“原來是一張羊的圖片，但維度變化后，機(jī)器看到的并不是羊，而是狼?！崩羁当硎?，這種情況下，攻擊者可能使用的手段也通常出乎意料。

此外，相對于欺騙人工智能的“騙人攻擊”，還存在一種偷取人工智能的“偷人攻擊”。這種情況下，攻擊者的目的是復(fù)制人工智能模型、數(shù)據(jù)和參數(shù)，獲得模型后，攻擊者可以自行訓(xùn)練數(shù)據(jù)，更危險(xiǎn)的是還有可能推導(dǎo)出原來用的是什么數(shù)據(jù)。

“目前面臨的一個(gè)重要問題是，安全分析員沒有意識(shí)到有這么多安全問題，主要還是因?yàn)楝F(xiàn)在的程序復(fù)雜度太高，越復(fù)雜的系統(tǒng)潛在的安全風(fēng)險(xiǎn)也越多?！崩羁当硎荆斑@也要求業(yè)界要多關(guān)心自身模型、數(shù)據(jù)的安全，AI是一個(gè)有巨大價(jià)值的東西，但它如果很輕易就能被別人‘偷走’的話，就是一個(gè)巨大風(fēng)險(xiǎn)。”

AI“雙刃劍”

從事網(wǎng)絡(luò)安全工作多年的安賽科技高級咨詢顧問于忠臣向21世紀(jì)經(jīng)濟(jì)報(bào)道記者表示，人工智能技術(shù)對安全產(chǎn)業(yè)起到了極大的促進(jìn)作用，“在之前，攻擊者可以對一個(gè)漏洞進(jìn)行反復(fù)利用，甚至可以交叉利用多個(gè)漏洞去攻擊用戶，但AI技術(shù)幫助防護(hù)方在極短時(shí)間內(nèi)發(fā)現(xiàn)漏洞，并進(jìn)行全網(wǎng)修復(fù)?！?/p>

但同時(shí)，于忠臣也指出，任何新興技術(shù)都是一把雙刃劍，AI技術(shù)在助力防護(hù)方的同時(shí)，也成為很多攻擊者的一把利器。

北京大學(xué)郭耀教授表示，他目前正在用人工智能技術(shù)解決很多應(yīng)用安全的問題，比如安全分析、廣告欺詐監(jiān)測、隱私分析等。

“應(yīng)用在訪問用戶數(shù)據(jù)前會(huì)有一個(gè)非常長的條款，利用人工智能技術(shù)就可以對此進(jìn)行聚類分析，然后對比相似功能的應(yīng)用，如果100個(gè)應(yīng)用做同樣的事情，其他的都不需要電話號碼，而有一個(gè)需要，那肯定是有問題的?！?郭耀說。

而騰訊移動(dòng)安全防病毒負(fù)責(zé)人王佳斌指出，從攻擊者角度來說，他們實(shí)施攻擊的第一步是選擇攻擊對象，而人工智能可幫助攻擊者更精準(zhǔn)的尋找目標(biāo)。

有研究表明，通過人工智能的方式對被攻擊人的行為進(jìn)行訓(xùn)練，可以實(shí)現(xiàn)在一些合適的節(jié)點(diǎn)進(jìn)行釣魚攻擊，從實(shí)際效果來看，這種方式的成功率可達(dá)30%，而普通的廣撒網(wǎng)方式則只有5%-14%的成功率。

除此之外，王佳斌還提到了“數(shù)據(jù)污染”。在實(shí)際檢測到的一些病毒中，已經(jīng)發(fā)現(xiàn)一些黑產(chǎn)通過正規(guī)的申訴通道，投遞出與病毒非常接近的文件。這些文件的敏感惡意行為被去掉了，改動(dòng)也很小，但將它標(biāo)記為安全進(jìn)行訓(xùn)練后，卻會(huì)產(chǎn)生很多問題。

面對來自黑產(chǎn)的對抗，王佳斌提出了兩種應(yīng)對方案。第一種是對黑產(chǎn)提交過來的污染樣本進(jìn)行鑒定，并從訓(xùn)練集里剔除，保證訓(xùn)練數(shù)據(jù)的純潔性；第二種是尋找更多的對抗樣本，找到它們與訓(xùn)練數(shù)據(jù)的差異性，提前補(bǔ)充到訓(xùn)練數(shù)據(jù)的特征工程中，這樣污染樣本過來時(shí)，就能快速區(qū)別。

平衡發(fā)展

對于AI和安全的關(guān)系，長虹信息安全燈塔實(shí)驗(yàn)室首席科學(xué)家唐博認(rèn)為可以為三個(gè)發(fā)展階段。第一個(gè)階段，是用AI的方法可以解決一些安全問題，比如用AI的方法來識(shí)別攻擊、用大數(shù)據(jù)分析識(shí)別一些異常流量或者一些攻擊的行為。

第二個(gè)階段是用安全來保護(hù)人工智能。在人工智能的模型被“偷”，被“騙”的過程，需要對其進(jìn)行安全保護(hù)。

第三個(gè)階段，是當(dāng)人工智能的安全達(dá)到一定程度時(shí)，它可能會(huì)出現(xiàn)跨界或者跨平臺(tái)的應(yīng)用，效率也得到進(jìn)一步提升。而這些過程中，安全和AI是一個(gè)相輔相成的過程。

中國信通院泰爾終端實(shí)驗(yàn)室副主任馬鑫則認(rèn)為，技術(shù)本沒有對錯(cuò)之分，只有先進(jìn)落后之分。正常的技術(shù)發(fā)展都需要有一個(gè)周期，而且人工智能和其他技術(shù)不同，如果把其他技術(shù)比作潮水，那人工智能則像海嘯。

AI是一個(gè)大系統(tǒng)，系統(tǒng)越復(fù)雜，它的安全越需要關(guān)注。在一些應(yīng)用場景比較簡單的情況下，它的安全性比較容易得到滿足和保障，而在一些復(fù)雜的場景下，則需要對其安全性進(jìn)行研究。而在整個(gè)技術(shù)發(fā)展過程中，面對的是一個(gè)平衡的問題。