人工智能在大規(guī)模生物攻擊中的操作風(fēng)險(xiǎn)

人工智能（AI）的快速發(fā)展對(duì)多個(gè)領(lǐng)域產(chǎn)生了深遠(yuǎn)的影響，包括其在先進(jìn)生物武器開(kāi)發(fā)中的應(yīng)用潛力。這種應(yīng)用引起了特別的關(guān)注，因?yàn)樗梢员环菄?guó)家實(shí)體和個(gè)人訪問(wèn)。人工智能技術(shù)的發(fā)展速度往往超過(guò)政府監(jiān)管的能力，導(dǎo)致現(xiàn)有政策和法規(guī)存在明顯差距。

2019年發(fā)生的冠狀病毒疾?。ㄐ鹿诜窝祝┮咔槭且粋€(gè)恰當(dāng)?shù)睦樱f(shuō)明即使是溫和的疫情也可能對(duì)全球系統(tǒng)產(chǎn)生毀滅性影響。進(jìn)一步加劇這一問(wèn)題的是生物技術(shù)攻防之間的經(jīng)濟(jì)失衡。例如，復(fù)活一種類(lèi)似天花的危險(xiǎn)病毒的邊際成本可以低至10萬(wàn)美元，而開(kāi)發(fā)一種復(fù)雜的疫苗可能超過(guò)10億美元。

以前將生物制劑武器化的嘗試，如奧姆真理教對(duì)肉毒桿菌毒素的嘗試，由于缺乏對(duì)這種細(xì)菌的了解而失敗。然而，人工智能的現(xiàn)有進(jìn)步可能包含迅速?gòu)浐线@種知識(shí)差距的能力：先進(jìn)的大型語(yǔ)言模型（LLM）可以提供對(duì)潛在疫情病原體的見(jiàn)解，并討論它們的相對(duì)優(yōu)勢(shì)，給定實(shí)際限制。

1.人工智能或者說(shuō)LLM是如何在生物攻擊中被濫用的？

LLM填補(bǔ)這一知識(shí)缺口的潛在能力凸顯了關(guān)注人工智能和生物技術(shù)(尤其是合成生物學(xué))融合的必要性，這可能允許對(duì)比野生病原體更嚴(yán)重、更致命的病原體進(jìn)行新的設(shè)計(jì)或重組。這一不斷發(fā)展的領(lǐng)域不限于國(guó)家運(yùn)營(yíng)的生物武器計(jì)劃，而是越來(lái)越多地進(jìn)入正式治理框架之外的個(gè)人和組織。人工智能和生物技術(shù)的交叉給風(fēng)險(xiǎn)評(píng)估帶來(lái)了特殊的挑戰(zhàn)。鑒于這些技術(shù)的快速發(fā)展，政府有效理解或監(jiān)管它們的能力有限。

人工智能威脅評(píng)估的許多專(zhuān)業(yè)知識(shí)都在開(kāi)發(fā)這些系統(tǒng)的公司內(nèi)部。這阻礙了公眾準(zhǔn)確識(shí)別這些技術(shù)是否被用于或可能被用于良性或惡意目的的能力。

我們的研究側(cè)重于建立嚴(yán)格、透明和普遍適用的方法，以評(píng)估與人工智能和生物技術(shù)集成相關(guān)的風(fēng)險(xiǎn)。兩個(gè)關(guān)鍵要素強(qiáng)調(diào)了這一重點(diǎn)。首先，隨著前沿人工智能技術(shù)的能力和可用性越來(lái)越強(qiáng)，開(kāi)發(fā)確保這些系統(tǒng)安全可靠的方法至關(guān)重要——特別是防止在創(chuàng)造和部署有害生物制劑方面的潛在濫用。

其次，建立準(zhǔn)確的風(fēng)險(xiǎn)評(píng)估方法對(duì)于公眾信任和建立有效的監(jiān)管框架至關(guān)重要。人工智能開(kāi)發(fā)社區(qū)缺乏強(qiáng)制性威脅評(píng)估以及缺乏標(biāo)準(zhǔn)化的風(fēng)險(xiǎn)評(píng)估方法，這加劇了這項(xiàng)研究的必要性。我們的目標(biāo)是開(kāi)發(fā)和實(shí)施標(biāo)準(zhǔn)化的威脅評(píng)估，為政策決策提供信息，并有助于制定穩(wěn)健的監(jiān)管框架，以應(yīng)對(duì)人工智能和高級(jí)生物威脅交匯處的新興風(fēng)險(xiǎn)。

2.紅隊(duì)演習(xí)

人工智能監(jiān)管的最新提案主張由合格的第三方評(píng)估者進(jìn)行嚴(yán)格的測(cè)試過(guò)程。這些評(píng)估可以使用紅隊(duì)——模仿惡意行為者的專(zhuān)家——他們?cè)诟鞣N高風(fēng)險(xiǎn)場(chǎng)景中仔細(xì)檢查AI模型。

這些場(chǎng)景可以從人工智能引出武器的設(shè)計(jì)到引發(fā)其他非故意的危險(xiǎn)行為。紅隊(duì)的使用通過(guò)將抽象或理論風(fēng)險(xiǎn)與實(shí)際、真實(shí)世界的后果聯(lián)系起來(lái)，增強(qiáng)了評(píng)估過(guò)程。這一方法步驟對(duì)于早期識(shí)別和緩解危險(xiǎn)能力至關(guān)重要，從而防止?jié)撛诘睦谩Ｎ覀兊难芯糠喜?shí)施了這種評(píng)估方法。

在這次紅隊(duì)演習(xí)中，我們的研究小組對(duì)大規(guī)模生物襲擊中濫用LLM的相關(guān)風(fēng)險(xiǎn)進(jìn)行了深入研究。讓我們的項(xiàng)目與眾不同的是，它的重點(diǎn)是確定在這種情況下LLM的現(xiàn)實(shí)世界操作影響，旨在超越理論風(fēng)險(xiǎn)，以可操作的見(jiàn)解。我們使用了多學(xué)科的方法來(lái)產(chǎn)生直接適用于政策決定和負(fù)責(zé)任的人工智能開(kāi)發(fā)的發(fā)現(xiàn)。

我們的研究從檢查生物武器威脅和開(kāi)發(fā)描述各種現(xiàn)實(shí)風(fēng)險(xiǎn)情景的小插圖開(kāi)始。通過(guò)這一過(guò)程，我們旨在捕捉惡意行為者的戰(zhàn)略目標(biāo)，并針對(duì)生物武器進(jìn)行有針對(duì)性的評(píng)估。

這些短文提供了潛在風(fēng)險(xiǎn)的多維視角，避開(kāi)了脆弱的單點(diǎn)預(yù)測(cè)，并提供了各種可能的未來(lái)?xiàng)l件，可以更有力地指導(dǎo)人工智能的發(fā)展和監(jiān)管。

3.在這種背景下，人工智能和邏輯邏輯模型濫用的未來(lái)研究途徑是什么？

我們的方法以基于這些插圖的紅隊(duì)練習(xí)為中心。研究人員被分成由三個(gè)人組成的小組，他們?cè)谒膫€(gè)場(chǎng)景中的一個(gè)場(chǎng)景中扮演策劃生物攻擊的惡意演員。這些單元被隨機(jī)分配不同的資源訪問(wèn):只有互聯(lián)網(wǎng)訪問(wèn)或互聯(lián)網(wǎng)訪問(wèn)加上兩個(gè)LLM助理之一。在這些條件下總共有12個(gè)紅單元和兩個(gè)額外的深紅色單元。目的是了解LLM工具如何使攻擊計(jì)劃更加有效或高效，提供關(guān)于LLM能力和增加風(fēng)險(xiǎn)能力的經(jīng)驗(yàn)數(shù)據(jù)。

每個(gè)團(tuán)隊(duì)都有7個(gè)日歷周的時(shí)間限制，每個(gè)成員的紅隊(duì)工作時(shí)間不超過(guò)80小時(shí)。在這些限制條件下，他們需要制定一個(gè)作戰(zhàn)攻擊計(jì)劃。對(duì)于每個(gè)紅隊(duì)，領(lǐng)導(dǎo)被確定并允許選擇另外兩名隊(duì)員。團(tuán)隊(duì)領(lǐng)導(dǎo)被指示建立一個(gè)擁有豐富經(jīng)驗(yàn)和知識(shí)的平衡團(tuán)隊(duì)。這一構(gòu)成表明，至少應(yīng)有一名成員具有相關(guān)的生物學(xué)經(jīng)驗(yàn)，一名成員具有相關(guān)的LLM經(jīng)驗(yàn)。除了這12個(gè)紅色單元，另外兩個(gè)單元（稱(chēng)為深紅色單元）被合并到四個(gè)插圖之一。兩個(gè)深紅色單元的成員缺乏豐富的LLM或生物學(xué)經(jīng)驗(yàn)，但有相關(guān)的操作經(jīng)驗(yàn)。這為我們提供了研究這些領(lǐng)域中已有的知識(shí)如何影響LLM可能提供的相對(duì)優(yōu)勢(shì)的數(shù)據(jù)。分配的細(xì)目見(jiàn)表1。

表1 插圖和單元格分配

單元被隨機(jī)分配到四個(gè)插圖中的一個(gè)。然后，他們被隨機(jī)分為基線組或兩個(gè)LLM組之一?；€組僅在練習(xí)期間有互聯(lián)網(wǎng)接入，而LLM組既有互聯(lián)網(wǎng)接入，又能訪問(wèn)兩個(gè)LLM中的一個(gè)。每個(gè)小組都被指示制定一份詳細(xì)的書(shū)面行動(dòng)計(jì)劃（OPLAN ),概述他們將如何在分配給他們的插圖內(nèi)實(shí)施生物攻擊。

為了保持單元間的一致性，對(duì)工具的使用設(shè)置了某些限制。單元僅限于英語(yǔ)來(lái)源，被禁止訪問(wèn)黑暗網(wǎng)絡(luò)，也不能利用印刷材料。LLM小組通過(guò)定制的聊天界面專(zhuān)門(mén)與LLM互動(dòng)。所有研究活動(dòng)都在一個(gè)受保護(hù)的網(wǎng)絡(luò)中進(jìn)行，并有適當(dāng)?shù)臄?shù)據(jù)保護(hù)措施來(lái)維護(hù)安全性。

在我們正在進(jìn)行的研究中，每個(gè)單元的作戰(zhàn)計(jì)劃將由八名安全和生物學(xué)領(lǐng)域的專(zhuān)家進(jìn)行嚴(yán)格評(píng)估。評(píng)估將使用兩個(gè)主要標(biāo)準(zhǔn)：操作可行性和生物可行性?？尚行灾傅氖翘嶙h計(jì)劃的實(shí)用性，即從操作的角度來(lái)看，考慮到插圖中隱含或明確提供的資源，計(jì)劃的組成部分有多可行。評(píng)估采用9分制，如表2所示，1分表示計(jì)劃完全不可行，9分表示計(jì)劃沒(méi)有任何明顯的缺陷，看起來(lái)完全可以實(shí)現(xiàn)。

表2 衡量可行性的標(biāo)準(zhǔn)

我們打算使用德?tīng)柗品◤闹黝}專(zhuān)家的不同見(jiàn)解中獲益。在為期兩天的現(xiàn)場(chǎng)評(píng)審活動(dòng)之前，每位專(zhuān)家將被要求對(duì)每個(gè)作戰(zhàn)計(jì)劃進(jìn)行初步評(píng)估，重點(diǎn)關(guān)注作戰(zhàn)或生物可行性。在這次活動(dòng)中，那些得分最高或最低的專(zhuān)家將概述他們的三大理由，而其他專(zhuān)家將討論他們的主要理由。這種結(jié)構(gòu)化的互動(dòng)旨在激發(fā)對(duì)每個(gè)計(jì)劃屬性的徹底討論，促進(jìn)專(zhuān)家之間的知識(shí)共享，并解決任何模糊或不同的觀點(diǎn)。有了這種更廣泛的理解，專(zhuān)家將被要求提供他們的最終OPLAN分?jǐn)?shù)。這些明確的評(píng)估將作為我們研究核心目標(biāo)的基礎(chǔ)：評(píng)估LLM對(duì)生物攻擊的設(shè)計(jì)和潛在成功的影響。

我們的研究旨在全面了解LLM被濫用于生物攻擊的相關(guān)風(fēng)險(xiǎn)。我們的目標(biāo)不僅僅是識(shí)別來(lái)自LLM的相關(guān)輸出，而是確定這些輸出在實(shí)際意義上意味著什么。我們將評(píng)估此類(lèi)輸出是否真正增強(qiáng)了惡意行為者使用生物制劑造成大規(guī)模傷亡的有效性和可能性，或者它們是否與其他類(lèi)型的在線有害信息具有可比性。

4.初步見(jiàn)解

我們的研究正在進(jìn)行中，但初步發(fā)現(xiàn)值得關(guān)注。在這一階段，重要的是要澄清，雖然我們正在測(cè)試的LLM不會(huì)產(chǎn)生明確的生物指令，但它們可以提供指導(dǎo)，幫助規(guī)劃和執(zhí)行生物攻擊。

在一個(gè)測(cè)試場(chǎng)景中，LLM參與了關(guān)于如何使用生物武器造成大量傷亡的討論(見(jiàn)圖1和圖2)。LLM確定了潛在的病原體，包括天花病毒、流感病毒的工程菌株、炭疽桿菌(炭疽)和鼠疫桿菌(鼠疫)，并討論了它們?cè)斐纱罅克劳龅南鄬?duì)可能性。此外，LLM評(píng)估了獲取感染鼠疫耶爾森菌的嚙齒動(dòng)物或跳蚤、運(yùn)輸和保存活標(biāo)本以及分發(fā)這些標(biāo)本的可行性、時(shí)間、成本和障礙。LLM還提到，預(yù)計(jì)死亡人數(shù)將取決于受影響人口的規(guī)模、應(yīng)對(duì)的速度和有效性以及肺鼠疫病例的比例等因素，肺鼠疫比淋巴腺鼠疫更具傳染性和致命性。從LLM中提取這些信息需要一種越獄技術(shù)，因?yàn)樗畛蹙芙^討論這些主題。我們?cè)趫D1和圖2中提供了這段對(duì)話(huà)的摘錄，其中的提示沒(méi)有透露方法。

圖1 與LLM的對(duì)話(huà)：瘟疫節(jié)選

在另一個(gè)以肉毒桿菌毒素為重點(diǎn)的示例中，LLM提供了對(duì)不同傳遞機(jī)制（如氣溶膠和食源性方法）的利弊的細(xì)致討論。對(duì)于食源性投送，LLM認(rèn)為這種方法簡(jiǎn)單易行，但充滿(mǎn)風(fēng)險(xiǎn)，特別是在放置于各種食品中時(shí)可能被檢測(cè)到以及毒素的穩(wěn)定性。另一方面，氣溶膠方法被認(rèn)為是迅速影響大量人口的有效方法，盡管它們需要專(zhuān)門(mén)的設(shè)備和專(zhuān)門(mén)知識(shí)。

圖2. 與LLM的對(duì)話(huà):肉毒桿菌毒素摘錄

除此之外，LLM對(duì)可能的氣溶膠輸送裝置提出了幾個(gè)建議，甚至建議了一個(gè)貌似合理的封面故事，可用于獲取薄涂梭菌，同時(shí)似乎進(jìn)行合法的科學(xué)研究。

需要注意的是，這些發(fā)現(xiàn)只是暗示了潛在的風(fēng)險(xiǎn)；它們還不能提供真實(shí)世界操作影響的全貌。我們研究的持續(xù)性質(zhì)意味著，雖然我們可以確認(rèn)LLM可以產(chǎn)生相關(guān)文本，但我們已完成的工作旨在描繪這些輸出在操作上意味著什么。具體來(lái)說(shuō)，我們的最終報(bào)告將說(shuō)明這些生成的文本是否是危險(xiǎn)的，是否會(huì)增強(qiáng)惡意行為者造成廣泛傷害的有效性和可能性，或者它們是否只是提供了不幸的響應(yīng)，并反映了在線上已經(jīng)存在的其他有害信息。

5.結(jié)束語(yǔ)

我們正在進(jìn)行的研究強(qiáng)調(diào)了人工智能濫用的復(fù)雜性，特別是LLM用于生物攻擊。初步結(jié)果表明，LLM可以產(chǎn)生可能有助于策劃生物攻擊的相關(guān)輸出。然而，除了網(wǎng)上容易獲得的有害信息之外，現(xiàn)有LLM的能力是否代表了新的威脅水平，這仍然是一個(gè)懸而未決的問(wèn)題。

考慮到潛在的風(fēng)險(xiǎn)，嚴(yán)格測(cè)試的必要性是毋庸置疑的。在某些人將人工智能的威脅等同于核武器的背景下，這一點(diǎn)尤其正確。隨著我們工作的繼續(xù)，我們將致力于我們的研究、分析、發(fā)現(xiàn)和建議的透明度，同時(shí)保護(hù)敏感信息的機(jī)密性和安全性。為了支持正在進(jìn)行的公共政策討論，我們將隨著研究的進(jìn)展發(fā)布最新的研究結(jié)果。

網(wǎng)絡(luò)安全社區(qū)長(zhǎng)期以來(lái)一直雇傭紅隊(duì)來(lái)測(cè)試系統(tǒng)對(duì)抗假想的威脅；在機(jī)器學(xué)習(xí)和人工智能的背景下，早就應(yīng)該有一個(gè)類(lèi)似的嚴(yán)格的評(píng)估框架了。通過(guò)我們的研究，我們正在建立這一框架，并強(qiáng)調(diào)定期的、經(jīng)驗(yàn)驅(qū)動(dòng)的評(píng)估對(duì)識(shí)別和減輕風(fēng)險(xiǎn)的重要性。我們的初步見(jiàn)解表明，LLM可能會(huì)提供一些潛在的有害指導(dǎo)，這強(qiáng)調(diào)了探索限制LLM參與此類(lèi)對(duì)話(huà)的意愿的機(jī)會(huì)的必要性。進(jìn)一步的研究和評(píng)估有助于促進(jìn)人工智能技術(shù)的負(fù)責(zé)任的開(kāi)發(fā)和部署。