DARPA的可解釋人工智能程序

■機(jī)器學(xué)習(xí)的巨大成功帶來了新一波人工智能應(yīng)用

（例如，交通、安全、醫(yī)療、財(cái)務(wù)、防御）提供了巨大的好處，但無法向人類用戶解釋其決策和行動。DARPA的可解釋人工智能（XAI）計(jì)劃致力于創(chuàng)建人工智能系統(tǒng)，其學(xué)習(xí)的模型和決策能夠被最終用戶理解和適當(dāng)信任。實(shí)現(xiàn)這一目標(biāo)需要學(xué)習(xí)更多的可解釋模型，設(shè)計(jì)有效的解釋界面，理解有效解釋的心理需求。XAI開發(fā)團(tuán)隊(duì)正在通過創(chuàng)建ML技術(shù)和開發(fā)用于生成有效解釋的原則、策略和人機(jī)交互技術(shù)來解決前兩個挑戰(zhàn)。另一個XAI團(tuán)隊(duì)正在通過總結(jié)、擴(kuò)展和應(yīng)用心理學(xué)解釋理論來解決第三個挑戰(zhàn)，以幫助XAI評估人員確定合適的評估框架，開發(fā)團(tuán)隊(duì)將使用該框架測試其系統(tǒng)。XAI團(tuán)隊(duì)于2018年5月完成了該4年計(jì)劃的第一個項(xiàng)目。在一系列正在進(jìn)行的評估中，開發(fā)團(tuán)隊(duì)正在評估他們的XAM系統(tǒng)的解釋如何改進(jìn)用戶理解、用戶信任和用戶任務(wù)性能

機(jī)器學(xué)習(xí)（ML）技術(shù)的發(fā)展使得人工智能系統(tǒng)能夠獨(dú)立感知、學(xué)習(xí)、決策和行動。然而，他們將無法向人類用戶解釋他們的決定和行為。這種缺乏對于國防部來說尤為重要，國防部的挑戰(zhàn)要求開發(fā)更智能、更自主、更共生的系統(tǒng)。如果用戶要理解、適當(dāng)信任和有效管理這些人工智能伙伴，可解釋的AI將是必不可少的。為了解決這一問題，DARPA于2017年5月啟動了其可解釋人工智能（XAI）計(jì)劃。DARPA將可解釋人工智能定義為能夠向人類用戶解釋其基本原理、描述其優(yōu)缺點(diǎn)并傳達(dá)對其未來行為的理解的人工智能系統(tǒng)。將該程序命名為可解釋人工智能（而不是可解釋、可理解或透明人工智能）反映了DARPA的目標(biāo)，即通過使用有效的解釋來創(chuàng)建更多人類可理解的人工智能系統(tǒng)。它還反映了XAI團(tuán)隊(duì)對人類解釋心理學(xué)的興趣，它利用了社會科學(xué)中大量的研究和專業(yè)知識。

他們進(jìn)行某種形式的邏輯推理，并能提供推理步驟的痕跡，成為解釋的依據(jù)。在使這些系統(tǒng)更易于解釋方面做了大量的工作，但它們沒有滿足用戶對理解的需求（例如，簡單地總結(jié)系統(tǒng)的內(nèi)部工作并不能產(chǎn)生充分的解釋），并且在現(xiàn)實(shí)世界的復(fù)雜性面前過于脆弱。

最近人工智能的成功很大程度上歸功于在其內(nèi)部表示中構(gòu)造模型的新的ML技術(shù)。其中包括支持向量機(jī)、隨機(jī)森林、概率圖形模型、強(qiáng)化學(xué)習(xí)（RL）和深度學(xué)習(xí)（DL）神經(jīng)網(wǎng)絡(luò)。雖然這些模型表現(xiàn)出高性能，但它們是不透明的。隨著其使用的增加，從ML和認(rèn)知心理學(xué)的角度對可解釋性的研究也在增加。類似地，最近也舉辦了許多與XAI相關(guān)的研討會，討論ML（例如，國際機(jī)器學(xué)習(xí)會議、神經(jīng)信息處理系統(tǒng)會議）、AI（例如，國際人工智能聯(lián)合會議），和HCI（如人機(jī)交互會議、智能用戶界面會議）會議一樣，都有與XAI相關(guān)的專題會議。ML性能（例如，預(yù)測準(zhǔn)確性）和可解釋性之間似乎存在內(nèi)在的張力；通常，性能最高的方法（例如，DL）是最不可解釋的，而最可解釋的方法（例如，決策樹）是最不精確的。用各種ML技術(shù)的性能可解釋性權(quán)衡的概念圖說明了這一點(diǎn)。（脈輪et公司。2017年；Ras公司et公司al公司.2018年）（米勒2017年）。

當(dāng)DARPA制定XAI計(jì)劃時(shí)，它設(shè)想了三種廣泛的策略來提高可解釋性，同時(shí)保持高水平的學(xué)習(xí)績效，基于當(dāng)時(shí)有前景的研究（2）：深度解釋、可解釋模型和模型歸納。深度解釋是指修改或混合DL技術(shù)，可以學(xué)習(xí)更多可解釋的特性或表示，或者包括解釋生成工具。（Deep explaining）。（Deep explaining）。（Deep explaining）。（Deep explaining）是指修改或混合DL技術(shù)，以了解更多可解釋的特性或表示。一些設(shè)計(jì)選擇可能產(chǎn)生更多可解釋的表示（例如，訓(xùn)練數(shù)據(jù)選擇、體系結(jié)構(gòu)層、損失函數(shù)、正則化、優(yōu)化技術(shù)、訓(xùn)練序列）。研究人員已經(jīng)使用反褶積網(wǎng)絡(luò)來可視化卷積網(wǎng)絡(luò)層，并且已經(jīng)存在將語義概念與深度網(wǎng)絡(luò)節(jié)點(diǎn)關(guān)聯(lián)的技術(shù)。生成圖像標(biāo)題的方法可以擴(kuò)展到訓(xùn)練第二個深層網(wǎng)絡(luò)，該網(wǎng)絡(luò)生成解釋而不需要明確識別原始網(wǎng)絡(luò)的語義特征。

可解釋模型是學(xué)習(xí)更多結(jié)構(gòu)化、可解釋或因果模型的ML技術(shù)。早期的例子包括貝葉斯規(guī)則列表、貝葉斯程序?qū)W習(xí)、因果關(guān)系學(xué)習(xí)模型以及使用隨機(jī)語法學(xué)習(xí)更多可解釋結(jié)構(gòu)。（Letham等人.2015年），模型歸納是指使用任何給定的ML模型（如黑盒）進(jìn)行實(shí)驗(yàn)，以推斷出近似的可解釋模型的技術(shù)。例如，模型不可知解釋系統(tǒng)通過觀察和分析黑箱模型的輸入輸出行為來推斷解釋。里韋羅et公司。（2016年）

DARPA使用這些策略對新的ML技術(shù)組合進(jìn)行分類，并為未來的從業(yè)者提供更廣泛的設(shè)計(jì)選項(xiàng)，涵蓋性能可解釋性交易空間。

XAI計(jì)劃的目標(biāo)是創(chuàng)建一套新的或改進(jìn)的ML技術(shù)，這些技術(shù)產(chǎn)生可解釋的模型，當(dāng)與有效的解釋技術(shù)相結(jié)合時(shí)，使最終用戶能夠理解、適當(dāng)信任和有效管理新一代AI系統(tǒng)。。例如，從大數(shù)據(jù)分析系統(tǒng)接收建議的情報(bào)分析員需要了解為什么它會推薦某些活動進(jìn)行進(jìn)一步調(diào)查。同樣，要求自動駕駛車輛行駛路線的操作員需要了解系統(tǒng)的決策模型，以便在未來的任務(wù)中適當(dāng)?shù)厥褂迷撃Ｐ汀Ｕf明了XAI概念：為用戶提供解釋，使他們能夠理解系統(tǒng)的整體優(yōu)勢和劣勢，傳達(dá)對其在未來或不同情況下的行為的理解，并允許用戶糾正系統(tǒng)的錯誤。

這種以用戶為中心的概念提出了相關(guān)的研究挑戰(zhàn)：（1）如何產(chǎn)生更多可解釋的模型；（2）如何設(shè)計(jì)解釋界面；（3）如何理解有效解釋的心理需求。前兩個挑戰(zhàn)由11個XAI研究團(tuán)隊(duì)解決，他們正在開發(fā)新的ML技術(shù)來產(chǎn)生可解釋的模型，以及新的原則、策略和HCI技術(shù)（例如，可視化、語言理解、語言生成）來產(chǎn)生有效的解釋。第三個挑戰(zhàn)是另一個XAI研究團(tuán)隊(duì)的重點(diǎn)，該團(tuán)隊(duì)正在總結(jié)、擴(kuò)展和應(yīng)用心理學(xué)解釋理論。XAI計(jì)劃解決兩個與操作相關(guān)的挑戰(zhàn)問題領(lǐng)域（4）數(shù)據(jù)分析（異構(gòu)多媒體數(shù)據(jù)中感興趣事件的分類）和自治（自治系統(tǒng)的決策策略）。這些領(lǐng)域代表兩個重要的ML問題類別（監(jiān)督學(xué)習(xí)和RL）和國防部的興趣（情報(bào)分析和自主系統(tǒng)）。數(shù)據(jù)分析挑戰(zhàn)的動機(jī)是一個共同的問題：向情報(bào)分析師提供來自大數(shù)據(jù)的決策和建議金融機(jī)構(gòu)古爾分析算法，必須決定在分析中報(bào)告哪些作為支持證據(jù)，以及進(jìn)一步研究哪些。這些算法經(jīng)常產(chǎn)生錯誤警報(bào)，必須對其進(jìn)行刪減，并受到概念漂移的影響。此外，這些算法通常會提出建議，分析師必須對這些建議進(jìn)行評估，以確定證據(jù)是否支持或違背其假設(shè)。有效的解釋將有助于解決這些問題。

圖1學(xué)習(xí)績效與可解釋性在幾種學(xué)習(xí)技巧之間的權(quán)衡

自主性挑戰(zhàn)的動機(jī)是需要有效管理AI合作伙伴。例如，國防部尋求半自主系統(tǒng)來增強(qiáng)作戰(zhàn)人員的能力。操作員需要了解它們的行為，以便確定在未來任務(wù)中如何以及何時(shí)最好地使用它們。有效的解釋將更好地促成這種決定。

對于這兩個挑戰(zhàn)問題領(lǐng)域，衡量解釋的有效性至關(guān)重要。如果一個學(xué)習(xí)模型的可解釋性能夠被自動測量是很方便的，那么XAI系統(tǒng)的解釋有效性必須根據(jù)它的解釋如何幫助人類用戶來評估。這就需要人在回路心理實(shí)驗(yàn)來衡量用戶的滿意度、心理模型、任務(wù)績效和適當(dāng)?shù)男湃?。DARPA制定了初始解釋評估框架，其中包括解釋有效性的潛在措施（5）。探索和改進(jìn)此框架是XAI項(xiàng)目研究議程的重要組成部分。

XAI計(jì)劃的目標(biāo)、概念、戰(zhàn)略、挑戰(zhàn)和評估框架在該計(jì)劃的2016年廣泛機(jī)構(gòu)公告中進(jìn)行了描述。顯示XAI程序的計(jì)劃，該計(jì)劃由兩個階段組成。第1階段（18個月）于2017年5月開始，包括XAI系統(tǒng)的初始技術(shù)演示。階段2（30個月）包括針對系統(tǒng)開發(fā)人員和XAI評估人員選擇的挑戰(zhàn)性問題的一系列評估。XAI系統(tǒng)的首次正式評估于2018年秋季進(jìn)行。本文描述了開發(fā)團(tuán)隊(duì)在進(jìn)行這些評估之前所取得的進(jìn)展，評估結(jié)果在2019年冬季的XAI項(xiàng)目會議上展示。-

XAI項(xiàng)目開發(fā)與進(jìn)展

圖7（見后面）總結(jié)了11個XAI技術(shù)領(lǐng)域1（TA1）開發(fā)團(tuán)隊(duì)和TA2團(tuán)隊(duì)[來自佛羅里達(dá)人機(jī)認(rèn)知研究所（IHMC）]，他們正在開發(fā)解釋的心理模型。三個TA1團(tuán)隊(duì)同時(shí)致力于挑戰(zhàn)問題領(lǐng)域（自主性和數(shù)據(jù)分析），三個團(tuán)隊(duì)僅致力于前者，五個團(tuán)隊(duì)僅致力于后者。根據(jù)2中描述的策略，TA1團(tuán)隊(duì)正在研究開發(fā)可解釋模型和解釋接口的各種技術(shù)。金融機(jī)構(gòu)古爾

XAI的決策基礎(chǔ)

IHMC團(tuán)隊(duì)（包括MacroCognition和密歇根理工大學(xué)的研究人員）的目標(biāo)是開發(fā)和評估心理上合理的解釋模型，并開發(fā)可操作的概念、方法、度量和解釋推理度量。

圖2 開發(fā)可解釋模型的策略

研究解釋本身的性質(zhì)。如果一個人試圖解釋（1）一個復(fù)雜系統(tǒng)的工作原理和（2）為什么它在一個給定的情況下會這樣做，那么他會滿意嗎？為了解決這些問題，團(tuán)隊(duì)制定了人類解釋推理的自然模型，并就評估XAI系統(tǒng)解釋有效性的方法向執(zhí)行團(tuán)隊(duì)提供指導(dǎo)。研究小組查閱了科學(xué)哲學(xué)和心理學(xué)專業(yè)的相關(guān)文獻(xiàn)，從中綜合了評價(jià)解釋“正確性”的標(biāo)準(zhǔn)。該小組還收集和分析一個案例語料庫，其中個人創(chuàng)建或接收復(fù)雜系統(tǒng)工作的解釋。-

該團(tuán)隊(duì)開發(fā)了解釋正確性、用戶心理模型（例如正確性、完整性）和用戶任務(wù)性能的度量。。為了獲得這種洞察力，用戶必須探索XAI系統(tǒng)的決策過程和性能，特別是對于邊界情況，包括深度神經(jīng)網(wǎng)絡(luò)（DNN）的欺騙方式。這個在一系列的文章中描述了方法論（霍夫曼和克萊因2017年；霍夫曼et公司。2017年；克萊n2018年；霍夫曼et公司。2018年）。

圖8說明了IHMC的XAI解釋過程模型，突出了評估解釋有效性的度量類別。用戶從XAI系統(tǒng)收到一個建議或決定，以及一個可以測試其優(yōu)劣（相對于預(yù)先制定的標(biāo)準(zhǔn)）和用戶滿意度的解釋。該解釋有助于用戶的人工智能系統(tǒng)的心理模型，它可以測試的準(zhǔn)確性和理解力。AI系統(tǒng)的建議和用戶的心理模型可能會啟用或降低用戶任務(wù)性能，這也可以測量。這些過程有助于用戶正確或不正確地信任AI系統(tǒng)。XAI evaluator使用此模型來測試開發(fā)團(tuán)隊(duì)的XAI系統(tǒng)。

圖3 XAI概念

評估XAI項(xiàng)目的獨(dú)立政府評估機(jī)構(gòu)是海軍研究實(shí)驗(yàn)室。對于第1階段，實(shí)驗(yàn)室（在IHMC的幫助下）為TA1團(tuán)隊(duì)準(zhǔn)備了一個評估框架，用作設(shè)計(jì)和實(shí)施他們的第一階段評估實(shí)驗(yàn)，他們將在數(shù)據(jù)分析或自主性的挑戰(zhàn)問題領(lǐng)域選擇一個或多個測試問題；應(yīng)用他們新的ML技術(shù)學(xué)習(xí)他們問題的可解釋模型；評估學(xué)習(xí)的ML模型的性能（表1）；將學(xué)習(xí)模型與解釋界面相結(jié)合，形成可解釋的學(xué)習(xí)系統(tǒng)；使用可解釋學(xué)習(xí)系統(tǒng)進(jìn)行用戶執(zhí)行指定任務(wù)的實(shí)驗(yàn)；并采用IHMC的解釋過程模型（8）和解釋有效性測量類別1）測量解釋有效性。

評估將包括以下實(shí)驗(yàn)條件：（1）不作說明：XAI系統(tǒng)用于執(zhí)行任務(wù)，不向用戶提供說明；（2） 帶解釋：XAI系統(tǒng)用于執(zhí)行任務(wù)，并為它所做的每個建議或決策以及它所采取的每個操作生成解釋；（3） 部分解釋：XAI系統(tǒng)用于執(zhí)行任務(wù)，僅生成部分解釋或燒蝕解釋（用于評估各種解釋特征）；和（4）控制：一個基線狀態(tài)的最先進(jìn)的非解釋性系統(tǒng)用于執(zhí)行任務(wù)。

可解釋學(xué)習(xí)系統(tǒng)

可深入解釋的AI

加州大學(xué)伯克利分校（UCB）團(tuán)隊(duì)（包括波士頓大學(xué)、阿姆斯特丹大學(xué)和Kitware的研究人員）正在開發(fā)一個人工智能系統(tǒng)，該系統(tǒng)通過明確的結(jié)構(gòu)解釋提供事后和內(nèi)省解釋，具有預(yù)測性行為，允許適當(dāng)?shù)男湃紊疃瓤山忉屓斯ぶ悄埽╠exainable AI，DEXAI）的關(guān)鍵挑戰(zhàn)是生成模型行為的精確解釋，并選擇對用戶最有用的解釋。UCB通過創(chuàng)建隱式或顯式解釋模型來解決前者：它們可以以可理解的方式隱式呈現(xiàn)復(fù)雜的潛在表征，或者構(gòu)建內(nèi)在可理解的顯式結(jié)構(gòu)。這些DEXAI模型創(chuàng)建了一系列可能的解釋操作。因?yàn)檫@些操作是在沒有任何用戶模型的情況下生成的，所以它們被稱為自反。對于第二個挑戰(zhàn)，UCB提出了合理的解釋，在決定選擇哪些解釋行為時(shí)使用用戶信念的模型。UCB也正在開發(fā)一個基于這些創(chuàng)新的解釋界面，這些創(chuàng)新是由迭代設(shè)計(jì)原則提供的。（Hu等人，2017）和，（Park等人，2018年）（Ramanishka等人，2017年）（歡get公司。2018年）。

UCB正在解決這兩個挑戰(zhàn)問題領(lǐng)域。對于autonomy，DEXAI將在車輛控制（使用Berkeley Deep Drive數(shù)據(jù)集和CARLA模擬器）和策略游戲場景（星際爭霸II）中演示。對于數(shù)據(jù)-Kim和Canny2017年）分析、DEXAI將使用視覺問答（VQA）和過濾任務(wù)（例如，分別使用VQA任務(wù)和活動識別任務(wù)的大規(guī)模數(shù)據(jù)集，如VQA-X和ACT-X）、xView和獨(dú)特的可描述時(shí)刻進(jìn)行演示(亨德里克斯et公司。2018年）。

圖4XAI挑戰(zhàn)問題領(lǐng)域

解釋學(xué)習(xí)的因果模型Charles River Analytics（CRA）團(tuán)隊(duì)（包括馬薩諸塞大學(xué)和布朗大學(xué)的研究人員）的目標(biāo)是通過因果模型解釋學(xué)習(xí)（CAMEL）方法，生成和呈現(xiàn)ML操作的因果解釋。駱駝解釋以交互、直觀的界面作為敘述呈現(xiàn)給用戶。CAMEL包括一個因果概率編程框架，該框架結(jié)合了因果建模的表示和學(xué)習(xí)方法（使用概率編程語言來描述復(fù)雜和豐富的現(xiàn)象。CAMEL可用于描述ML系統(tǒng)的功能、特定數(shù)據(jù)特征如何影響其結(jié)果，--2015年）（Pfeffer2016年）以及改變這些因素將如何影響這一結(jié)果。生成概率模型，用概率編程語言表示，自然地表達(dá)因果關(guān)系；它們非常適合于解釋ML系統(tǒng)的任務(wù)。CAMEL探測ML系統(tǒng)的內(nèi)部表示，以發(fā)現(xiàn)它如何表示用戶定義的自然域概念。然后，通過系統(tǒng)地包含或刪除領(lǐng)域概念的實(shí)驗(yàn)，建立它們對ML系統(tǒng)操作影響的因果模型。CRA已將此方法應(yīng)用于DNN的分類和RL。一旦學(xué)會，它使用因果概率模型來推斷系統(tǒng)的預(yù)測或行動的解釋。因?yàn)橥普摽赡苁驱嫶蠖鴱?fù)雜的，并且可以包含許多交互組件，CAMEL將它們組合成解釋性的敘述，引導(dǎo)用戶了解主要概念的交互以及它們對ML系統(tǒng)輸出的影響。駱駝解釋界面，基于認(rèn)知系統(tǒng)工程設(shè)計(jì)原理而建立HCI技術(shù)，允許用戶理解解釋性敘述并與之交互，產(chǎn)生對自動化的信任并實(shí)現(xiàn)有效的用戶系統(tǒng)協(xié)作。CRA正在解決這兩個挑戰(zhàn)問題領(lǐng)域。對于數(shù)據(jù)分析，CAMEL已通過行人檢測（使用INRIA行人數(shù)據(jù)集）進(jìn)行了演示（CRA正在進(jìn)行活動識別任務(wù)（使用ActivityNet）。對于自主性，駱駝已經(jīng)在Atari游戲Amidar上進(jìn)行了演示，CRA正在星際爭霸2上進(jìn)行演示。Harradon等人，2018年）

圖5 評估解釋有效性

學(xué)習(xí)和交流可解釋的表征用于分析和自主加州大學(xué)洛杉磯分校（UCLA）團(tuán)隊(duì)（包括俄勒岡州立大學(xué)和密歇根州立大學(xué)的研究人員）正在開發(fā)可解釋模型，該模型結(jié)合了代表性范例，包括可解釋的DNN、組合圖形模型（如and或Graph）。UCLA的系統(tǒng)包括一個對多模態(tài)輸入數(shù)據(jù)執(zhí)行任務(wù)的執(zhí)行者和一個向用戶解釋其感知、認(rèn)知推理和決策的解釋者。執(zhí)行者輸出空間、時(shí)間和因果解析圖（STC-PG）中的可解釋表示，用于三維場景感知（用于分析）和任務(wù)規(guī)劃（用于自主）。STC PG是合成的、概率的、屬性化的、可解釋的，并且基于圖像和視頻中的DNN特征。解釋者在對話過程中輸出解釋性解析圖，在STC-PG中定位相關(guān)子圖，并推斷用戶的意圖。（She和Chai 2017），系統(tǒng)分三個層次進(jìn)行說明：（1） 概念組合，由描述如何從其組成部分和上下文聚合信息的解析圖片段表示，在不確定的情況下，如何在節(jié)點(diǎn)上做出決策，以及決策的置信水平；（2） 因果和反事實(shí)推理，通過從STC PGs中提取因果圖來實(shí)現(xiàn)，以預(yù)測如果采取了某些替代措施，將會發(fā)生什么；（3）效用解釋，解釋了系統(tǒng)為什么做出某些決策。UCLA正在使用一個通用的表示和推理框架來解決XAI挑戰(zhàn)問題領(lǐng)域。對于數(shù)據(jù)分析，加州大學(xué)洛杉磯分校演示了他們的系統(tǒng)使用的場景理解和事件分析攝像機(jī)網(wǎng)絡(luò)。對于自主性，加州大學(xué)洛杉磯分校在使用機(jī)器人在物理現(xiàn)實(shí)虛擬現(xiàn)實(shí)平臺和自主車輛駕駛游戲中執(zhí)行任務(wù)的場景中演示了它發(fā)動機(jī)。

圖6 XAI計(jì)劃時(shí)間表

深度自適應(yīng)程序的解釋性驗(yàn)收測試俄勒岡州州立大學(xué)（OSU）正在開發(fā)用于解釋執(zhí)行順序決策的學(xué)習(xí)代理的工具，并正在確定設(shè)計(jì)解釋用戶界面的最佳原則。OSU的可解釋agent模型采用可解釋深度自適應(yīng)程序（XDAP），它將自適應(yīng)程序、深度RL和可解釋性相結(jié)合。。對于每個選擇點(diǎn)，deep-RL附加一個經(jīng)過訓(xùn)練的deep-decision神經(jīng)網(wǎng)絡(luò)（dNN），它可以產(chǎn)生高性能，但本質(zhì)上是無法解釋的。
在初始xDAP訓(xùn)練之后，xACT訓(xùn)練每個dNN的解釋神經(jīng)網(wǎng)絡(luò)（7）。它們提供了一組稀疏的解釋特征（x特征），用于編碼dNN決策邏輯的屬性。這種x特征是神經(jīng)網(wǎng)絡(luò)，最初不可由人類解釋。為了解決這個問題，xACT使領(lǐng)域?qū)＜夷軌驅(qū)⒖山忉尩拿枋龈郊拥絰-features，xDAP程序員能夠?qū)Νh(huán)境獎勵類型和其他概念進(jìn)行注釋，這些概念在學(xué)習(xí)過程中作為“注釋概念”自動嵌入到DNN中。DNN決策可以通過對相關(guān)x特征和標(biāo)注概念的描述來解釋，通過神經(jīng)網(wǎng)絡(luò)顯著性可視化工具可以進(jìn)一步理解。OSU正在研究顯著性計(jì)算對解釋順序決策的效用。OSU的解釋用戶界面允許用戶瀏覽數(shù)以千計(jì)的學(xué)習(xí)代理決策，并獲得可視化和自然語言（NL）解釋。它的設(shè)計(jì)是基于信息覓食理論（IFT），它允許用戶在任何時(shí)候有效地深入到最有用的解釋性信息。評估學(xué)習(xí)決策的理由可以更有效地識別代理決策中的缺陷并提高用戶信任。OSU正在解決自治挑戰(zhàn)問題領(lǐng)域，并使用定制的實(shí)時(shí)策略游戲引擎在場景中演示了xACT。試點(diǎn)研究通過描述用戶如何導(dǎo)航AI代理游戲并傾向于解釋游戲決策，為解釋用戶界面設(shè)計(jì)提供了信息（閃避et公司。2018年）。
共同點(diǎn)學(xué)習(xí)和解釋帕洛阿爾托研究中心（PARC）團(tuán)隊(duì)（包括卡內(nèi)基梅隆大學(xué)、陸軍網(wǎng)絡(luò)研究所、愛丁堡大學(xué)和密歇根大學(xué)的研究人員）正在開發(fā)一種交互式感知系統(tǒng)，可以解釋控制模擬無人機(jī)系統(tǒng)的XAI系統(tǒng)的學(xué)習(xí)能力。

圖7 XAI研究團(tuán)隊(duì)

XAI系統(tǒng)的解釋應(yīng)該傳達(dá)它用來做決定的信息，它是否理解事物是如何工作的，以及它的目標(biāo)。為了解決這個問題，帕洛阿爾托研究中心的公共基礎(chǔ)學(xué)習(xí)和解釋（COGLE）及其用戶就解釋中使用的術(shù)語及其含義建立了共同基礎(chǔ)。這是由帕洛阿爾托研究中心的內(nèi)省話語模型實(shí)現(xiàn)的，該模型將學(xué)習(xí)和解釋過程交織在一起。在自然環(huán)境中執(zhí)行任務(wù)對于自治系統(tǒng)來說是一個挑戰(zhàn)，需要經(jīng)驗(yàn)來創(chuàng)造足夠的知識來實(shí)現(xiàn)可靠的高性能。COGLE采用K模型對AI代理的特定領(lǐng)域任務(wù)知識進(jìn)行編碼。K-models將這些知識組織為元素級別，其中較高（較低）級別對具有較長范圍（局部）效果的操作進(jìn)行建模。它們支持基于能力的框架，為XAI系統(tǒng)的學(xué)習(xí)和測試提供信息和指導(dǎo)。COGLE的多層結(jié)構(gòu)將其信息處理劃分為感知、認(rèn)知建模和學(xué)習(xí)。學(xué)習(xí)層使用容量受限的遞歸和分層DNN生成無人機(jī)系統(tǒng)狀態(tài)和動作的抽象和合成，以支持對廣義模式的理解。它結(jié)合所學(xué)的抽象來創(chuàng)建與系統(tǒng)所學(xué)的策略相匹配的分層、透明的策略。認(rèn)知層將人類可用的符號表示連接到抽象、合成和廣義模式。COGLE的解釋界面支持績效審查、風(fēng)險(xiǎn)評估和培訓(xùn)。第一種方法提供了一張地圖，可以追蹤無人機(jī)系統(tǒng)的任務(wù)動作，并將動作或決策（飛行）路徑劃分為可解釋的部分。第二個界面的工具使用戶能夠檢查和評估系統(tǒng)的能力，并對任務(wù)性能進(jìn)行預(yù)測。COGLE將在ArduPilot的軟件在環(huán)模擬器和離散化抽象仿真試驗(yàn)臺上演示。它將由無人機(jī)操作員和分析員進(jìn)行評估?；谀芰Φ脑u估將幫助PARC確定如何最好地開發(fā)適當(dāng)?shù)念I(lǐng)域可理解模型?？山忉審?qiáng)化學(xué)習(xí)卡內(nèi)基梅隆大學(xué)正在創(chuàng)建一門新的可解釋強(qiáng)化學(xué)習(xí)學(xué)科，使動態(tài)的人-機(jī)器交互和適應(yīng)，以實(shí)現(xiàn)最大的團(tuán)隊(duì)績效。這項(xiàng)工作有兩個目標(biāo)：開發(fā)學(xué)習(xí)內(nèi)在可解釋RL策略的新方法，以及開發(fā)能夠解釋現(xiàn)有黑箱策略的策略。對于前者，Carnegie Mellon正在開發(fā)改進(jìn)RL代理模型學(xué)習(xí)的方法，以獲取好處基于模型的方法（在內(nèi)部模型空間中可視化計(jì)劃的能力），同時(shí)集成無模型方法的優(yōu)點(diǎn)（簡單性和更高的最終性能）。這些方法包括在發(fā)現(xiàn)相關(guān)潛在信息后向世界模型增量添加狀態(tài)和動作的方法，通過基于復(fù)雜模型的最優(yōu)控制策略的端到端訓(xùn)練學(xué)習(xí)模型，學(xué)習(xí)直接集成和利用剛體物理的一般DL模型（B）以及使用遞歸架構(gòu)學(xué)習(xí)可理解的預(yù)測狀態(tài)表示和科爾特2017年），（赫夫尼et公司。2018年）?？▋?nèi)基梅隆大學(xué)也在開發(fā)方法，可以解釋黑匣子RL代理的行動和計(jì)劃，觀察在線或從系統(tǒng)日志。這涉及到回答一些問題，例如，為什么代理選擇特定的操作？或者，哪些培訓(xùn)數(shù)據(jù)最有助于做出這種選擇？為了實(shí)現(xiàn)這一點(diǎn)，卡內(nèi)基梅隆開發(fā)了從行為日志生成代理NL描述并檢測異常值或異常的技術(shù)。卡內(nèi)基梅隆大學(xué)還對DL中的傳統(tǒng)影響函數(shù)方法進(jìn)行了改進(jìn)，使其XRL系統(tǒng)能夠精確地識別訓(xùn)練集中對政策結(jié)果影響最大的部分。Carnegie Mellon正在解決自治挑戰(zhàn)問題領(lǐng)域，并已在多個場景中演示了XRL，包括OpenAI健身房、Atari游戲、自動車輛模擬、移動服務(wù)機(jī)器人以及自我改進(jìn)的教育軟件和游戲。

圖8

基于深度注意的解釋表征/可解釋生成對抗網(wǎng)絡(luò)SRI國際的團(tuán)隊(duì)（包括來自多倫多大學(xué)、圭爾夫大學(xué)和加利福尼亞大學(xué)圣地亞哥分校的研究人員）正在開發(fā)一個可解釋的多模態(tài)數(shù)據(jù)分析ML框架，該框架可生成顯示和講述解釋，其中包含決策的理據(jù)，以及用于生成推斷的輸入數(shù)據(jù)的可視化。DARE/X-GANS（deep attention based Representation for ExplanationExplainable generative Antigarial networks）系統(tǒng)采用視覺神經(jīng)科學(xué)注意模型啟發(fā)的DNN結(jié)構(gòu)。作為解釋的一部分，它識別、檢索并向用戶提供證據(jù)。注意機(jī)制為用戶提供了系統(tǒng)探測和協(xié)作的手段。

表1 測量類別

DARE/X-GANS使用生成性對抗網(wǎng)絡(luò)（GANS），通過創(chuàng)建數(shù)據(jù)來學(xué)習(xí)理解數(shù)據(jù)，同時(shí)學(xué)習(xí)具有解釋力的表示。通過使用可解釋的解碼器將無監(jiān)督的簇映射到基于零件的表示上，可以解釋GAN。這涉及到生成視覺證據(jù)，給定文本查詢，使用文本到零件生成（018），零件是可解釋的特征，如人體姿勢或邊界框。然后使用此證據(jù)搜索查詢的可視數(shù)據(jù)。該系統(tǒng)基于從多模態(tài)數(shù)據(jù)輸入和知識庫查詢中提取的視覺概念來解釋其答案。給定解釋性問題，它提供了理由、決策所用的可視化證據(jù)以及系統(tǒng)內(nèi)部工作的可視化。這個顯示和告訴解釋界面確保了高度直觀的解釋，注意模塊可以定位用于每個視覺任務(wù)的證據(jù)。初步研究表明，這樣的解釋大大提高了用戶任務(wù)的性能。SRI正在解決數(shù)據(jù)分析挑戰(zhàn)問題領(lǐng)域，并演示了DARE/X-GANs使用圖像和視頻數(shù)據(jù)集的VQA和多模態(tài)QA任務(wù)。可解釋的問答系統(tǒng)雷神BBN技術(shù)團(tuán)隊(duì)（包括喬治亞理工學(xué)院的研究人員，麻省理工學(xué)院（MIT）和德克薩斯大學(xué)奧斯汀分校（University of Texas，Austin）正在開發(fā)一個系統(tǒng)，該系統(tǒng)可以回答用戶提出的有關(guān)多媒體數(shù)據(jù)的不受限制的NL問題，并提供交互式、可探索性的解釋，解釋為什么它會得出答案?？山忉寙柎鹣到y(tǒng)（EQUAS）學(xué)習(xí)可解釋的DNN模型，其中內(nèi)部結(jié)構(gòu)（例如，單個神經(jīng)元）已與語義概念（例如，輪子和把手）對齊，這允許在決策過程中網(wǎng)絡(luò)內(nèi)的神經(jīng)激活，轉(zhuǎn)換為NL解釋（例如，“此對象是自行車，因?yàn)樗袃蓚€輪子和把手”）。EQUAS還使用神經(jīng)可視化技術(shù)來突出顯示與最影響其決策的神經(jīng)元相關(guān)的輸入?yún)^(qū)域。為了表達(dá)基于案例的解釋，EQUAS保留索引并從支持其選擇的訓(xùn)練數(shù)據(jù)中檢索案例。使用對比語言、可視化和示例識別并排除被拒絕的備選方案。四種解釋模式映射到論點(diǎn)構(gòu)建和互動教學(xué)法的關(guān)鍵要素：說教陳述、可視化、案例和拒絕替代選擇。（周et公司。2015年）。EQUAS解釋界面允許用戶瀏覽由這些解釋模式填充的解釋空間。它支持迭代和引導(dǎo)的協(xié)作交互，允許用戶深入到每個解釋類別的支持證據(jù)。雷神BBN正在解決分析挑戰(zhàn)問題領(lǐng)域，并展示了圖像VQA任務(wù)的初始EQUAS功能，探索不同的解釋模式如何使用戶能夠理解和預(yù)測底層VQA系統(tǒng)的行為。

可處理的概率邏輯模型：德克薩斯大學(xué)達(dá)拉斯分校（UTD）團(tuán)隊(duì)（包括加州大學(xué)洛杉磯分校（UCLA）、德克薩斯農(nóng)工大學(xué)（Texas A&M）和印度理工學(xué)院（德里）正在開發(fā)一種使用可處理概率邏輯模型（TPLMs）的XAI統(tǒng)一方法。TPLMs是一系列表示，包括（例如）決策樹、二元決策圖、割集網(wǎng)絡(luò)、句子決策圖、一階算術(shù)電路和可處理馬爾可夫邏輯（）。UTD系統(tǒng)對TPLMs進(jìn)行擴(kuò)展，生成查詢結(jié)果的解釋；處理連續(xù)變量、復(fù)雜約束和不可見實(shí)體；緊湊地表示復(fù)雜對象，如解析樹、列表和形狀；并能夠高效地表示和推理時(shí)間。對于可伸縮推理，系統(tǒng)使用提升推理、變異推理及其組合等技術(shù)，使用新算法來回答復(fù)雜的解釋查詢。為了快速和提高學(xué)習(xí)精度，它使用判別技術(shù)，導(dǎo)出由NNs和支持向量機(jī)與TPLMs組成的算法，使用可解釋性作為偏差來學(xué)習(xí)更多可解釋模型。然后將這些方法擴(kuò)展到處理實(shí)際情況。--UTD解釋界面顯示具有多個相關(guān)解釋的可解釋表示。它的交互式組件允許用戶調(diào)試模型并提出替代解釋。UTD正在解決分析挑戰(zhàn)問題領(lǐng)域，并展示了其在多模態(tài)數(shù)據(jù)（視頻和文本）中識別人類活動的系統(tǒng)，例如文本注釋的烹飪場景數(shù)據(jù)集。

轉(zhuǎn)變深度學(xué)習(xí)利用淺層知識的可解釋性模型：交互式端到端系統(tǒng)德州農(nóng)工大學(xué)（TAMU）團(tuán)隊(duì)（包括來自華盛頓州立大學(xué)的研究人員）正在開發(fā)一個可解釋DL框架，該框架使用模擬學(xué)習(xí)來利用可解釋的淺層模型，并通過可視化和交互促進(jìn)領(lǐng)域解釋。模擬學(xué)習(xí)彌補(bǔ)了深度模型和淺層模型之間的差距，實(shí)現(xiàn)了可解釋性。該系統(tǒng)還從原始數(shù)據(jù)中挖掘信息模式，以提高可解釋性和學(xué)習(xí)性能。系統(tǒng)的可解釋學(xué)習(xí)算法從DNNs中提取知識進(jìn)行相關(guān)解釋。它的DL模塊通過利用淺層模型的可解釋性連接到模式生成模塊。學(xué)習(xí)系統(tǒng)的輸出以可視化方式顯示給用戶，包括協(xié)調(diào)和集成視圖。TAMU系統(tǒng)處理圖像（和文本）（Gdata）并應(yīng)用于XAI analytics challenge problem（XAI分析挑戰(zhàn)問題）領(lǐng)域。它提供了對來自不同來源的檢測不準(zhǔn)確的有效解釋，同時(shí)保持有競爭力的檢測性能。TAMU系統(tǒng)結(jié)合了模型級（即模型透明度）和實(shí)例級（即實(shí)例解釋）的可解釋性，以生成用戶更容易理解的說明。該系統(tǒng)已部署在多個任務(wù)上，使用來自Twitter、Facebook、ImageNet、CIFAR-10、在線醫(yī)療論壇和新聞網(wǎng)站的數(shù)據(jù)。杜邦et公司。2018年）aoet公司。2017年）

模型解釋人羅格斯大學(xué)正在擴(kuò)展貝葉斯教學(xué)，通過選擇數(shù)據(jù)實(shí)現(xiàn)自動解釋最能代表模型推理的子集。羅格斯的方法允許解釋任何概率生成和判別模型的推論，以及有影響力的DL模型（7）。羅格斯大學(xué)還開發(fā)了一種人機(jī)合作的形式化理論，并支持復(fù)雜成分模型的交互式指導(dǎo)解釋。其中一個共同點(diǎn)是從人類學(xué)習(xí)模型構(gòu)建可解釋性的核心方法，以及精心控制的行為實(shí)驗(yàn)來量化可解釋性的核心方法。通過貝葉斯教學(xué)輸入數(shù)據(jù)集、概率模型和推理方法，并返回最能解釋模型推理的示例子集。對不熟悉圖像的實(shí)驗(yàn)表明，對（和特定）圖像類別的推理解釋提高了人們對模型推理的準(zhǔn)確性。對熟悉圖像類別的實(shí)驗(yàn)表明，解釋允許用戶準(zhǔn)確校準(zhǔn)模型預(yù)測的可信度。（Vong等人。2018年）。通過交互式引導(dǎo)解釋，可以方便地解釋復(fù)雜模型。通過利用ML模型的組合性和協(xié)作修改，Rutgers提供了一種通過引導(dǎo)探索來促進(jìn)理解的通用方法。交互通過一個接口發(fā)生，該接口公開模型結(jié)構(gòu)并用數(shù)據(jù)的各個方面解釋每個組件。羅格斯方法已被證明有助于理解大型文本語料庫，這取決于一個人在簡短的引導(dǎo)性解釋之后準(zhǔn)確總結(jié)語料庫的能力。

結(jié)論和今后的工作

DARPA的XAI項(xiàng)目正在開發(fā)和評估各種新的ML技術(shù)：學(xué)習(xí)可解釋特性的改進(jìn)DL技術(shù)；學(xué)習(xí)更多結(jié)構(gòu)化、可解釋的因果模型的方法；以及從任何黑箱模型中推斷出可解釋模型的模型歸納技術(shù)。XAI項(xiàng)目實(shí)施一年后，最初的技術(shù)演示和結(jié)果表明，這三種廣泛的策略值得進(jìn)一步研究，并將為未來的開發(fā)人員提供涵蓋性能和可解釋性交易空間的設(shè)計(jì)選項(xiàng)。開發(fā)團(tuán)隊(duì)的XAI系統(tǒng)正在被評估，以評估他們所提供的解釋的價(jià)值，在這個交易空間中定位特定技術(shù)的貢獻(xiàn)。

審核編輯 ：李倩