人工智能的算法黑箱與大數(shù)據(jù)的正義

人工智能的算法依賴于大數(shù)據(jù)，而大數(shù)據(jù)并非中立。它們從真實社會中抽取，必然帶有社會固有的不平等、排斥性和歧視的痕跡。

一個月前，《終極算法》作者、人工智能著名學(xué)者、華盛頓大學(xué)教授 Pedro Domingos 在社交網(wǎng)絡(luò)中寫道：“自 5 月 25 日起，歐盟將會要求所有算法解釋其輸出原理，這意味著深度學(xué)習(xí)成為非法的方式。”一石激起千層浪。人們不禁要問：歐盟為何出臺這個法規(guī)？以深度學(xué)習(xí)為核心的人工智能真的會遭遇重大挫折嗎？中國應(yīng)當(dāng)借鑒并仿效嗎？

利用人工智能的自動化決定

盡管真正擁有知覺和自我意識的“強人工智能”仍屬幻想，但專注于特定功能的“弱人工智能”早如雨后春筍般涌現(xiàn)。在萬物互聯(lián)的背景下，以云計算為用，以個人數(shù)據(jù)為體，以機器學(xué)習(xí)為魂的智能應(yīng)用已經(jīng)“潤物細(xì)無聲”。

從今日頭條的個性化推送到螞蟻金服的芝麻信用評分，從京東的“奶爸當(dāng)家指數(shù)”到某旅游網(wǎng)站用大數(shù)據(jù)“殺熟”，個人信息自動化分析深嵌入到我們?nèi)粘Ｉ钪?。在法律上，我們稱之為“基于個人信息的自動化決定”。簡單來說，就是通過自動化的數(shù)據(jù)處理，評估、分析及預(yù)測個人的工作表現(xiàn)、經(jīng)濟狀況、位置、健康狀況、個人偏好、可信賴度或者行為表現(xiàn)，進而利用這種“數(shù)據(jù)畫像”（profiling），在不同的業(yè)務(wù)場景中做出有關(guān)數(shù)據(jù)主體的各項決定。

人工智能的自動化決定一方面可以給我們帶來便利，比如智能投顧或智能醫(yī)療；但另一方面，它絕非完美無缺，它不僅可能出錯，甚至還可能存在“惡意”。

美國馬薩諸塞州的居民John Gass便深受其害。聯(lián)邦調(diào)查局的反恐識別系統(tǒng)將他誤認(rèn)為是另一位司機，并吊銷了他的駕駛執(zhí)照，于是，他不得不費時費力，讓當(dāng)局相信他不是那名司機。其實，John Cass已經(jīng)非常幸運。在美國，每周超過1000人被機場使用的算法錯誤地標(biāo)記為***。一名美國航空公司的飛行員在一年中被拘留了80次，因為他的名字與愛爾蘭共和軍領(lǐng)導(dǎo)人的名字相似。這還不算是最糟糕的。

人工智能的算法依賴于大數(shù)據(jù)，而大數(shù)據(jù)并非中立。它們從真實社會中抽取，必然帶有社會固有的不平等、排斥性和歧視的痕跡。例如，為了在Twitter上與千禧一代進行對話，微軟開發(fā)了Tay聊天機器人，它旨在學(xué)習(xí)如何通過復(fù)制網(wǎng)民的語音來模仿他人?？蓛H僅在試用24小時后，它就被引入歧途，成為支持種族滅絕的反女權(quán)主義的納粹分子，以至于發(fā)出了“希特勒無罪”的消息。更有甚者，美國法院用以評估犯罪風(fēng)險的算法COMPAS，亦被證明對黑人造成了系統(tǒng)性歧視。

無論是程序錯誤，還是算法歧視，在人工智能的前沿領(lǐng)域——深度學(xué)習(xí)中，都變得難以識別。

華盛頓特區(qū)的Sarah Wysocki是一位被普遍認(rèn)可的老師，但當(dāng)2009年政府用一個自動化決定程序來評價教師表現(xiàn)時，她和其他205人因得分不佳被解雇。據(jù)稱，該決定以少數(shù)學(xué)生的成績?yōu)橐罁?jù)，可學(xué)校始終無法解釋為何優(yōu)秀教師會落得如此下場。

華盛頓學(xué)校的難題有著深層次原因。與傳統(tǒng)機器學(xué)習(xí)不同，深度學(xué)習(xí)并不遵循數(shù)據(jù)輸入、特征提取、特征選擇、邏輯推理、預(yù)測的過程，而是由計算機直接從事物原始特征出發(fā)，自動學(xué)習(xí)和生成高級的認(rèn)知結(jié)果。

在人工智能輸入的數(shù)據(jù)和其輸出的答案之間，存在著我們無法洞悉的“隱層”，它被稱為“黑箱”（black box）。這里的“黑箱”并不只意味著不能觀察，還意味著即使計算機試圖向我們解釋，我們也無法理解。哥倫比亞大學(xué)的機器人學(xué)家 Hod Lipson把這一困境形象地描述為“這就像是向一條狗解釋莎士比亞是誰。”

《統(tǒng)一數(shù)據(jù)保護條例》的應(yīng)對

正是因為人工智能的自動化決定對個人權(quán)利的重大影響，將于2018年5月25日生效的歐盟《統(tǒng)一數(shù)據(jù)保護條例》（GDRR）在1995年《數(shù)據(jù)保護指令》（Directive 95/46/EC）的基礎(chǔ)上，進一步強化了對自然人數(shù)據(jù)的保護。

首先，尊重個人的選擇權(quán)。當(dāng)自動化決定將對個人產(chǎn)生法律上的后果或類似效果時，除非當(dāng)事人明確同意，或者對于當(dāng)事人間合同的達(dá)成和履行來說必不可少，否則，個人均有權(quán)不受相關(guān)決定的限制。

其次，將個人敏感數(shù)據(jù)排除在人工智能的自動化決定之外。根據(jù)《統(tǒng)一數(shù)據(jù)保護條例》第9（1）條，“敏感數(shù)據(jù)”即有關(guān)種族、政治傾向、宗教信仰、健康、性生活、性取向的數(shù)據(jù)，或者可唯一性識別自然人的基因數(shù)據(jù)、生物數(shù)據(jù)。由于這些數(shù)據(jù)一旦遭到泄露、修改或不當(dāng)利用，就會對個人造成不良影響，因此，歐盟一律禁止自動化處理，即使當(dāng)事人同意亦是如是，只有在明確的法律規(guī)定時才存在例外。

再次，增加數(shù)據(jù)使用者在個人數(shù)據(jù)收集時的透明度。根據(jù)《統(tǒng)一數(shù)據(jù)保護條例》第13條（f）和第14條（g），如果個人數(shù)據(jù)將用于自動化決定，那么至少應(yīng)當(dāng)向個人提供相關(guān)決定的重要性、對個人預(yù)期的影響以及有關(guān)運算邏輯的“有用信息”。

比如，在銀行收集個人數(shù)據(jù)時，應(yīng)當(dāng)告知其可能使用人工智能對貸款人資質(zhì)進行審核，而審核的最壞結(jié)果（如不批貸）也應(yīng)一并披露。此外，由于我們都不是技術(shù)專家，因此，這里的“有用信息”不但應(yīng)淺顯易懂，為每個人理解，而且要有助于每個人主張自己在《統(tǒng)一數(shù)據(jù)保護條例》或其他法律下的權(quán)利。還是以貸款審核為例，當(dāng)我們覺得被不公正對待時，銀行提供的信息就應(yīng)當(dāng)成為法院審理的重要依據(jù)。

最后，如果個人對自動化決定不滿，則有權(quán)主張人工介入，以表達(dá)自己的觀點并提出質(zhì)疑。這一規(guī)定和上述透明度要求相結(jié)合，產(chǎn)生了針對人工智能的所謂“解釋權(quán)”，而這正是Pedro Domingos的擔(dān)憂所在?？紤]到算法黑箱，深度學(xué)習(xí)的合法化似乎是個無解的問題。

但事實上，這可能是個誤解。一方面，“有用信息”的提供是在收集數(shù)據(jù)之時，而非做出自動化決定之后，其意味著個人僅僅概括地了解系統(tǒng)的一般原則即可，并不需要徹底把握某項具體決定的邏輯；另一方面，法律所看重的是“可理解”（explainable），而不是“可闡釋（interpretable）。換言之，它不關(guān)注人工智能內(nèi)部究竟如何運作，而只關(guān)心輸入數(shù)據(jù)和輸出結(jié)果的關(guān)聯(lián)關(guān)系。

在加州大學(xué)伯克利分校發(fā)布的《人工智能的系統(tǒng)挑戰(zhàn)：一個伯克利的觀點》（A Berkeley View of Systems Challenges for AI）中，這種關(guān)聯(lián)性被稱“反事實問題”測試。在個人被拒絕貸款的例子中，人工智能系統(tǒng)必須能否回答如果諸如“我不是女性，是不是就能批貸？”“如果我不是小企業(yè)主，是不是就能批貸”這樣的問題。因而數(shù)據(jù)使用者有義務(wù)建構(gòu)出一套具有交互診斷分析能力的系統(tǒng)，通過檢視輸入數(shù)據(jù)和重現(xiàn)執(zhí)行過程，來化解人們的質(zhì)疑。這才是“人工介入”的真實含義。

將數(shù)據(jù)正義引入中國

數(shù)據(jù)是數(shù)字經(jīng)濟的關(guān)鍵生產(chǎn)要素，人工智能是數(shù)字經(jīng)濟的關(guān)鍵產(chǎn)業(yè)支柱。如何在發(fā)掘數(shù)據(jù)的經(jīng)濟價值、發(fā)展人工智能的同時，保障個人的權(quán)利和自由，依然是數(shù)字社會的未解難題。

當(dāng)前，我國尚無《個人信息保護法》，在不久前出臺的《個人信息安全規(guī)范》中，第7.10條“約束信息系統(tǒng)自動決策”也只是賦予了個人提出申請的程序性權(quán)利，并不涉及實質(zhì)約束。

無獨有偶，中國電子技術(shù)標(biāo)準(zhǔn)化研究院發(fā)布的《人工智能標(biāo)準(zhǔn)化白皮書》雖然已關(guān)注到人工智能的倫理和隱私問題，但著墨不多，因過于原則而難以實施。就此而言，《統(tǒng)一數(shù)據(jù)保護條例》可成為我國可資借鑒的他山之石。它不僅僅提供了一系列具象的法律規(guī)則，更重要的是它在“數(shù)據(jù)效率”之外，傳遞出“數(shù)據(jù)正義”（data justice）的理念。

盡管作為一個發(fā)展中的理念，數(shù)據(jù)正義的含義遠(yuǎn)未定型，但“反數(shù)據(jù)歧視”和“數(shù)據(jù)透明”必然是題中之意。在數(shù)字化生存的今天，不管是“社會人”還是“經(jīng)濟人”，都首先是“數(shù)字人”。

現(xiàn)實空間的我們被數(shù)據(jù)所記載、所表達(dá)、所模擬、所處理、所預(yù)測，現(xiàn)實空間的歧視也是如此。從求職歧視到消費歧視和司法歧視，數(shù)據(jù)歧視前所未有地制度化和系統(tǒng)化。基于此，法律首先要做的就是規(guī)定更加小心和負(fù)責(zé)地收集、使用、共享可能導(dǎo)致歧視的任何敏感數(shù)據(jù),可這顯然不夠。

從大數(shù)據(jù)的相關(guān)性原理出發(fā)，只是將敏感數(shù)據(jù)簡單排除并不能保證它們不被考慮。例如，若特定區(qū)域的人有著大量的低收入群體或少數(shù)族裔，那么區(qū)域的地理數(shù)據(jù)就可以代替收入或種族數(shù)據(jù)，用作歧視工具。所以，要識別和挑戰(zhàn)數(shù)據(jù)應(yīng)用中的歧視和偏見，“數(shù)據(jù)透明”就不可或缺。換言之，它要求在數(shù)據(jù)生產(chǎn)和處理日趨復(fù)雜的形勢下，增強個人的知情權(quán)，從而修復(fù)信息的對稱性。

凱文·凱利

關(guān)于這一點，凱文?凱利所講的老婆婆故事是一個絕佳的例子。在故事里，你住在一個小城鎮(zhèn)，你的鄰居老婆婆知道你的一切動向和行蹤，但你可能不會覺得被冒犯，因為你不在家的時候，老婆婆會幫你看家；更重要的是，你了解關(guān)于老婆婆的一切。