0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何讓人工智能擺脫算法偏見

ThunderSoft中科創(chuàng)達(dá) ? 來源:未知 ? 作者:胡薇 ? 2018-11-15 14:57 ? 次閱讀

人們都曾看過電影里機(jī)器控制了世界而人類被毀滅的場(chǎng)景。好在這些電影只是娛樂性的,現(xiàn)實(shí)世界是不會(huì)發(fā)生的。然而一個(gè)更應(yīng)該關(guān)注的問題是:算法偏見。

1

什么是“算法偏見”

所謂“算法偏見”是指在看似沒有惡意的程序設(shè)計(jì)中帶著設(shè)計(jì)者的偏見,或者所采用的數(shù)據(jù)是帶有偏見的。結(jié)果當(dāng)然是帶來了各種問題,例如,被曲解的谷歌搜索,合格的考生無(wú)法進(jìn)入醫(yī)學(xué)院就學(xué),聊天機(jī)器人在推特上散布種族主義和性別歧視信息等。

算法偏見造成的最棘手的問題是,從事編程工程師即使主觀上沒有種族主義、性別、年齡歧視等傾向,也有可能造成偏見。

人工智能AI,Artificial Intelligence)本質(zhì)上就是為了自學(xué)而設(shè)計(jì)的,有時(shí)它的確會(huì)出錯(cuò)。當(dāng)然,人們可以在事后做出調(diào)整,但最好的解決辦法是一開始就防止它發(fā)生。

具有諷刺意味的是人工智能最令人興奮的可能性之一就是能夠搭建一個(gè)沒有人類偏見的世界。比如當(dāng)涉及到招聘時(shí),一種算法可以讓男性和女性在申請(qǐng)同一份工作時(shí)獲得平等的待遇,或者在警務(wù)工作中避免種族偏見的發(fā)生。

不管人們是否意識(shí)到,人類創(chuàng)造的機(jī)器確實(shí)反映了人們?cè)鯓邮强创澜绲模虼艘矔?huì)有類似的刻板印象和世界觀。由于人工智能越來越深入到生活中,人類必須重視它。

2

算法偏見的分類

人工智能面臨的另外一個(gè)挑戰(zhàn)是,偏見不是以一種形式出現(xiàn)的,而是有各種類型的。這包括交互偏見、潛意識(shí)偏見、選擇偏見、數(shù)據(jù)驅(qū)動(dòng)的偏見和確認(rèn)偏見。

“交互偏見”是指用戶由于自己與算法的交互方式而使算法產(chǎn)生的偏見。當(dāng)機(jī)器被設(shè)置向周圍環(huán)境學(xué)習(xí)時(shí),它們不能決定要保留或者丟棄哪些數(shù)據(jù),什么是對(duì)的,什么是錯(cuò)的。

相反,它們只能使用提供給它們的數(shù)據(jù)——不論是好的、壞的,還是丑的,并在此基礎(chǔ)上做出決策。前面提到的聊天機(jī)器人Tay便是這類偏見的一個(gè)例子。它是受到一個(gè)網(wǎng)絡(luò)聊天社區(qū)的影響而變得偏種族主義了。

“潛意識(shí)偏見”是指算法錯(cuò)誤地把觀念與種族和性別等因素聯(lián)系起來。例如,當(dāng)搜索一名醫(yī)生的圖像時(shí),人工智能會(huì)把男性醫(yī)生的圖像呈現(xiàn)給一名女性,或者在搜索護(hù)士時(shí)反過來操作。

“選擇偏見”是指用于訓(xùn)練算法的數(shù)據(jù)被傾向性地用于表示一個(gè)群體或者分組,從而使該算法對(duì)這些群體有利,而代價(jià)是犧牲其他群體。以招聘為例,如果人工智能被訓(xùn)練成只識(shí)別男性的簡(jiǎn)歷,那么女性求職者在申請(qǐng)過程中就很難成功。

“數(shù)據(jù)驅(qū)動(dòng)的偏見”是指用來訓(xùn)練算法的原始數(shù)據(jù)已經(jīng)存在偏見了。機(jī)器就像孩子一樣:他們不會(huì)質(zhì)疑所給出的數(shù)據(jù),而只是尋找其中的模式。如果數(shù)據(jù)在一開始就被曲解,那么其輸出的結(jié)果也將反映出這一點(diǎn)。

最后一類是“確認(rèn)偏見”,這類似于數(shù)據(jù)驅(qū)動(dòng)的偏見,偏向于那些先入為主的信息。它影響人們?cè)鯓邮占畔?,以及人們?cè)鯓咏庾x信息。例如,如果自己覺得8月份出生的人比其他時(shí)候出生的更富有創(chuàng)造性,那就會(huì)偏向于尋找強(qiáng)化這種想法的數(shù)據(jù)。

3

算法偏見并不可怕

當(dāng)我們了解到這么多偏見的例子滲入到人工智能系統(tǒng)時(shí),似乎會(huì)引起我們的擔(dān)憂。但重要的是要認(rèn)清事實(shí),記住這個(gè)世界本身就是有偏見的,因此,在某些情況下,人們對(duì)從人工智能中得到的結(jié)果并不奇怪。

然而,并不應(yīng)該如此,人們需要一個(gè)對(duì)人工智能算法和系統(tǒng)進(jìn)行測(cè)試和驗(yàn)證的過程,以便在開發(fā)期間和部署之前及早發(fā)現(xiàn)偏見。

與人類不同,算法不能撒謊,因此,如果結(jié)果是有偏見的,那一定有原因:和它得到的數(shù)據(jù)有關(guān)。

人類可以撒謊去解釋不雇傭某人的原因,但人工智能不能。而采用算法,就有可能知道什么時(shí)候會(huì)出現(xiàn)偏見,并對(duì)其進(jìn)行調(diào)整,以便將來能克服這些問題。

人工智能會(huì)學(xué)習(xí),也會(huì)犯錯(cuò)。通常情況下,只有在實(shí)際環(huán)境中使用算法后才能發(fā)現(xiàn)任何內(nèi)在的偏見,因?yàn)檫@些偏見在實(shí)踐中被放大了。

不應(yīng)把算法看成是一種威脅,而是解決任何偏見問題的好機(jī)會(huì),并能在必要的時(shí)候加以糾正。

可以通過開發(fā)系統(tǒng)來發(fā)現(xiàn)有偏見的決策,并及時(shí)采取措施。與人類相比,人工智能特別適合采用貝葉斯(Bayesian)方法來確定某種假設(shè)的概率,從而消除所有人類偏見的可能性。這比較復(fù)雜,但是可行的,特別是考慮到人工智能的重要性(在以后幾年里只會(huì)越來越重要)。

隨著人工智能系統(tǒng)的建立和部署,非常重要的一點(diǎn)是必須理解它們是怎樣工作的,只有這樣才能通過設(shè)計(jì)讓它們具有意識(shí),避免將來出現(xiàn)偏見問題。

不要忘記,盡管人工智能發(fā)展非常迅速,但仍處于起步階段,還有很多值得學(xué)習(xí)和改進(jìn)的地方。這種調(diào)整會(huì)持續(xù)一段時(shí)間,在此期間,人工智能會(huì)變得更聰明,將有越來越多的方法來克服偏見等問題。

技術(shù)行業(yè)總是在質(zhì)疑機(jī)器是怎樣工作的,為什么這樣工作。雖然大部分人工智能是在黑盒中運(yùn)作的,決策過程是隱藏的,但人工智能的透明度是建立信任和避免誤解的關(guān)鍵。

4

消除偏見的策略

目前有很多研究都在進(jìn)行幫助鑒別偏見的產(chǎn)生,例如Fraunhofer Heinrich Hertz研究所開展的工作。他們正在研究識(shí)別不同類型的偏見,例如前面提到的偏見,還有一些更“低級(jí)”的偏見,以及人工智能訓(xùn)練和發(fā)展過程中可能出現(xiàn)的問題。

另外還需要考慮的是無(wú)監(jiān)督訓(xùn)練。目前大多數(shù)人工智能模型是通過有監(jiān)督訓(xùn)練生成的,采集的是明顯帶有人類選擇的標(biāo)簽數(shù)據(jù)。

而對(duì)于無(wú)監(jiān)督訓(xùn)練,使用不具任何標(biāo)簽的數(shù)據(jù),算法必須要通過自己對(duì)數(shù)據(jù)進(jìn)行分類、識(shí)別和匯集。

雖然這種方法通常比有監(jiān)督學(xué)習(xí)慢很多數(shù)量級(jí),但這種方法限制了人的參與。

因此,能夠消除任何有意識(shí)或者無(wú)意識(shí)的人為偏見,從而避免對(duì)數(shù)據(jù)產(chǎn)生影響。

在底層也有很多事情可以改進(jìn)。在開發(fā)新產(chǎn)品、網(wǎng)站或者功能時(shí),技術(shù)公司需要各方面的人員。

多樣性會(huì)給算法提供各種各樣的數(shù)據(jù),而這些數(shù)據(jù)也是有偏見的。如果能有一些人去分析輸出結(jié)果,那么發(fā)現(xiàn)偏見的可能性會(huì)更高。

此外,還可以發(fā)揮算法審計(jì)的作用。2016年,卡耐基梅隆研究小組在網(wǎng)絡(luò)招聘廣告中發(fā)現(xiàn)了算法偏見。

當(dāng)他們列出了在網(wǎng)上尋找工作的人員后,谷歌廣告顯示,男性在高收入工作中所占比例是女性的近六倍。該小組的結(jié)論是,進(jìn)行內(nèi)部審計(jì)將有助于減少這類偏見。

總之,機(jī)器偏見來自人的偏見。人工智能的偏見有多種方式的表現(xiàn),但實(shí)際上,它只有一個(gè)來源:人類自己。

處理這一問題的關(guān)鍵在于技術(shù)公司、工程師和開發(fā)人員,他們都應(yīng)該采取有效的措施來防止無(wú)意中創(chuàng)建一種帶有偏見的算法。通過進(jìn)行算法審計(jì)并始終保持透明度,就有信心讓人工智能算法遠(yuǎn)離偏見。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)器人
    +關(guān)注

    關(guān)注

    210

    文章

    28007

    瀏覽量

    205579
  • 人工智能
    +關(guān)注

    關(guān)注

    1789

    文章

    46375

    瀏覽量

    236578

原文標(biāo)題:行業(yè) | 讓人工智能擺脫偏見

文章出處:【微信號(hào):THundersoft,微信公眾號(hào):ThunderSoft中科創(chuàng)達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第6章人AI與能源科學(xué)讀后感

    了電力的實(shí)時(shí)平衡和優(yōu)化,有效降低了電網(wǎng)的運(yùn)行成本和故障率。 此外,書中還討論了人工智能在能源科學(xué)研究中的挑戰(zhàn)和機(jī)遇。這些挑戰(zhàn)包括數(shù)據(jù)質(zhì)量、算法優(yōu)化、隱私保護(hù)等方面,而機(jī)遇則體現(xiàn)在技術(shù)創(chuàng)新、產(chǎn)業(yè)升級(jí)
    發(fā)表于 10-14 09:27

    AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第4章-AI與生命科學(xué)讀后感

    很幸運(yùn)社區(qū)給我一個(gè)閱讀此書的機(jī)會(huì),感謝平臺(tái)。 《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第4章關(guān)于AI與生命科學(xué)的部分,為我們揭示了人工智能技術(shù)在生命科學(xué)領(lǐng)域中的廣泛應(yīng)用和深遠(yuǎn)影響。在
    發(fā)表于 10-14 09:21

    《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第二章AI for Science的技術(shù)支撐學(xué)習(xí)心得

    非常高興本周末收到一本新書,也非常感謝平臺(tái)提供閱讀機(jī)會(huì)。 這是一本挺好的書,包裝精美,內(nèi)容詳實(shí),干活滿滿。 關(guān)于《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第二章“AI
    發(fā)表于 10-14 09:16

    《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第一章人工智能驅(qū)動(dòng)的科學(xué)創(chuàng)新學(xué)習(xí)心得

    ,還促進(jìn)了新理論、新技術(shù)的誕生。 3. 挑戰(zhàn)與機(jī)遇并存 盡管人工智能為科學(xué)創(chuàng)新帶來了巨大潛力,但第一章也誠(chéng)實(shí)地討論了伴隨而來的挑戰(zhàn)。數(shù)據(jù)隱私、算法偏見、倫理道德等問題不容忽視。如何在利用AI提升科研效率
    發(fā)表于 10-14 09:12

    risc-v在人工智能圖像處理應(yīng)用前景分析

    RISC-V在人工智能圖像處理領(lǐng)域的應(yīng)用前景十分廣闊,這主要得益于其開源性、靈活性和低功耗等特點(diǎn)。以下是對(duì)RISC-V在人工智能圖像處理應(yīng)用前景的詳細(xì)分析: 一、RISC-V的基本特點(diǎn) RISC-V
    發(fā)表于 09-28 11:00

    人工智能ai4s試讀申請(qǐng)

    目前人工智能在繪畫對(duì)話等大模型領(lǐng)域應(yīng)用廣闊,ai4s也是方興未艾。但是如何有效利用ai4s工具助力科研是個(gè)需要研究的課題,本書對(duì)ai4s基本原理和原則,方法進(jìn)行描訴,有利于總結(jié)經(jīng)驗(yàn),擬按照要求準(zhǔn)備相關(guān)體會(huì)材料??茨芊裼兄谌腴T和提高ss
    發(fā)表于 09-09 15:36

    名單公布!【書籍評(píng)測(cè)活動(dòng)NO.44】AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新

    大力發(fā)展AI for Science的原因。 第2章從科學(xué)研究底層的理論模式與主要困境,以及人工智能三要素(數(shù)據(jù)、算法、算力)出發(fā),對(duì)AI for Science的技術(shù)支撐進(jìn)行解讀。 第3章介紹了在
    發(fā)表于 09-09 13:54

    報(bào)名開啟!深圳(國(guó)際)通用人工智能大會(huì)將啟幕,國(guó)內(nèi)外大咖齊聚話AI

    8月28日至30日,2024深圳(國(guó)際)通用人工智能大會(huì)暨深圳(國(guó)際)通用人工智能產(chǎn)業(yè)博覽會(huì)將在深圳國(guó)際會(huì)展中心(寶安)舉辦。大會(huì)以“魅力AI·無(wú)限未來”為主題,致力于打造全球通用人工智能領(lǐng)域集產(chǎn)品
    發(fā)表于 08-22 15:00

    FPGA在人工智能中的應(yīng)用有哪些?

    FPGA(現(xiàn)場(chǎng)可編程門陣列)在人工智能領(lǐng)域的應(yīng)用非常廣泛,主要體現(xiàn)在以下幾個(gè)方面: 一、深度學(xué)習(xí)加速 訓(xùn)練和推理過程加速:FPGA可以用來加速深度學(xué)習(xí)的訓(xùn)練和推理過程。由于其高并行性和低延遲特性
    發(fā)表于 07-29 17:05

    5G智能物聯(lián)網(wǎng)課程之Aidlux下人工智能開發(fā)(SC171開發(fā)套件V2)

    5G智能物聯(lián)網(wǎng)課程之Aidlux下人工智能開發(fā)(SC171開發(fā)套件V2) 課程類別 課程名稱 視頻課程時(shí)長(zhǎng) 視頻課程鏈接 課件鏈接 人工智能 參賽基礎(chǔ)知識(shí)指引 14分50秒 https
    發(fā)表于 05-10 16:46

    5G智能物聯(lián)網(wǎng)課程之Aidlux下人工智能開發(fā)(SC171開發(fā)套件V1)

    課程類別 課程名稱 視頻課程時(shí)長(zhǎng) 視頻課程鏈接 課件鏈接 人工智能 參賽基礎(chǔ)知識(shí)指引 14分50秒 https://t.elecfans.com/v/25508.html *附件:參賽基礎(chǔ)知識(shí)指引
    發(fā)表于 04-01 10:40

    嵌入式人工智能的就業(yè)方向有哪些?

    嵌入式人工智能的就業(yè)方向有哪些? 在新一輪科技革命與產(chǎn)業(yè)變革的時(shí)代背景下,嵌入式人工智能成為國(guó)家新型基礎(chǔ)建設(shè)與傳統(tǒng)產(chǎn)業(yè)升級(jí)的核心驅(qū)動(dòng)力。同時(shí)在此背景驅(qū)動(dòng)下,眾多名企也紛紛在嵌入式人工智能領(lǐng)域布局
    發(fā)表于 02-26 10:17

    基于人工智能算法的推薦系統(tǒng)原理及優(yōu)勢(shì)

    推薦系統(tǒng)是一種人工智能人工智能算法,通常與機(jī)器學(xué)習(xí)相關(guān),使用大數(shù)據(jù)向消費(fèi)者建議或推薦其他產(chǎn)品。這些推薦可以基于各種標(biāo)準(zhǔn),包括過去的購(gòu)買、搜索歷史記錄、人口統(tǒng)計(jì)信息和其他因素。推薦系統(tǒng)非常有用,因?yàn)樗鼈兛梢詭椭脩袅私庾约簾o(wú)法自行找到的產(chǎn)品和服務(wù)。
    發(fā)表于 11-20 11:40 ?2178次閱讀
    基于<b class='flag-5'>人工智能算法</b>的推薦系統(tǒng)原理及優(yōu)勢(shì)

    人工智能大模型、應(yīng)用場(chǎng)景、應(yīng)用部署教程超詳細(xì)資料

    人工智能是IC行業(yè)近幾年的熱詞,目前此技術(shù)已經(jīng)有很多成熟的模型和落地案例。在此跟大家做個(gè)分享,更多詳細(xì)資料,請(qǐng)自行搜索:【展銳坦克邦】,坦克邦-智算天地集算法模型、部署說明于一體,為廣大客戶提供了
    發(fā)表于 11-13 14:49

    如何使單片機(jī)與無(wú)線供電結(jié)合,從而使人工智能脫離電池和線路?

    如何使單片機(jī)與無(wú)線供電結(jié)合,從而使人工智能脫離電池和線路
    發(fā)表于 10-31 06:34