0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

第二屆大會回顧第9期 | 從操作系統(tǒng)視角看大模型數(shù)據(jù)安全挑戰(zhàn)

OpenHarmony TSC ? 來源:OpenHarmony TSC ? 作者:OpenHarmony TSC ? 2024-02-22 10:36 ? 次閱讀

演講嘉賓 | 李 屹

回顧整理 | 廖 濤

排版校對 | 李萍萍

694d393e-bbe4-11ee-9b10-92fbcf53809c.png

嘉賓介紹

OS安全分論壇

李屹,華為OS內(nèi)核實驗室安全技術專家與助理科學家。主要研究領域包括操作系統(tǒng)安全、軟件形式化證明、超低時延軟件建模與開發(fā)等。目前主要參與的工作包括:自研自動形式化證明平臺(支撐鴻蒙內(nèi)核獲得CC EAL 6+高等級安全認證)、基于操作系統(tǒng)內(nèi)核層面構(gòu)建的數(shù)據(jù)安全底座等。

視頻回顧

打開嗶哩嗶哩APP,觀看更清晰視頻

正文內(nèi)容

大模型已成為當下AI產(chǎn)業(yè)最大熱點,業(yè)界也正在積極探索大模型的應用場景。然而,大模型背后依賴的是海量的訓練數(shù)據(jù)與交互數(shù)據(jù),人工智能的黑盒機制導致大模型在實踐中不可避免地存在敏感數(shù)據(jù)的安全挑戰(zhàn)。如何從操作系統(tǒng)視角應對大模型應用中的數(shù)據(jù)安全挑戰(zhàn)?華為OS內(nèi)核安全專家、副首席科學家李屹在第二屆OpenHarmony技術大會上進行了精彩分享。

69627cae-bbe4-11ee-9b10-92fbcf53809c.png

圖像模型、大語言模型、多模態(tài)模型等大模型在研發(fā)的各階段為我們帶來巨大的生產(chǎn)力提升,例如:(1)協(xié)助編碼:代碼補全、知識檢索、測試用例生成;(2) 文檔寫作:語言翻譯、文檔潤色、文稿寫作;(3)數(shù)據(jù)處理:自動分析、數(shù)據(jù)制圖;(4)智能助手:Rewind、ChatGPT Mobile App。大模型的核心能力是數(shù)據(jù)的理解與處理,因此它所獲取的用戶數(shù)據(jù)越多,能為使用者提供的幫助也就越多,其帶來的便利,本質(zhì)上也是“對于數(shù)據(jù)的深度理解和處理”。然而,當用戶深度使用大模型或者越來越依賴大模型能力時,隨著大模型自身能力的增強,用戶數(shù)據(jù)濫用的危害就越大。

696a8eda-bbe4-11ee-9b10-92fbcf53809c.png

因此,保障數(shù)據(jù)安全是我們放心使用大模型應用的必要前提。從被保護對象的角度出發(fā),大模型數(shù)據(jù)安全挑戰(zhàn)主要有以下兩個方面:

保護用戶數(shù)據(jù)不被濫用。要求用戶數(shù)據(jù)的獲取和使用應當符合用戶的授權;模型自身無法濫用用戶數(shù)據(jù);惡意攻擊者無法通過攻擊大模型應用來獲取其中的用戶數(shù)據(jù)。

保護模型資產(chǎn)免受攻擊。要求模型資產(chǎn)的獲取和使用應當符合模型開發(fā)者的授權;惡意使用者無法通過攻擊大模型應用來獲取模型數(shù)據(jù)。

為什么我們希望基于操作系統(tǒng)來實施數(shù)據(jù)安全保護手段?

通常而言,每個應用或者應用生態(tài)都會自己構(gòu)建一定的數(shù)據(jù)安全保護能力。然而,由于應用層構(gòu)建的安全能力往往各自為戰(zhàn),導致系統(tǒng)整體存在“千里之堤,潰于蟻穴”的風險。在數(shù)據(jù)共享的背景下,數(shù)據(jù)安全是一個完整的體系。其中任意一環(huán)被攻破即導致整體數(shù)據(jù)安全保護失效。

舉例來說,如果在應用層構(gòu)建DLP(數(shù)據(jù)防泄漏)解決方案。由于安全能力構(gòu)建于各個應用之中,而應用之間會產(chǎn)生數(shù)據(jù)共享。因此一旦其中一個應用出現(xiàn)問題或者被攻破,那么就會造成整體的數(shù)據(jù)泄露風險。

696f143c-bbe4-11ee-9b10-92fbcf53809c.png

在操作系統(tǒng)層如何構(gòu)建數(shù)據(jù)安全保護能力?可以基于3個維度:隔離、跟蹤和協(xié)同。

一、隔離:構(gòu)建可信的隔離空間來運行大模型應用。當我們要保護數(shù)據(jù)的時候,最簡單,也最能令用戶信服的數(shù)據(jù)保護方式,就是讓數(shù)據(jù)始終留在端側(cè)。但是,由于大模型本身的黑盒特性,用戶并不信任應用,那么誰來保證數(shù)據(jù)不出端呢?例如,當用戶想詢問大模型今天的天氣怎么樣,需要穿什么衣服出門時,大模型需要知道用戶的位置信息,且還需要從線上的其他地方獲取該位置的天氣數(shù)據(jù)。通過這個例子,很容易看出在部分場景下大模型既需要訪問用戶的個人隱私數(shù)據(jù),客觀上也需要聯(lián)網(wǎng)或者是訪問外部文件/數(shù)據(jù)以帶給用戶更好的體驗。

在普通的操作系統(tǒng)中,由于沒有機密域隔離,攻擊者可以利用應用漏洞發(fā)起攻擊即可獲取用戶數(shù)據(jù)和模型資產(chǎn);通過構(gòu)建可信的隔離空間,區(qū)分機密域和非機密域,可以實現(xiàn)即便攻破應用本身,也無法獲取模型和用戶數(shù)據(jù)的目的。

6992a4b0-bbe4-11ee-9b10-92fbcf53809c.png

二、跟蹤:將無形的數(shù)據(jù)化為有形,跟蹤數(shù)據(jù)使用,實施精準管控。盡管通過隔離手段能夠?qū)崿F(xiàn)數(shù)據(jù)安全,但在許多場景下大模型都是需要訪問聯(lián)網(wǎng)信息的。例如,即使數(shù)據(jù)質(zhì)量和參數(shù)規(guī)模強如ChatGPT,也不可能在模型參數(shù)中記錄整個互聯(lián)網(wǎng)的知識體系。需要通過搜索插件等在線獲取;Open Interpreter等應用更是將支持聯(lián)網(wǎng)作為重要特性;新發(fā)布的大模型紛紛原生支持代碼的生成與運行,進一步增加了模型與外部交互的需求。

在大模型應用中,數(shù)據(jù)本身是無形的,就是一串字節(jié)流。如果將應用視作一個黑盒,那么對應用的隔離管控只有“是”與“否”的區(qū)別。如果數(shù)據(jù)類型由操作系統(tǒng)觀測并管理,使大模型應用在使用數(shù)據(jù)時,操作系統(tǒng)能夠感知該數(shù)據(jù)是不是敏感數(shù)據(jù),從而實現(xiàn)精準定位和管控,保障數(shù)據(jù)安全。

69b8c186-bbe4-11ee-9b10-92fbcf53809c.png

三、協(xié)同:安全調(diào)用云端算力,讓應用更加智能。通過隔離和跟蹤,在端側(cè)可以實現(xiàn)較為精準可靠的數(shù)據(jù)安全保護。然而,在現(xiàn)有的硬件設備下,端側(cè)算力仍顯不足,而端側(cè)算力對大模型的智能程度有很大影響。相較于GPT-3的175B參數(shù)規(guī)模而言,在實際的手機應用場景,為了平衡功耗,性能等問題,當前的主流端側(cè)大模型解決方案都選擇了1B級別的“小”模型。因此,如何通過端云協(xié)同來釋放云端算力成為當前的研究熱點。

安全調(diào)用云端算力有2個思路:(1)構(gòu)建端云協(xié)同的分布式機密計算環(huán)境,從技術上讓數(shù)據(jù)留在同一個信任域中,實現(xiàn)“技術不出端”;(2)通過操作系統(tǒng)層構(gòu)建的數(shù)據(jù)脫敏模塊,來支撐多種不同形式的端云協(xié)同推理,實現(xiàn)敏感數(shù)據(jù)不出域的同時,釋放云端算力。

69bf1dec-bbe4-11ee-9b10-92fbcf53809c.png

綜上所述,從操作系統(tǒng)視角,可以從隔離、跟蹤以及協(xié)同3個維度應對大模型數(shù)據(jù)安全問題。后續(xù),希望能夠以操作系統(tǒng)為底座,以數(shù)據(jù)安全為第一原則,逐步構(gòu)建可信的原生智能。

「嘉賓材料暫不分享」

E N D

關注我們,獲取更多精彩。

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
收藏 人收藏

    評論

    相關推薦

    50萬獎金池!開放原子大賽——第二屆OpenHarmony創(chuàng)新應用挑戰(zhàn)賽正式啟動

    第二屆OpenHarmony創(chuàng)新應用挑戰(zhàn)賽作為開放原子大賽旗下的重要賽項,聚焦 OpenHarmony應用開發(fā),致力提升開發(fā)者的動手實踐能力與開發(fā)創(chuàng)新應用的能力。 賽項要求開發(fā)者
    發(fā)表于 10-24 15:40

    第二屆開放原子大賽火熱開啟

    第二屆開放原子大賽(簡稱“大賽”)是由開放原子開源基金會組織舉辦的開源技術領域?qū)I(yè)賽事,聚焦解決“真問題”,重點覆蓋基礎軟件、工業(yè)軟件、人工智能大模型等領域。
    的頭像 發(fā)表于 10-18 11:39 ?260次閱讀

    第二屆大會回顧24 | 面向OpenHarmony的軟件工程研究:機遇與挑戰(zhàn)

    隨著萬物智聯(lián)時代的到來,OpenHarmony作為一個開源的智能終端設備操作系統(tǒng)的框架和平臺,將會遇到哪些機遇和挑戰(zhàn)?北京航空航天大學教授、OpenHarmony技術俱樂部主任黎立在第二屆OpenHarmony技術
    的頭像 發(fā)表于 08-07 18:14 ?793次閱讀
    <b class='flag-5'>第二屆</b><b class='flag-5'>大會</b><b class='flag-5'>回顧</b><b class='flag-5'>第</b>24<b class='flag-5'>期</b> | 面向OpenHarmony的軟件工程研究:機遇與<b class='flag-5'>挑戰(zhàn)</b>

    報名開啟!第二屆OpenHarmony開發(fā)者大會2024重磅來襲!

    /jishu_2429449_1_1.html 預約直播: 第二屆OpenHarmony開發(fā)者大會主論壇 第二屆OpenHarmony開發(fā)者大會:設備開發(fā)分論壇
    發(fā)表于 05-14 15:23

    華工科技以智賦能,亮相第二屆船舶行業(yè)安全生產(chǎn)大會

    4月18-19日,第二屆船舶行業(yè)安全生產(chǎn)與應急管理技術交流大會在山東煙臺舉行。華工科技智能制造業(yè)務板塊應邀參加,并發(fā)表題為《船體結(jié)構(gòu)部件智能制造助力安全生產(chǎn)》的主題演講。
    的頭像 發(fā)表于 04-19 17:44 ?546次閱讀
    華工科技以智賦能,亮相<b class='flag-5'>第二屆</b>船舶行業(yè)<b class='flag-5'>安全</b>生產(chǎn)<b class='flag-5'>大會</b>

    第二屆大會回顧4 | 數(shù)據(jù)要素流通的安全挑戰(zhàn)與對策

    演講嘉賓 | 李鳳華 回顧整理 | 廖? ?濤 排版校對 | 李萍萍 嘉賓介紹 ?OS安全分論壇? 李鳳華 ,OpenHarmony項目群技術指導委員會安全及機密計算TSG成員,中國科學院信息工程
    的頭像 發(fā)表于 12-14 15:20 ?428次閱讀
    <b class='flag-5'>第二屆</b><b class='flag-5'>大會</b><b class='flag-5'>回顧</b><b class='flag-5'>第</b>4<b class='flag-5'>期</b> | <b class='flag-5'>數(shù)據(jù)</b>要素流通的<b class='flag-5'>安全</b><b class='flag-5'>挑戰(zhàn)</b>與對策

    實地探展 | 別樣視角一站式感受第二屆OpenHarmony技術大會

    OpenHarmony技術大會 感受技術融入生活的美好瞬間! 原文標題:實地探展 | 別樣視角一站式感受第二屆OpenHarmony技術大會 文章出處:【微信公眾號:OpenAtom
    的頭像 發(fā)表于 11-14 15:10 ?256次閱讀

    大咖金句 | 第二屆OpenHarmony技術大會演講集錦

    點擊藍字 ╳ 關注我們 開源項目 OpenHarmony 是每個人的 OpenHarmony 第二屆OpenHarmony技術大會圓滿結(jié)束 行業(yè)大咖與開源生態(tài)伙伴們齊聚北京 共同見證思潮交相輝映
    的頭像 發(fā)表于 11-06 19:40 ?443次閱讀

    誠邀參加 | 第二屆開放原子開源基金會OpenHarmony技術大會重磅開啟!

    11月4日, 第二屆開放原子開源基金會OpenHarmony技術大會將在北京舉辦。大會以“技術筑生態(tài),智聯(lián)贏未來”為主題,特邀全球開源操作系統(tǒng)技術領袖、前沿實踐專家及高校技術導師,面向
    的頭像 發(fā)表于 11-03 19:15 ?1087次閱讀
    誠邀參加 | <b class='flag-5'>第二屆</b>開放原子開源基金會OpenHarmony技術<b class='flag-5'>大會</b>重磅開啟!

    高能有料 | 第二屆OpenHarmony技術大會議程速遞

    第二屆開放原子開源基金會OpenHarmony技術大會如約而至 讓我們一起 開封無限驚喜的技術成果 開放無限前沿的議題干貨 開啟無限可能的未來之門 點擊此處報名參會!
    發(fā)表于 11-02 17:07

    議程直擊 | 第二屆OpenHarmony技術大會——OS安全分論壇

    點擊藍字 ╳ 關注我們 開源項目 OpenHarmony 是每個人的 OpenHarmony 原文標題:議程直擊 | 第二屆OpenHarmony技術大會——OS安全分論壇 文章出處:【微信公眾號:OpenAtom OpenHa
    的頭像 發(fā)表于 11-01 09:25 ?396次閱讀

    高能有料 | 第二屆OpenHarmony技術大會議程速遞

    點擊藍字 ╳ 關注我們 開源項目 OpenHarmony 是每個人的 OpenHarmony 第二屆開放原子開源基金會OpenHarmony技術大會如約而至 讓我們一起 開封無限驚喜的技術成果 開放
    的頭像 發(fā)表于 11-01 09:25 ?346次閱讀
    高能有料 | <b class='flag-5'>第二屆</b>OpenHarmony技術<b class='flag-5'>大會</b>議程速遞

    議程直擊 | 第二屆OpenHarmony技術大會——OS安全分論壇

    E N D ??? 關注我們,持續(xù)獲取OpenHarmony技術大會最新消息! 原文標題:議程直擊 | 第二屆OpenHarmony技術大會——OS安全分論壇 文章出處:【微信公眾號:
    的頭像 發(fā)表于 11-01 08:44 ?344次閱讀
    議程直擊 | <b class='flag-5'>第二屆</b>OpenHarmony技術<b class='flag-5'>大會</b>——OS<b class='flag-5'>安全</b>分論壇

    技術筑生態(tài),智聯(lián)贏未來 第二屆OpenHarmony技術大會即將在京啟幕

    OpenHarmony技術大會后,國內(nèi)智能終端操作系統(tǒng)技術與開源生態(tài)布局也實現(xiàn)了進一步發(fā)展。為此,第二屆OpenHarmony技術大會升級規(guī)格與規(guī)模,擬邀120位行業(yè)權威大咖、技術專家
    發(fā)表于 10-31 11:27

    亮點劇透 | 第二屆開放原子開源基金會 OpenHarmony技術大會精彩來襲

    點擊藍字 ╳ 關注我們 開源項目 OpenHarmony 是每個人的 OpenHarmony 探討開源創(chuàng)新實踐,共筑開源技術未來 第二屆開放原子開源基金會OpenHarmony技術大會 大咖云集
    的頭像 發(fā)表于 10-27 19:50 ?527次閱讀