●當前機器學習落地挑戰(zhàn)●
近二十年來,機器學習已廣泛應用于數(shù)據(jù)挖掘、計算機視覺、自然語言處理、生物特征識別、搜索引擎、醫(yī)學診斷、檢測信用卡欺詐、證券市場分析、DNA序列測序、語音和手寫識別、戰(zhàn)略游戲和機器人等領域。
在實際業(yè)務落地過程中,大部分大型云平臺提供商均已提供機器學習算力等資源服務,同時支持多種機器學習框架等以提供開放靈活的部署環(huán)境。但是,機器學習模型所需的數(shù)據(jù)往往并非從云平臺中產生,而是從傳感器、手機、網關等邊緣設備中產生。數(shù)據(jù)從邊側產生,而云端需從邊側采集數(shù)據(jù)以訓練和不斷完善機器學習模型。
在實際落地時,當前機器學習需面對以下問題:
1、海量設備數(shù)據(jù)導致延遲和成本問題
假設即使有100 Mbps的專網連接,將10TB的數(shù)據(jù)運送到云端也需要10天。面對大量邊緣連接設備每天生成數(shù)百兆字節(jié)甚至TB數(shù)據(jù),帶來的延遲和成本對客戶和服務提供方來說往往是難以承受的;
2、數(shù)據(jù)壓縮導致的延遲和精度問題
正因遷移所有數(shù)據(jù)通常不切實際,往往需要對數(shù)據(jù)進行“壓縮”(如特征工程、難例識別等)并傳輸?shù)皆贫?,而?shù)據(jù)壓縮過程容易引入新的延遲。壓縮數(shù)據(jù)不一定能完全代表完整數(shù)據(jù)集信息,容易導致精度損失。
3、邊側數(shù)據(jù)隱私和計算實時性問題
邊側數(shù)據(jù)與資源等具備地理分布性。隱私和網絡瓶頸導致數(shù)據(jù)集天然分割, 傳統(tǒng)集中式機器學習在邊緣情況下性能將顯著下降;單個邊側資源受限且異構(算力、供電、場地等均受限),相對云上資源建設與維護成本更高。
上述問題的本質來源是數(shù)據(jù)在邊緣產生,而算力卻在云端更為充足。也就是說,機器學習服務將邊緣產生的數(shù)據(jù)轉換為知識的過程中,一方面需要在邊緣快速響應并處理本地產生的數(shù)據(jù),另一方面需要云上算力與開發(fā)環(huán)境的支持。隨著邊緣設備數(shù)量指數(shù)級增長以及設備性能的提升,邊云協(xié)同機器學習應運而生,以期打通機器學習的最后一公里。
●邊云協(xié)同機器學習落地有哪些挑戰(zhàn)●
目前邊云協(xié)同機器學習的經典模式是:在云上給定一個數(shù)據(jù)集運行機器學習算法構建一個模型,然后將這個模型不作更改應用在多個邊側的多次推理任務上。這種學習范式稱為封閉學習(也稱孤立學習 [1]),因為它并未考慮其他情景學習到的知識和過去學習到的歷史知識。雖然邊云協(xié)同機器學習技術的相關研究和應用都有著顯著的進展,然而在成本、性能、安全方面仍有諸多挑戰(zhàn):數(shù)據(jù)孤島/小樣本/數(shù)據(jù)異構/資源受限[2]。
在邊緣云背景下:(1)不同邊側數(shù)據(jù)分布總是不斷變化,(2)而邊側標注樣本也往往由于成本較高導致數(shù)量稀少。因而封閉學習需不停標注樣本并重新訓練,這顯然給服務落地帶來巨大挑戰(zhàn)。這種數(shù)據(jù)分布和數(shù)據(jù)量上的挑戰(zhàn)分配稱為數(shù)據(jù)異構和小樣本,屬于邊云協(xié)同機器學習的四大挑戰(zhàn)。
本文以一個熱舒適預測服務例子介紹相應挑戰(zhàn),如圖1所示。該服務輸入外界溫度等環(huán)境特征,預測不同人員的熱舒適程度(熱、舒適、冷)。由于邊緣節(jié)點部署位置從室外變動到室內,對于相同室外溫度特征值x=30,可以看到實際標注的熱舒適標注發(fā)生了較大變動。這原有室外模型上線預測值整體偏低,要匹配到室內模型,則需要訓練樣本重新調整。也就是說,面對分布動態(tài)變化的邊緣側數(shù)據(jù),由于沒有記憶歷史和不同情景任務知識,封閉學習需要頻繁重新訓練。
●邊云協(xié)同機器學習挑戰(zhàn)如何解決●
從上面的討論可以了解到,當前的封閉學習范式可被用于提供數(shù)據(jù)同構和大數(shù)據(jù)的服務,但難以處理數(shù)據(jù)異構和小樣本的問題,所以并不合適用于建立通用的機器學習系統(tǒng)。伊利諾伊大學芝加哥分校的劉兵教授也在Frontiers of Computer Science中總結,封閉學習范式一系列局限性的根本在于沒有記憶,這導致它通常需要大量的訓練樣本。
對應的范式改進可以從人類的學習過程中得到啟發(fā)??梢钥吹?,人類之所以能夠越學越聰明,是由于每個人并非自我封閉地學習,而是不斷地積累過去學習的知識,并利用其他人的知識,學習更多知識 [1]。借鑒人類這種學習機制,終身學習結合邊云協(xié)同可以發(fā)展出邊云協(xié)同終身學習。
邊云協(xié)同終身學習
在邊側同時結合了多任務學習和增量學習特性來處理新情景下數(shù)據(jù)異構和小樣本的問題;
借助云側知識庫來記憶新情景知識;
從根本上解決上述邊云協(xié)同機器學習的挑戰(zhàn)。
●邊云協(xié)同終身學習概念●
基于1995年提出的終身學習概念[3],Sedna進一步定義邊云協(xié)同終身學習為邊云協(xié)同的多機器學習任務持續(xù)學習。其中機器學習任務是指在特定情境下運用的模型,如中譯英(給定漢語翻譯為英語)、亞洲植物分類等。
正式定義如下:
邊云協(xié)同終身學習:
給定云側知識庫中N個歷史訓練任務,推理持續(xù)到來的當前任務和未來M個邊側任務,并持續(xù)更新云側知識庫。其中,M趨向于無窮大,同時邊側M個推理任務不一定在云側知識庫N個歷史訓練任務當中。
具體來說,邊云協(xié)同終身學習的一般流程如圖2所示:
初始化知識庫:在云側知識庫中存儲和維護過去N個任務(記為第T-N到T-1個任務)中訓練并累積的知識。
學習當前任務:在邊側設備面對當前任務(記為第T個任務)時,基于云側知識庫先驗知識訓練第T個任務。注意,第T個任務并不一定在歷史的N個任務當中。
更新知識庫:將學習到的邊側第T個任務知識反饋到云側知識庫并更新。
學習未來任務:持續(xù)學習未來M個任務(記為第T+1到T+M個任務)。與上面第T個任務利用過去N個任務知識(從T-N到T-1)類似,第T+1個任務的邊側任務知識則利用過去N+1個云側任務知識(從T-N到T)。以此類推,直到完成第T+M個任務,結束整個流程。
邊云協(xié)同終身學習具備以下三大特點:
邊云協(xié)同持續(xù)學習:能夠基于云側算力和邊側數(shù)據(jù)合作完成持續(xù)推理與訓練,能夠在推理運行時變得越來越擅長模型訓練。
以云側知識庫為中心的邊側知識共享:以云側知識庫作為中心,實現(xiàn)跨邊的知識共享并處理邊側任務,同時持久化與維護云端知識。
邊側處理云側未知任務:需要邊側能夠發(fā)現(xiàn)和處理云端知識庫未知任務。其中未知任務是指運行或測試過程中發(fā)現(xiàn)的新任務,比如其應用情景或模型在知識庫當前知識之外。
●Sedna邊云協(xié)同終身學習特性●
KubeEdge 是一個開源的邊緣計算平臺,它在Kubernetes原生的容器編排和調度能力之上,擴展實現(xiàn)了邊云協(xié)同、計算下沉、海量邊緣設備管理、邊緣自治等能力。KubeEdge還將通過插件的形式支持5G MEC、AI云邊協(xié)同等場景,目前在很多領域都已落地應用[3]。
KubeEdge AI SIG于20年12月發(fā)布KubeEdge子項目開源平臺Sedna,架構如圖3所示。Sedna基于KubeEdge提供的邊云協(xié)同能力,實現(xiàn)AI的跨邊云協(xié)同訓練和協(xié)同推理能力。支持現(xiàn)有AI類應用無縫下沉到邊緣,快速實現(xiàn)跨邊云的增量學習,聯(lián)邦學習,協(xié)同推理等能力,最終降低邊云協(xié)同機器學習服務構建與部署成本、提升模型性能、保護數(shù)據(jù)隱私等[2]。
在本次0.3版本更新中,Sedna提供了邊云協(xié)同終身學習的特性支持。Sedna終身學習特性將基于邊側數(shù)據(jù)和云側算力,逐步實現(xiàn)適應邊側業(yè)務與模型異構的高可信自動化人工智能。
Sedna的邊云協(xié)同終身學習作業(yè)分為三個階段:訓練、評估和部署,維護一個全局可用的知識庫(KB)服務于每個終身學習任務。架構如圖4所示:
啟動訓練worker基于開發(fā)者的AI基模型和訓練數(shù)據(jù)集進行多任務遷移學習,實現(xiàn)任務的知識歸納,包括:樣本屬性、AI模型、模型超參等。
訓練完成對知識庫的更新后啟動對評估數(shù)據(jù)集的評估worker,基于部署者定義的評估策略判斷符合下發(fā)部署的任務模型。
GM捕獲評估任務的完成狀態(tài)后通知Edge初始化啟動InferenceService進行推理服務。應用調用模型推理接口進行推理,并進行未知任務上云判別。
通過對接第三方打標系統(tǒng)和基于知識庫的遷移學習,LC基于預配置規(guī)則監(jiān)聽新數(shù)據(jù)變化并按配置的策略觸發(fā)訓練worker進行增量學習,重訓練完成后重新下發(fā)邊緣側。
其中,當前Sedna選用的模塊化方案和樣本遷移方案使得開源的邊云協(xié)同終身學習特性能夠實現(xiàn)模型無關:
同一個特性能夠同時支持結構化和非結構化不同模型,在特性中模型可插拔;
同一個特性能夠同時支持分類、回歸、目標檢測、異常檢測等。
●基于Sedna終身學習實現(xiàn)樓宇熱舒適預測控制●
背景
智能樓宇是智慧城市的重要組成部分
樓宇是大量先進工業(yè)產品的“使用方”,引領其制造、運行和維護,在這一波能源革命和工業(yè)革命占據(jù)重要地位。
現(xiàn)今樓宇都有自控系統(tǒng),通常它們都在邊緣,這使得很多關于樓宇的應用更傾向于部署在邊緣側,其中一類應用是熱舒適度預測。由于人們80%的工作和生活都在樓宇中度過,提高工作效率和生活舒適度(如通過樓宇智能化等方式)就顯得尤為重要[6]。
熱舒適度預測服務于智能樓宇
熱舒適度被定義為樓宇中的人對環(huán)境冷熱的滿意程度。它提供了一種定量的評估,把室內冷熱環(huán)境參數(shù)的設定與人的主觀評估聯(lián)系起來。而提高樓宇中辦公或者居住人員的熱舒適程度是建筑及其系統(tǒng)設計方案中的一個重要考量。在空調系統(tǒng)運作時,一旦熱舒適度被預測出來,那么就能將其用于調整樓宇內空調的控制策略。比方說,一種基于熱舒適度的控制策略,是基于假定的空調參數(shù)設定以及溫濕度等環(huán)境特征下,給出預計的人體熱舒適程度。然后搜索尋優(yōu)出舒適度最高的空調設定。所以,這種情況下要實現(xiàn)舒適度最大的空調控制就依賴于較高精度的舒適度預測。
原有熱舒適度的預測要么需要房間中安裝額外設備,要么需要人工反饋。部署環(huán)境復雜、人工操作頻繁使得這種情況下熱舒適度的采集準確度非常低。據(jù)此,基于機器學習的熱舒適度預測方法被提出,它能降低部署要求、不需要人工反饋,因而更具備實用價值。
熱舒適度預測服務實際部署時數(shù)據(jù)異構和小樣本問題較為突出
由于人員個體差異、房間與城市差異等,不同個體、不同地點對于熱舒適的感受是不一樣的,那么就會導致相同的環(huán)境溫度和空調設定下對應的人員的熱舒適度標簽值不一樣,從而導致較為突出的數(shù)據(jù)異構問題。
熱舒適度預測主要針對樓宇中的房間人員個體,具有個性化的特點。在環(huán)境因素變化較多的情況下,邊側房間人員個體的熱舒適度樣本通常有限,往往不足以支撐對單個人員進行個性化模型的訓練,從而導致較為突出的小樣本問題。
除了小樣本問題之外,增量學習也能夠一定程度解決歷史與當前情景的數(shù)據(jù)異構(時間上的數(shù)據(jù)異構)。但這種邊云協(xié)同增量學習范式通常不具備用于記憶的知識庫,導致很難處理非時間上的數(shù)據(jù)異構。比方說,對于有多個人員的房間,在同一時刻會存在不同人員上的數(shù)據(jù)異構。由于這種情況就不僅僅是同一個人不同時間上的數(shù)據(jù)異構了,增量學習變得不太足夠。此時就需要使用邊云協(xié)同終身學習了。
方案
邊云協(xié)同終身學習的熱舒適預測方案主要有如下兩個步驟:
1、創(chuàng)建舒適度預測終身學習任務
舒適度預測終身學習任務被創(chuàng)建后,Sedna知識庫中會生成舒適度預測的知識庫實例,知識庫會利用多地點多人員的歷史數(shù)據(jù)集進行初始化,并提供推理和更新接口給邊側應用。
2、部署邊云協(xié)同舒適度預測應用
舒適度預測應用被部署后,應用會通過邊側的設備數(shù)據(jù)采集接口獲取到多聯(lián)機空調系統(tǒng)的設定參數(shù)和當前溫濕度等環(huán)境特征信息。應用通過調用Sedna Lib庫終身學習接口,從知識庫中尋找對應的任務信息:
如果被判定為已知任務,比如說是已經出現(xiàn)過的人員在已知的溫濕度條件下,則直接獲取對應模型進行推理;
如果被判定為未知任務,比如說是新來的人員,則通過知識庫來獲取針對未知任務的模型進行推理。并且會將這些模型和模型之間關系寫入到知識庫中,以完成知識庫的更新操作,使得知識庫得到積累。
效果
本案例中的方案在開源AshraeThermal Comfort II數(shù)據(jù)集上可取得非常好的效果。在這個開源數(shù)據(jù)集中,收錄了全球28個國家99個城市1995~2015年之間樓宇內人員熱舒適真實數(shù)據(jù),目標是構建一個機器學習分類模型,給定環(huán)境特征,預測人群的熱傾向(Thermal Preference)。熱傾向分為三類,希望更冷(覺得熱)、不希望變更(覺得舒適)、希望更熱(覺得冷)。
整體分類精度與單任務增量學習對比,相對提升5.12%(其中多任務提升1.16%)。其中,在Kota Kinabalu和Athens兩個任務,在使用終身學習前后預測效果在Kota Kinabalu數(shù)據(jù)中預測率相對提升24.04%,在Athens數(shù)據(jù)中預測率相對提升13.73%。
原文標題:產品動態(tài)| 支持邊云協(xié)同終身學習特性,KubeEdge子項目Sedna 0.3.0版本發(fā)布!
文章出處:【微信公眾號:華為開發(fā)者社區(qū)】歡迎添加關注!文章轉載請注明出處。
責任編輯:haq
-
機器學習
+關注
關注
66文章
8323瀏覽量
132165 -
智慧城市
+關注
關注
21文章
4219瀏覽量
96908
原文標題:產品動態(tài)| 支持邊云協(xié)同終身學習特性,KubeEdge子項目Sedna 0.3.0版本發(fā)布!
文章出處:【微信號:Huawei_Developer,微信公眾號:華為開發(fā)者社區(qū)】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論