5月25日-26日,由中國人工智能學(xué)會主辦,南京市麒麟科技創(chuàng)新園管理委員會與京東云共同承辦的2019全球人工智能技術(shù)大會(2019 GAITC)在南京紫金山莊成功舉行。
在第一天的主論壇上,英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球 CTO戴金權(quán)發(fā)表了主題為《Analytics Zoo: 統(tǒng)一的大數(shù)據(jù)分析+AI 平臺》的精彩演講。
戴金權(quán)
英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球 CTO
以下是戴總的演講實錄:
在英特爾如何構(gòu)建統(tǒng)一的大數(shù)據(jù)分析+AI 平臺(我們稱為開源項目),幫助客戶更高效地開發(fā)大數(shù)據(jù)、大規(guī)模深度學(xué)習(xí)的應(yīng)用。英特爾致力于提供端到端,從設(shè)備端到邊緣,再到數(shù)據(jù)中心云端完整的計算架構(gòu),比如在數(shù)據(jù)中心,今天英特爾志強服務(wù)器是 AI 應(yīng)用分析的基礎(chǔ)架構(gòu),月提供了多種像神經(jīng)網(wǎng)絡(luò)處理器等豐富的硬件架構(gòu)。同樣在軟件上,我們也是致力于提供全站的解決方案,從最底層的核心算子開源項目可以幫助用戶更高效開發(fā)他們的計算庫;再到上層各種機器學(xué)習(xí)或者深度學(xué)習(xí)的框架,比如對開源的 Analytics Zoo,深度學(xué)習(xí)做了大量的優(yōu)化工作;再到最上層,也提供了一些開源工具包,目的是幫助應(yīng)用開發(fā)人員更高效地開發(fā)基于深度學(xué)習(xí)的應(yīng)用。
今天在這里著重分享的是基于大數(shù)據(jù)分析處理的框架上開發(fā)并且開源的兩個項目,一個是 BIGDL,是我們兩年半以前開源的一個深度學(xué)習(xí)的框架;在這個基礎(chǔ)上,去年又開源了 Analytics Zoo,構(gòu)建一個端到端的大數(shù)據(jù)分析 + 深度學(xué)習(xí)的平臺。為什么在英特爾開發(fā),并且開源基于大數(shù)據(jù)平臺上的大數(shù)據(jù)分析 +AI 的平臺工具?
下圖中黑色的小框代表機器學(xué)習(xí)或者深度學(xué)習(xí)的模型,它很關(guān)鍵,從某種意義上決定了硬件有怎樣的功能,做到怎樣的事情。但是會發(fā)現(xiàn),當(dāng)想把這樣一個深度學(xué)習(xí)、機器學(xué)習(xí)模型應(yīng)用到實際場景,從實驗室搬到現(xiàn)實工業(yè)級機器學(xué)習(xí)中,構(gòu)建這樣的端到端應(yīng)用是非常復(fù)雜的,要有大量的其他模塊,比如怎樣收集數(shù)據(jù)、處理數(shù)據(jù)和驗證數(shù)據(jù),包括資源管理、集群監(jiān)控等。整個端到端的流水線是由一個非常多的模塊組成的,一個端到端大數(shù)據(jù)處理分析再加上深度學(xué)習(xí)、機器學(xué)習(xí)的流水線。
下圖是我們在兩年前和京東的一個合作。京東帶來的幾億張圖片,存儲在一個大規(guī)模分布式大數(shù)據(jù)集群里,我們做的事情是要對這些圖片——識別物品。比如,這張圖片上是一只鳥,然后提取特征。從深度學(xué)習(xí)、機器學(xué)習(xí)來說,不是特別復(fù)雜的應(yīng)用,做物品識別、提取持證就可以了。但是事實上發(fā)現(xiàn),在對大規(guī)模的圖片讀取數(shù)據(jù),對圖片進(jìn)行分布式處理,再進(jìn)行模型推理;當(dāng)識別物品時,對物品進(jìn)行抽取,再進(jìn)行處理,再提取特征等,把整個端到端流水線在大規(guī)模的圖片里是跑不好的。當(dāng)要把這些機器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)應(yīng)用到實際應(yīng)用中,會有一個比較大的斷層,今天很多的科學(xué)家做了非常多的深度學(xué)習(xí)、機器學(xué)習(xí)的有效工作,但是如何將新技術(shù)、新創(chuàng)新應(yīng)用到現(xiàn)實環(huán)境中,特別是在一些非常大規(guī)模、大數(shù)據(jù)生產(chǎn)系統(tǒng)中,從軟硬件架構(gòu)上有非常大的一個斷層。這就是為什么我們會去開源,像BIGDL,特別是 Analytics Zoo 平臺,能夠?qū)⒉煌哪K不管是用 TensorFlow 還是用Keras,將這些不同模塊的程序能夠無縫運行在端到端流水線上,大大提升開發(fā)效率。
總之,我們開發(fā)并且開源的目的是讓大家更加方便開發(fā)大數(shù)據(jù)、大規(guī)模深度學(xué)習(xí)的應(yīng)用。通常很多用戶開始開發(fā)應(yīng)用時,可能在一個筆記本上構(gòu)建一個簡單原形,當(dāng)你覺得原形看還不錯時,希望可以跑歷史數(shù)據(jù),對過去幾個月或者幾年的數(shù)據(jù)進(jìn)行一些驗證,為端到端的流水線構(gòu)造原形。在實驗上覺得效果還不錯,就希望部署到生產(chǎn)系統(tǒng)中,可能進(jìn)行上線。同時也是大規(guī)模、大數(shù)據(jù)處理的流水線,可以讓你的程序運行在一個大標(biāo)準(zhǔn)集群里,直接利用現(xiàn)有的大數(shù)據(jù)集群、大數(shù)據(jù)計算資源運行你的程序,從而能夠提高你進(jìn)行開發(fā)并且部署深度學(xué)習(xí)應(yīng)用的效率。
有關(guān) Analytics Zoo 一些技術(shù)細(xì)節(jié)的構(gòu)成。總的來說,構(gòu)建在很多不同底層計算的庫和框架上,在上面構(gòu)建一些豐富的流水線支持;再上面也提供了一些解決方案,包括預(yù)定模型。
下面來看一下具體的例子。有人和我說不要放太多代碼在里面,用 Spark 構(gòu)建一個 RDD,對大規(guī)模數(shù)據(jù)進(jìn)行分布式處理。對各種各樣的數(shù)據(jù)源,不管是數(shù)據(jù)倉庫的方式,還是讀寫數(shù)據(jù)庫,或者是讀寫各種各樣的分布式文件系統(tǒng),可以直接使用 Spark Dataframe。下面的圖片是說,如能夠使用剛才訓(xùn)練的模型,就可以使用我們的模型推理進(jìn)行大規(guī)模分布式應(yīng)用,在自己 Keras 等框架內(nèi)都很容易將我們深度學(xué)習(xí)模型集成在這些流水式處理或者在線處理中,而且在這個背后也可以透明地使用像 Analytics Zoo 的工具,對模型進(jìn)行壓縮加速,包括至強深度學(xué)習(xí)加速指令對它進(jìn)行加速;同時可以跑在大規(guī)模集群上進(jìn)行分布式推理。
我們真正的用戶是怎么具體使用的?解決他們什么問題?下圖是我們和美的的合作,他們希望通過計算機視覺將其生產(chǎn)線生產(chǎn)出來的產(chǎn)品自動識別瑕疵、沒有貼標(biāo)簽等。
工業(yè)機器人接上攝像機,對流水線出來的產(chǎn)品進(jìn)行拍照,拿到照片后進(jìn)行識別,產(chǎn)品上是不是有缺陷。比如,下圖中可以看到空調(diào)上少了一個螺絲。上圖中,粉紅色是對大規(guī)模圖片進(jìn)行處理;黃色是 SSDLite這樣的一個模型,使用 Analytics Zoo API和 Spark 數(shù)據(jù)可以整合起來,在 Spark 上進(jìn)行訓(xùn)練。
下面這個例子是我們和微軟中國團(tuán)隊的合作,他們希望給大家提供客戶。比如,他們有一個微信公眾號,在他們的微信公眾號上可以提問題,如怎么聯(lián)不上我的虛擬機、怎么重啟我的虛擬機、怎么開發(fā)票等。原來他們的做法是,在特定領(lǐng)域完成特定任務(wù)的對話。上午的報告中有很多專家提到,在垂直領(lǐng)域定義模版。他們有很多定義好的流程,可以隨著流程走?,F(xiàn)在很多人不隨著流程走,隨便問一些問題,怎么開不了發(fā)票?因為內(nèi)部有大量知識庫和準(zhǔn)備好的問答,通過關(guān)鍵詞的匹配可以幫你去搜索,搜索出一些文章,希望滿足你的問題。這里,希望我們幫他做一些問答匹配,把相關(guān)的回答反饋給用戶,用戶看到這些問題后,可能解決了他的問題或者沒有;如果沒有解決,就要轉(zhuǎn)人工處理。轉(zhuǎn)人工處理是非常昂貴的事情,不同的問題要轉(zhuǎn)到不同的后臺,所以要有對意圖進(jìn)行分類的模塊,將問題做一些分類,到底是財務(wù)的問題,還是網(wǎng)絡(luò)的問題,還是虛擬機的問題。
Office Depot,賣辦公用品的一個電商,做一些產(chǎn)品的推薦,當(dāng)把一個物品加入到購物車后,根據(jù)你的行為推薦一些相關(guān)的物品。這是一個跑在云上的應(yīng)用,使用 Spark 和 Analytics Zoo 上進(jìn)行訓(xùn)練,使用 mleap 就可以直接將 pipeline 模型保存下來,訓(xùn)練出來的模型直接部署在 AWS S3,通過 BigDL 把它部署在一個 DNN 進(jìn)行在線推理。
萬事達(dá),希望給大家推送一些促銷信息,到哪里去購物,我給你一個立減等類似的優(yōu)惠,希望把這些推送到相關(guān)的客戶,客戶收到這些信息后會買東西。但是有一個特別的問題,我們會根據(jù)用戶過去購買行為進(jìn)行分析,將用戶過去的購買行為、交易的數(shù)據(jù)是放在數(shù)據(jù)庫里的,怎樣能夠在Apache Hadoop 現(xiàn)有集群上運行這些新的深度學(xué)習(xí)應(yīng)用?這時就可以使用 Analytics Zoo 深度學(xué)習(xí)框架,可以在現(xiàn)有大數(shù)據(jù)分析集群上,和其他的業(yè)務(wù)共享同一個集群,來運行這些新的深度學(xué)習(xí)應(yīng)用。
CENR,歐洲的盒子研究中心,他們每天都在進(jìn)行每秒大約 4 000 萬原子對撞,產(chǎn)生 1 TB 數(shù)據(jù),他們希望把這些數(shù)據(jù)存下來;希望有一個過濾機制,將有用的事件保留、存儲下來。這樣做可能每秒只存不超過 10 GB 的數(shù)據(jù),這些數(shù)據(jù)可以用于以后的分析。他們希望過濾的越準(zhǔn)確越好,因此分為三種事件,構(gòu)建了一個深度學(xué)習(xí)模型,通過深度學(xué)習(xí)進(jìn)行學(xué)習(xí)分類,將這些數(shù)據(jù)精確分析,用于以后的工作中。你可以很方便地在 Analytics Zoo 在單機上進(jìn)行驗證,直接運行在一個分布式環(huán)境里進(jìn)行訓(xùn)練,最后訓(xùn)練出結(jié)果。因為每秒都會產(chǎn)生 1 TB 數(shù)據(jù),所以需要一個在線的、類似于像流式處理的平臺,這里他們用了 Spark DataFrame 進(jìn)行在線預(yù)測,對原子對撞事件進(jìn)行分類。
怎么應(yīng)用 Analytics Zoo ?比如在阿里云上面部署 EMR,使用 Analytics Zoo。
最后總結(jié)一下。我們之所以構(gòu)建Analytics Zoo 這樣的統(tǒng)計大數(shù)據(jù)分析 +AI平臺,就是希望能夠讓用戶在現(xiàn)實的生產(chǎn)環(huán)境中可以更方便構(gòu)架深度學(xué)習(xí)的應(yīng)用,將各種不同的模塊、不同的框架下統(tǒng)一到一個端到端流水線上,大大提高客戶開發(fā)部署大數(shù)據(jù)分析和深度學(xué)習(xí)的能力。
-
AI
+關(guān)注
關(guān)注
87文章
29438瀏覽量
267755 -
阿里云
+關(guān)注
關(guān)注
3文章
929瀏覽量
42877
原文標(biāo)題:演講實錄丨戴金權(quán) Analytics Zoo: 統(tǒng)一的大數(shù)據(jù)分析+AI 平臺
文章出處:【微信號:CAAI-1981,微信公眾號:中國人工智能學(xué)會】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論