Analytics Zoo: 統(tǒng)一的大數(shù)據(jù)分析+AI 平臺

5月25日-26日，由中國人工智能學(xué)會主辦，南京市麒麟科技創(chuàng)新園管理委員會與京東云共同承辦的2019全球人工智能技術(shù)大會（2019 GAITC）在南京紫金山莊成功舉行。

在第一天的主論壇上，英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球 CTO戴金權(quán)發(fā)表了主題為《Analytics Zoo: 統(tǒng)一的大數(shù)據(jù)分析+AI 平臺》的精彩演講。

戴金權(quán)

英特爾高級首席工程師、大數(shù)據(jù)技術(shù)全球 CTO

以下是戴總的演講實錄：

在英特爾如何構(gòu)建統(tǒng)一的大數(shù)據(jù)分析+AI 平臺（我們稱為開源項目），幫助客戶更高效地開發(fā)大數(shù)據(jù)、大規(guī)模深度學(xué)習(xí)的應(yīng)用。英特爾致力于提供端到端，從設(shè)備端到邊緣，再到數(shù)據(jù)中心云端完整的計算架構(gòu)，比如在數(shù)據(jù)中心，今天英特爾志強服務(wù)器是 AI 應(yīng)用分析的基礎(chǔ)架構(gòu)，月提供了多種像神經(jīng)網(wǎng)絡(luò)處理器等豐富的硬件架構(gòu)。同樣在軟件上，我們也是致力于提供全站的解決方案，從最底層的核心算子開源項目可以幫助用戶更高效開發(fā)他們的計算庫；再到上層各種機器學(xué)習(xí)或者深度學(xué)習(xí)的框架，比如對開源的 Analytics Zoo，深度學(xué)習(xí)做了大量的優(yōu)化工作；再到最上層，也提供了一些開源工具包，目的是幫助應(yīng)用開發(fā)人員更高效地開發(fā)基于深度學(xué)習(xí)的應(yīng)用。

今天在這里著重分享的是基于大數(shù)據(jù)分析處理的框架上開發(fā)并且開源的兩個項目，一個是 BIGDL，是我們兩年半以前開源的一個深度學(xué)習(xí)的框架；在這個基礎(chǔ)上，去年又開源了 Analytics Zoo，構(gòu)建一個端到端的大數(shù)據(jù)分析 + 深度學(xué)習(xí)的平臺。為什么在英特爾開發(fā)，并且開源基于大數(shù)據(jù)平臺上的大數(shù)據(jù)分析 +AI 的平臺工具？

下圖中黑色的小框代表機器學(xué)習(xí)或者深度學(xué)習(xí)的模型，它很關(guān)鍵，從某種意義上決定了硬件有怎樣的功能，做到怎樣的事情。但是會發(fā)現(xiàn)，當(dāng)想把這樣一個深度學(xué)習(xí)、機器學(xué)習(xí)模型應(yīng)用到實際場景，從實驗室搬到現(xiàn)實工業(yè)級機器學(xué)習(xí)中，構(gòu)建這樣的端到端應(yīng)用是非常復(fù)雜的，要有大量的其他模塊，比如怎樣收集數(shù)據(jù)、處理數(shù)據(jù)和驗證數(shù)據(jù)，包括資源管理、集群監(jiān)控等。整個端到端的流水線是由一個非常多的模塊組成的，一個端到端大數(shù)據(jù)處理分析再加上深度學(xué)習(xí)、機器學(xué)習(xí)的流水線。

下圖是我們在兩年前和京東的一個合作。京東帶來的幾億張圖片，存儲在一個大規(guī)模分布式大數(shù)據(jù)集群里，我們做的事情是要對這些圖片——識別物品。比如，這張圖片上是一只鳥，然后提取特征。從深度學(xué)習(xí)、機器學(xué)習(xí)來說，不是特別復(fù)雜的應(yīng)用，做物品識別、提取持證就可以了。但是事實上發(fā)現(xiàn)，在對大規(guī)模的圖片讀取數(shù)據(jù)，對圖片進(jìn)行分布式處理，再進(jìn)行模型推理；當(dāng)識別物品時，對物品進(jìn)行抽取，再進(jìn)行處理，再提取特征等，把整個端到端流水線在大規(guī)模的圖片里是跑不好的。當(dāng)要把這些機器學(xué)習(xí)、深度學(xué)習(xí)等技術(shù)應(yīng)用到實際應(yīng)用中，會有一個比較大的斷層，今天很多的科學(xué)家做了非常多的深度學(xué)習(xí)、機器學(xué)習(xí)的有效工作，但是如何將新技術(shù)、新創(chuàng)新應(yīng)用到現(xiàn)實環(huán)境中，特別是在一些非常大規(guī)模、大數(shù)據(jù)生產(chǎn)系統(tǒng)中，從軟硬件架構(gòu)上有非常大的一個斷層。這就是為什么我們會去開源，像BIGDL，特別是 Analytics Zoo 平臺，能夠?qū)⒉煌哪K不管是用 TensorFlow 還是用Keras，將這些不同模塊的程序能夠無縫運行在端到端流水線上，大大提升開發(fā)效率。

總之，我們開發(fā)并且開源的目的是讓大家更加方便開發(fā)大數(shù)據(jù)、大規(guī)模深度學(xué)習(xí)的應(yīng)用。通常很多用戶開始開發(fā)應(yīng)用時，可能在一個筆記本上構(gòu)建一個簡單原形，當(dāng)你覺得原形看還不錯時，希望可以跑歷史數(shù)據(jù)，對過去幾個月或者幾年的數(shù)據(jù)進(jìn)行一些驗證，為端到端的流水線構(gòu)造原形。在實驗上覺得效果還不錯，就希望部署到生產(chǎn)系統(tǒng)中，可能進(jìn)行上線。同時也是大規(guī)模、大數(shù)據(jù)處理的流水線，可以讓你的程序運行在一個大標(biāo)準(zhǔn)集群里，直接利用現(xiàn)有的大數(shù)據(jù)集群、大數(shù)據(jù)計算資源運行你的程序，從而能夠提高你進(jìn)行開發(fā)并且部署深度學(xué)習(xí)應(yīng)用的效率。

有關(guān) Analytics Zoo 一些技術(shù)細(xì)節(jié)的構(gòu)成。總的來說，構(gòu)建在很多不同底層計算的庫和框架上，在上面構(gòu)建一些豐富的流水線支持；再上面也提供了一些解決方案，包括預(yù)定模型。

下面來看一下具體的例子。有人和我說不要放太多代碼在里面，用 Spark 構(gòu)建一個 RDD，對大規(guī)模數(shù)據(jù)進(jìn)行分布式處理。對各種各樣的數(shù)據(jù)源，不管是數(shù)據(jù)倉庫的方式，還是讀寫數(shù)據(jù)庫，或者是讀寫各種各樣的分布式文件系統(tǒng)，可以直接使用 Spark Dataframe。下面的圖片是說，如能夠使用剛才訓(xùn)練的模型，就可以使用我們的模型推理進(jìn)行大規(guī)模分布式應(yīng)用，在自己 Keras 等框架內(nèi)都很容易將我們深度學(xué)習(xí)模型集成在這些流水式處理或者在線處理中，而且在這個背后也可以透明地使用像 Analytics Zoo 的工具，對模型進(jìn)行壓縮加速，包括至強深度學(xué)習(xí)加速指令對它進(jìn)行加速；同時可以跑在大規(guī)模集群上進(jìn)行分布式推理。

我們真正的用戶是怎么具體使用的？解決他們什么問題？下圖是我們和美的的合作，他們希望通過計算機視覺將其生產(chǎn)線生產(chǎn)出來的產(chǎn)品自動識別瑕疵、沒有貼標(biāo)簽等。

工業(yè)機器人接上攝像機，對流水線出來的產(chǎn)品進(jìn)行拍照，拿到照片后進(jìn)行識別，產(chǎn)品上是不是有缺陷。比如，下圖中可以看到空調(diào)上少了一個螺絲。上圖中，粉紅色是對大規(guī)模圖片進(jìn)行處理；黃色是 SSDLite這樣的一個模型，使用 Analytics Zoo API和 Spark 數(shù)據(jù)可以整合起來，在 Spark 上進(jìn)行訓(xùn)練。

下面這個例子是我們和微軟中國團(tuán)隊的合作，他們希望給大家提供客戶。比如，他們有一個微信公眾號，在他們的微信公眾號上可以提問題，如怎么聯(lián)不上我的虛擬機、怎么重啟我的虛擬機、怎么開發(fā)票等。原來他們的做法是，在特定領(lǐng)域完成特定任務(wù)的對話。上午的報告中有很多專家提到，在垂直領(lǐng)域定義模版。他們有很多定義好的流程，可以隨著流程走?，F(xiàn)在很多人不隨著流程走，隨便問一些問題，怎么開不了發(fā)票？因為內(nèi)部有大量知識庫和準(zhǔn)備好的問答，通過關(guān)鍵詞的匹配可以幫你去搜索，搜索出一些文章，希望滿足你的問題。這里，希望我們幫他做一些問答匹配，把相關(guān)的回答反饋給用戶，用戶看到這些問題后，可能解決了他的問題或者沒有；如果沒有解決，就要轉(zhuǎn)人工處理。轉(zhuǎn)人工處理是非常昂貴的事情，不同的問題要轉(zhuǎn)到不同的后臺，所以要有對意圖進(jìn)行分類的模塊，將問題做一些分類，到底是財務(wù)的問題，還是網(wǎng)絡(luò)的問題，還是虛擬機的問題。

Office Depot，賣辦公用品的一個電商，做一些產(chǎn)品的推薦，當(dāng)把一個物品加入到購物車后，根據(jù)你的行為推薦一些相關(guān)的物品。這是一個跑在云上的應(yīng)用，使用 Spark 和 Analytics Zoo 上進(jìn)行訓(xùn)練，使用 mleap 就可以直接將 pipeline 模型保存下來，訓(xùn)練出來的模型直接部署在 AWS S3，通過 BigDL 把它部署在一個 DNN 進(jìn)行在線推理。

萬事達(dá)，希望給大家推送一些促銷信息，到哪里去購物，我給你一個立減等類似的優(yōu)惠，希望把這些推送到相關(guān)的客戶，客戶收到這些信息后會買東西。但是有一個特別的問題，我們會根據(jù)用戶過去購買行為進(jìn)行分析，將用戶過去的購買行為、交易的數(shù)據(jù)是放在數(shù)據(jù)庫里的，怎樣能夠在Apache Hadoop 現(xiàn)有集群上運行這些新的深度學(xué)習(xí)應(yīng)用？這時就可以使用 Analytics Zoo 深度學(xué)習(xí)框架，可以在現(xiàn)有大數(shù)據(jù)分析集群上，和其他的業(yè)務(wù)共享同一個集群，來運行這些新的深度學(xué)習(xí)應(yīng)用。

CENR，歐洲的盒子研究中心，他們每天都在進(jìn)行每秒大約 4 000 萬原子對撞，產(chǎn)生 1 TB 數(shù)據(jù)，他們希望把這些數(shù)據(jù)存下來；希望有一個過濾機制，將有用的事件保留、存儲下來。這樣做可能每秒只存不超過 10 GB 的數(shù)據(jù)，這些數(shù)據(jù)可以用于以后的分析。他們希望過濾的越準(zhǔn)確越好，因此分為三種事件，構(gòu)建了一個深度學(xué)習(xí)模型，通過深度學(xué)習(xí)進(jìn)行學(xué)習(xí)分類，將這些數(shù)據(jù)精確分析，用于以后的工作中。你可以很方便地在 Analytics Zoo 在單機上進(jìn)行驗證，直接運行在一個分布式環(huán)境里進(jìn)行訓(xùn)練，最后訓(xùn)練出結(jié)果。因為每秒都會產(chǎn)生 1 TB 數(shù)據(jù)，所以需要一個在線的、類似于像流式處理的平臺，這里他們用了 Spark DataFrame 進(jìn)行在線預(yù)測，對原子對撞事件進(jìn)行分類。

怎么應(yīng)用 Analytics Zoo ？比如在阿里云上面部署 EMR，使用 Analytics Zoo。

最后總結(jié)一下。我們之所以構(gòu)建Analytics Zoo 這樣的統(tǒng)計大數(shù)據(jù)分析 +AI平臺，就是希望能夠讓用戶在現(xiàn)實的生產(chǎn)環(huán)境中可以更方便構(gòu)架深度學(xué)習(xí)的應(yīng)用，將各種不同的模塊、不同的框架下統(tǒng)一到一個端到端流水線上，大大提高客戶開發(fā)部署大數(shù)據(jù)分析和深度學(xué)習(xí)的能力。