技術(shù)揭秘AI開發(fā)降本提效之道：云智一體AI開發(fā)全棧模式

云計(jì)算在與人工智能技術(shù)的融合發(fā)展中，也在打破企業(yè)開發(fā)的邊界。3月27日，百度智能云“2021云智技術(shù)論壇”首場(chǎng)活動(dòng)在京舉辦，百度智能云重磅發(fā)布“云智一體的AI開發(fā)全棧模式”，基于獨(dú)有的 AI 原生云架構(gòu)，通過軟硬一體高性能AI開發(fā)基礎(chǔ)設(shè)施為企業(yè)提供AI開發(fā)全棧解決方案，并與到場(chǎng)的各個(gè)領(lǐng)域企業(yè)嘉賓分享了AI中臺(tái)的特性和實(shí)踐等等。作為國(guó)內(nèi)AI公有云服務(wù)市場(chǎng)第一的百度智能云正以“云智一體”獨(dú)家優(yōu)勢(shì)持續(xù)領(lǐng)跑市場(chǎng)。

百度智能云是百度AI技術(shù)落地的承載者和輸出者，已展現(xiàn)出“云智一體”這一獨(dú)特競(jìng)爭(zhēng)優(yōu)勢(shì)?！爸恰敝赴俣却竽X，作為智能云的核心基礎(chǔ)，經(jīng)過十余年積累，百度大腦已經(jīng)發(fā)展成核心技術(shù)領(lǐng)先的軟硬一體AI大生產(chǎn)平臺(tái)，為各行各業(yè)賦能的AI新型基礎(chǔ)設(shè)施。為了滿足產(chǎn)業(yè)智能化應(yīng)用的規(guī)?；a(chǎn)，百度智能云在行業(yè)率先提出了AI原生的云計(jì)算架構(gòu)，打造業(yè)界最適合跑AI的云，結(jié)合上層靈活易用、滿足各類開發(fā)者應(yīng)用需求的AI開發(fā)平臺(tái)，助力企業(yè)提升AI開發(fā)效率，提速智能化進(jìn)程。

軟硬一體高性價(jià)比的AI開發(fā)基礎(chǔ)設(shè)施 打造業(yè)界最適合跑AI的云

當(dāng)下，智能家居、智能金融、自動(dòng)駕駛、智慧醫(yī)療、智能零售、智能制造等領(lǐng)域的行業(yè)應(yīng)用正全面進(jìn)入AI原生階段。為了更好地適應(yīng)已經(jīng)來到的AI原生新階段，百度智能云構(gòu)建全棧的AI原生云架構(gòu)，面向AI應(yīng)用場(chǎng)景進(jìn)行深度的軟硬一體協(xié)同優(yōu)化，構(gòu)建業(yè)界最適合跑AI的云，在AI基礎(chǔ)設(shè)施層面能夠?yàn)槠髽I(yè)提供高性能的AI算力，更簡(jiǎn)單、易用、高效的開發(fā)過程，更流暢的端到端應(yīng)用開發(fā)全流程體驗(yàn)。

百度智能云主要通過AI計(jì)算、AI存儲(chǔ)、AI容器三層構(gòu)建AI開發(fā)基礎(chǔ)設(shè)施。具體來看：

AI計(jì)算層：基于百度“太行”彈性裸金屬產(chǎn)品為客戶提供高性能，多規(guī)格高性價(jià)比的算力服務(wù)。這里分為如下幾個(gè)維度分別介紹：

• ?芯片層面，擁有豐富的AI芯片類型，包括百度自研的昆侖芯片以及行業(yè)多規(guī)格的商業(yè)GPU和FPGA芯片，以滿足不同場(chǎng)景的AI算力需求。
• 單機(jī)服務(wù)器層面，基于X-MAN架構(gòu)的AI超級(jí)服務(wù)器，X-MAN是第一款能夠搭配4路CPU的超級(jí)AI計(jì)算機(jī)，突破CPU+GPU配比限制，更好的釋放GPU能力，讓CPU的能力不再成為GPU算力利用的約束限制，提升AI計(jì)算場(chǎng)景的整體計(jì)算能力。同時(shí)在單機(jī)內(nèi)部多卡之間通訊基于NVLink高速互聯(lián)。
• 百度的AI超級(jí)服務(wù)器統(tǒng)一通過百度自主研發(fā)的硬件虛擬化技術(shù)百度太行彈性裸金屬，以百度太行高性能計(jì)算實(shí)例的形態(tài)，能夠和其他云服務(wù)無縫接入，包括云存儲(chǔ)、云數(shù)據(jù)庫(kù)、云網(wǎng)絡(luò)等，同時(shí)也保持裸機(jī)層面的零損耗高性能。

AI存儲(chǔ)層：其核心是基于百度的對(duì)象存儲(chǔ)服務(wù)以及關(guān)聯(lián)的面向AI場(chǎng)景的加速和處理能力，解決客戶AI開發(fā)場(chǎng)景的數(shù)據(jù)存儲(chǔ)和分析問題。為此，百度智能云特別提供了面向AI計(jì)算的存儲(chǔ)服務(wù)架構(gòu)，并分為如下幾個(gè)層面：

• 第一層，是數(shù)據(jù)上云，幫助客戶的數(shù)據(jù)怎么能快速高效的上云，百度既提供面向離線傳輸?shù)拇疟P傳輸方式，也提供面向在線的cloud flow產(chǎn)品，支持客戶創(chuàng)建各種模型的在線傳輸任務(wù)。離線傳輸支持單臺(tái)百TB的數(shù)據(jù)遷移能力，在線數(shù)據(jù)流轉(zhuǎn)cloud flow兼容業(yè)界7種對(duì)象存儲(chǔ)接口。
• ?第二層，是數(shù)據(jù)存儲(chǔ)，百度以對(duì)象存儲(chǔ)為核心提供高性價(jià)比的存儲(chǔ)服務(wù)。百度對(duì)象存儲(chǔ)提供業(yè)界最先的4級(jí)數(shù)據(jù)存儲(chǔ)，并提供智能的生命周期管理和業(yè)界領(lǐng)先的讀寫性能，滿足客戶在大數(shù)據(jù)場(chǎng)景下的性價(jià)比需求。
• 第三層，就是數(shù)據(jù)的處理和AI加速層，在加速層面，百度提供一層Cache服務(wù)，基于更高速的存儲(chǔ)介質(zhì)，提供元數(shù)據(jù)加速，緩存的管理等能力，以提供更高性能的存儲(chǔ)能力，同時(shí)也在對(duì)象存儲(chǔ)上默認(rèn)集成了一些AI智能處理能力。百度的高速緩存能力，在一些場(chǎng)景下訓(xùn)練速度能提升4倍以上，同時(shí)也融合集成了幾十種智能處理能力。

此外，針對(duì)視頻、圖像等文件類型，百度智能云在BOS測(cè)試更好的封裝集成了百度相關(guān)的AI能力，包括幾十項(xiàng)圖像的審核能力，以及圖像增強(qiáng)和特效能力，用戶可以直接通過BOS的事件觸發(fā)框架，在數(shù)據(jù)訪問或者數(shù)據(jù)上傳時(shí)，直接通過統(tǒng)一的接口拓展來調(diào)用這些智能處理能力，讓數(shù)據(jù)分析和存儲(chǔ)更近，降低編碼復(fù)雜度，提升管理體驗(yàn)。

AI容器層：百度智能云的容器引擎服務(wù)CCE，提供基礎(chǔ)的Docker容器生命周期管理、大規(guī)模容器集群運(yùn)維管理、業(yè)務(wù)應(yīng)用一鍵式發(fā)布運(yùn)行等功能，還面向AI場(chǎng)景進(jìn)行了一系列的針對(duì)優(yōu)化，包括GPU異構(gòu)資源的管理，AI作業(yè)的調(diào)度管理等，以更高效的使用算力資源，提升資源自用使用率。具體介紹一下AI容器服務(wù)的一些關(guān)鍵特性：

• 支持GPU的共享能力，支持用戶進(jìn)行1/2、1/4等顆粒度的GPU算力資源管理。
• 在AI作業(yè)的調(diào)度層面，支持Gang、Spread、Binpack等調(diào)度算法，以及針對(duì)NVLink等GPU網(wǎng)絡(luò)架構(gòu)的感知調(diào)度能力。
• 在加速引擎層面，提供算子和通信加速引擎，算子加速在具體場(chǎng)景下可以提升數(shù)倍的推理效率，通信庫(kù)可以支持千卡規(guī)模的通信加速能力。

AI原生的云基礎(chǔ)設(shè)施上層打造AI開發(fā)雙平臺(tái) 云智一體的AI開發(fā)成為最優(yōu)解

伴隨著產(chǎn)業(yè)智能化的大潮，AI已成為諸多行業(yè)轉(zhuǎn)型升級(jí)的通用技術(shù)，企業(yè)級(jí)AI開發(fā)平臺(tái)的作用日益凸顯。依托AI原生的云基礎(chǔ)設(shè)施，基于百度自研的產(chǎn)業(yè)級(jí)開源深度學(xué)習(xí)平臺(tái)飛槳，滿足企業(yè)針對(duì)場(chǎng)景的定制化應(yīng)用需求，百度推出飛槳企業(yè)版，包括面向AI應(yīng)用開發(fā)者打造的零門檻AI開發(fā)平臺(tái)EasyDL和面向AI算法開發(fā)者建設(shè)的全功能AI開發(fā)平臺(tái)BML。

EasyDL和BML都可以滿足開發(fā)者數(shù)據(jù)獲取、特征提取、參數(shù)調(diào)優(yōu)、模型訓(xùn)練、模型評(píng)估、模型部署、推理服務(wù)等全流程需求，更具備豐富的任務(wù)場(chǎng)景、便捷高效的智能數(shù)據(jù)服務(wù)EasyData、內(nèi)置百度超大規(guī)模預(yù)訓(xùn)練模型所帶來的高精度效果、支持廣泛適配各類硬件的模型部署四大核心優(yōu)勢(shì)。

零門檻AI開發(fā)平臺(tái)EasyDL

EasyDL面向AI應(yīng)用開發(fā)者，支持圖像、文本、視頻、語音、OCR、結(jié)構(gòu)化數(shù)據(jù)、零售行業(yè)版7大技術(shù)方向，16種任務(wù)類型，支持公有云、本地服務(wù)部署、設(shè)備端、軟硬一體四種部署方案，已服務(wù)超過80萬用戶。從EasyData智能數(shù)據(jù)服務(wù)、模型訓(xùn)練到服務(wù)部署一站式全流程服務(wù)讓用戶無需了解算法細(xì)節(jié)，5分鐘即可上手，最快10分鐘完成模型訓(xùn)練。

數(shù)據(jù)準(zhǔn)備：在數(shù)據(jù)處理上，可直接使用智能數(shù)據(jù)服務(wù)平臺(tái)EasyData的強(qiáng)大能力，實(shí)現(xiàn)數(shù)據(jù)采集、評(píng)估、清洗、標(biāo)注的一站式服務(wù)。極大降低用戶獲取與處理數(shù)據(jù)的成本。

模型訓(xùn)練：EasyDL內(nèi)置了百度自研的超大規(guī)模視覺預(yù)訓(xùn)練模型和自然語言處理的預(yù)訓(xùn)練模型文心（ERNIE）2.0，對(duì)比開源數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練模型可以有效全面提升模型效果。

EasyDL還全新發(fā)布了多角度模型評(píng)估能力進(jìn)一步助力模型調(diào)優(yōu)，包括三種可視化歸因分析工具：

• ?混淆矩陣：可以通過數(shù)據(jù)統(tǒng)計(jì)，幫助開發(fā)者精準(zhǔn)判斷模型在哪些類別上容易出錯(cuò)，
• 熱力圖：可以進(jìn)一步地解釋模型的決策依據(jù)，在整圖范圍內(nèi)給出影響模型識(shí)別結(jié)果的像素重要程度
• 噪聲樣本挖掘：根據(jù)混淆矩陣和熱力圖，直接挖掘影響模型效果的噪聲樣本，幫助開發(fā)者有針對(duì)性的進(jìn)行模型迭代。

模型部署：為了滿足不同場(chǎng)景需求，百度提供了公有云 API、本地服務(wù)器部署、設(shè)備端 SDK、軟硬一體產(chǎn)品四大部署方式。用戶只需經(jīng)過簡(jiǎn)單的設(shè)置，就可以將訓(xùn)練好的模型轉(zhuǎn)換為滿足業(yè)務(wù)場(chǎng)景需求的服務(wù)。在設(shè)備端 SDK上，適配了NV Jetson 系列、Intel 神經(jīng)加速棒、華為 NPU、華為 Atlas、高通 DSP、RK 等超過15種主流芯片與四大操作系統(tǒng)，實(shí)現(xiàn)了業(yè)界適配最廣。

另外，EasyDL最近推出了端云協(xié)同部署方案。

端云協(xié)同部署基于百度開源的智能邊緣BIE框架搭建，開發(fā)者可以輕松在云端管理各類端與邊緣。

在端和邊緣設(shè)備上，只需一次集成邊緣套件，在本地，就可以輕松獲得AI模型本地推理、視頻流接入等功能。而在云端，可以進(jìn)行服務(wù)的下發(fā)和更新，還有報(bào)表的統(tǒng)計(jì)和節(jié)點(diǎn)的管理等功能。

端云協(xié)同部署非常適合一些具有聯(lián)網(wǎng)（或部分聯(lián)網(wǎng)）條件下的業(yè)務(wù)場(chǎng)景，開發(fā)者訓(xùn)練好模型，只要1分鐘，就可以將新的模型下發(fā)更新到邊緣端進(jìn)行驗(yàn)證或者批量部署?？梢詷O大提升AI模型開發(fā)的部署效率，使得開發(fā)者可以專注于業(yè)務(wù)本身。

EasyDL端云協(xié)同的部署方案可以運(yùn)行在各式各樣的智能終端，如盒子、一體機(jī)、服務(wù)器之中，在這些邊緣設(shè)備上，可以再接入各式傳感器，（如攝像機(jī)、MIC）。結(jié)合EasyDL的公有云部署和本地服務(wù)器部署，可以方便地構(gòu)建出云邊端融合的一整套AI解決方案，滿足各種業(yè)務(wù)場(chǎng)景下的AI應(yīng)用需求。

全功能AI開發(fā)平臺(tái)BML

BML則面向AI算法開發(fā)者構(gòu)建，在模型構(gòu)建和模型管理上，BML提供了高性價(jià)比的算力、更加易用多樣的建模方式。在模型管理上也提供了模型存儲(chǔ)、模型轉(zhuǎn)化、模型評(píng)估和模型優(yōu)化的功能?？梢哉fBML面向?qū)I(yè)算法開發(fā)者提供了更靈活和更強(qiáng)大的AI開發(fā)平臺(tái)。

BML具有以下四個(gè)核心優(yōu)勢(shì)，建模方式全面、預(yù)置高性能AI套件、交付靈活、提供多種國(guó)產(chǎn)化的解決方案，為企業(yè)提供自主可控廣泛適配的AI開發(fā)平臺(tái)。

建模方式：BML提供預(yù)置模型調(diào)參、Notebook、自定義作業(yè)、可視化建模等多種建模方式。其中，預(yù)置模型調(diào)參在實(shí)現(xiàn)了低代碼建模的基礎(chǔ)上，具備一定的腳本編輯靈活性，同時(shí)內(nèi)置了自動(dòng)超參搜索功能助力提升模型效果。BML提供的自動(dòng)超參搜索功能是創(chuàng)新基于隨機(jī)微分方程的無梯度優(yōu)化的調(diào)參算法，收斂速度快，不依賴平滑性假設(shè)，并且可以支持大規(guī)模的并行搜索調(diào)參。在開啟自動(dòng)超參搜索之后，BML線上多場(chǎng)景的模型精度平均可提升10%以上。

高性能AI套件：

• 高性能的機(jī)器學(xué)習(xí)套件。用于數(shù)據(jù)分析機(jī)器學(xué)習(xí)場(chǎng)景下的加速，套件可以產(chǎn)生十倍于開源套件的效果，它的接口十分兼容，使用高性能的機(jī)器學(xué)習(xí)套件后，在幾個(gè)常見的開源任務(wù)上性能都得到了大幅度提升。
• 飛槳文心ERNIE開發(fā)套件。飛槳的可持續(xù)學(xué)習(xí)語義學(xué)習(xí)模型，除此之外還提供30+算法工具，20+細(xì)化的預(yù)訓(xùn)練模型，20+數(shù)據(jù)處理的工具和20+基礎(chǔ)開發(fā)的工具，使整個(gè)數(shù)據(jù)標(biāo)注投入的算法、開發(fā)時(shí)長(zhǎng)都有大幅度降低，效率大幅度提升。

交付方式：BML有四種滿足不同需求的交付方式，包括公有云、私有云、混合云、一體機(jī)。其中一體機(jī)提供了通用的機(jī)架式的服務(wù)器方案和基于天蝎的整機(jī)柜方案，對(duì)于整體功耗、性能、散熱等都進(jìn)行了優(yōu)化，并通過模型加密、代碼加固、TPM可信鑒權(quán)、主機(jī)防護(hù)等方式強(qiáng)化了安全保障。

國(guó)產(chǎn)化的解決方案：BML全面支持從國(guó)產(chǎn)深度學(xué)習(xí)框架飛槳，到麒麟等國(guó)產(chǎn)操作系統(tǒng)，再到國(guó)產(chǎn)CPU和GPU以及長(zhǎng)城、曙光、聯(lián)想、浪潮推出的各類硬件形態(tài)，構(gòu)成了自主可控、適配廣泛的BML一體機(jī)，高性價(jià)比的算力資源滿足各類算力需求。

企業(yè)在智能化升級(jí)的過程中，特別是從一個(gè)單點(diǎn)垂直場(chǎng)景的應(yīng)用發(fā)展到多個(gè)業(yè)務(wù)場(chǎng)景的全面升級(jí)階段時(shí)，企業(yè)還會(huì)面臨來自AI能力的生產(chǎn)、應(yīng)用和運(yùn)維以及管理層面的諸多問題，這時(shí)候企業(yè)就會(huì)需要AI中臺(tái)，作為企業(yè)自身的一套AI能力的生產(chǎn)和集中化管理的平臺(tái)。

AI中臺(tái)是企業(yè)的一個(gè)智能中樞，連通企業(yè)內(nèi)部的數(shù)據(jù)、知識(shí)和業(yè)務(wù)，更快更高效支撐上層的智能化的業(yè)務(wù)應(yīng)用和業(yè)務(wù)創(chuàng)新。百度智能云AI中臺(tái)的核心包括AI能力引擎、AI開發(fā)平臺(tái)，再結(jié)合與之配套的數(shù)據(jù)管理、服務(wù)管理、全線資源運(yùn)維管理體系等，企業(yè)就能構(gòu)建一套智能化升級(jí)的基礎(chǔ)設(shè)施。在AI能力引擎方面，企業(yè)可以從百度已有的270多項(xiàng)成熟AI能力中直接選擇應(yīng)用。AI 開發(fā)平臺(tái)包括EasyDL、BML和場(chǎng)景化定制平臺(tái)UNIT等，滿足企業(yè)的多層次開發(fā)需求。百度智能云結(jié)合具體行業(yè)特點(diǎn)，目前已經(jīng)打造了能源、金融、城市、媒體等多個(gè)行業(yè)化AI中臺(tái)落地解決方案，為不同行業(yè)的企業(yè)客戶提供建設(shè)AI開發(fā)和應(yīng)用的自主能力，集約化管理企業(yè) AI 能力和資源，統(tǒng)籌規(guī)劃企業(yè)智能化升級(jí)版圖的有效路徑。

當(dāng)人工智能與傳統(tǒng)行業(yè)加速融合，進(jìn)入快速、大規(guī)模應(yīng)用的階段，百度把基于自身AI技術(shù)和生態(tài)的長(zhǎng)期積累形成的領(lǐng)先勢(shì)能釋放出來，以真正滿足智能時(shí)代場(chǎng)景應(yīng)用需求的“云智一體”的方式賦能產(chǎn)業(yè)?！霸浦且惑w”成為百度智能云的核心優(yōu)勢(shì)，也是擁抱AI的企業(yè)和開發(fā)者的最優(yōu)選擇。