全域 Serverless+AI，華為云加速大模型應(yīng)用開發(fā)

日前，華為全聯(lián)接大會(huì) 2023 在上海召開。華為云 CTO 張宇昕在大會(huì)上發(fā)布了基于 Serverless 技術(shù)的大模型應(yīng)用開發(fā)框架，框架以面向 AI 領(lǐng)域全新升級(jí)的 FunctionGraph3.0 為核心，將 BaaSforAI后端和開放平臺(tái)快速無縫集成，助力企業(yè)輕松商用 AI 應(yīng)用。

在“全域 Serverless+AI加速應(yīng)用創(chuàng)新”專題演講上，華為云首席產(chǎn)品官方國(guó)偉、華為 2012 實(shí)驗(yàn)室中軟分布式與并行軟件實(shí)驗(yàn)室主任譚焜，分享了 Serverless 和 AI 如何結(jié)合的前沿理念和實(shí)踐，深度解析華為云在 Serverless 領(lǐng)域核心產(chǎn)品及基于元戎架構(gòu)構(gòu)建的分布式內(nèi)核能力，為開發(fā)者打造 ServerlessAI 極優(yōu)體驗(yàn)，幫助企業(yè)加速應(yīng)用創(chuàng)新；廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長(zhǎng)福分享了在建筑行業(yè)，如何基于華為云 Serverless 產(chǎn)品 FunctionGraph 優(yōu)化 AI 應(yīng)用開發(fā)，提升交付效率。

全域 Serverless 為千行萬業(yè)深度用云

帶來新體驗(yàn)

方國(guó)偉介紹，在 AI 時(shí)代背景下，軟件開發(fā)的方式由以代碼為中心，走向以模型為中心，如何將 AI 大模型能力充分利用起來，是當(dāng)下云廠商積極探索的事情。

華為云首席產(chǎn)品官方國(guó)偉

企業(yè)研發(fā)人員在構(gòu)建 AIGC 應(yīng)用時(shí)更多關(guān)注開發(fā)部署門檻能否降低，更快的完成企業(yè)需求。運(yùn)維人員要確保系統(tǒng)能夠穩(wěn)定運(yùn)行，在業(yè)務(wù)量高峰時(shí)刻做到快速彈性，業(yè)務(wù)量小時(shí)節(jié)約成本，企業(yè)既能實(shí)現(xiàn)業(yè)務(wù)目標(biāo)，又能保證系統(tǒng)可靠性高、成本較低。

為了更好的支撐 AIGC 應(yīng)用，華為云提供了全域 Serverless 能力，推出了 CCEAutopilot、FunctionGraph、CAE 等 Serverless 產(chǎn)品，將一系列的 AI 原生技術(shù)構(gòu)筑成后端服務(wù)，形成 BaaSforAI 能力，調(diào)用即可得。結(jié)合完善的工具鏈，幫忙企業(yè)快速構(gòu)建應(yīng)用。

Serverless容器 CCEAutopilot、CCI 讓用戶無需關(guān)注底層資源，自動(dòng)運(yùn)維，幫助用戶降低運(yùn)維成本。

在 CloudBursting 場(chǎng)景，去哪兒網(wǎng)基于 CCI 打造了靈活上云新體驗(yàn)，完成業(yè)務(wù) 0 改造，實(shí)現(xiàn) 4000 實(shí)例/30s 的極致彈性。

FunctionGraph3.0 八大關(guān)鍵能力，

助力 AIGC 應(yīng)用創(chuàng)新

全新升級(jí)的 FunctionGraph3.0，新增 Serverless 應(yīng)用中心、獨(dú)創(chuàng) Snapshot 冷啟動(dòng)加速、預(yù)留實(shí)例智能推薦特性，配合異構(gòu)資源虛擬化技術(shù)，實(shí)現(xiàn) AIGC 應(yīng)用低成本、低延遲，加上端到端的全鏈路壓測(cè)和全?？捎^測(cè)能力，助力 AIGC 應(yīng)用快速開發(fā)，天級(jí)上線。

杭州曼孚科技有限公司是行業(yè)領(lǐng)先的 AI 基礎(chǔ)架構(gòu)與數(shù)據(jù)智能平臺(tái)服務(wù)商，基于 FunctionGraph 構(gòu)建自動(dòng)化 AI 訓(xùn)練平臺(tái)，更細(xì)粒度的 GPU 算力供給加上按需全自動(dòng)資源彈性，實(shí)現(xiàn)成本降低 40%。

華為云 Serverless 事件總線服務(wù)事件網(wǎng)格 EventGrid 能夠支持統(tǒng)一事件中心、事件驅(qū)動(dòng)引擎、開放與集成、降低開發(fā)成本四大典型場(chǎng)景，為企業(yè)提供中心化的事件集成、治理和驅(qū)動(dòng)能力。

在車聯(lián)網(wǎng)場(chǎng)景，某 Top 車企使用 EventGrid 構(gòu)建 Serverless 化的事件驅(qū)動(dòng)架構(gòu)的同時(shí)，實(shí)現(xiàn)上下游異步解耦，便于擴(kuò)展和避免單點(diǎn)故障；作為無碼化對(duì)接的事件中心，避免云服務(wù)間點(diǎn)對(duì)點(diǎn)對(duì)接，減少 50%開發(fā)工作量以及數(shù)據(jù)高可靠 0 丟失和數(shù)據(jù)規(guī)則調(diào)整 0 變更。降低成本。

Serverless 應(yīng)用托管 CAE 產(chǎn)品升級(jí)：支持應(yīng)用 0 代碼修改平遷上云，用戶無需修改業(yè)務(wù)代碼；支持 Web/微服務(wù)應(yīng)用 Serverless 化，幫助企業(yè)降本增效，提升業(yè)務(wù)穩(wěn)定性。

香港新世界旗下廣州新合創(chuàng)科技有限公司，使用 CAE 全托管模式提升 50%效率；后續(xù)還會(huì)根據(jù)商場(chǎng)人流峰值設(shè)定定時(shí)伸縮，節(jié)省資源以降低成本。

BaaSforAI：華為云 BaaS 服務(wù) DWS3.0提供 PayByResource 彈性模式和 PayByQuery 彈性模式，幫助企業(yè)實(shí)現(xiàn)后端服務(wù) Serverless 化。

“華為云提供全域 Serverless 能力，讓開發(fā)者 5 倍速開發(fā)行業(yè)大模型，支撐千行萬業(yè)的 AI 應(yīng)用開發(fā)。面向 AI 領(lǐng)域全新升級(jí)的 FunctionGraph3.0，真正實(shí)現(xiàn)大模型應(yīng)用即開即關(guān)、即時(shí)響應(yīng)，無限擴(kuò)展?！?/p>

Serverless挺進(jìn)AI，

強(qiáng)強(qiáng)聯(lián)合加速 AI 應(yīng)用創(chuàng)新

華為 2012 實(shí)驗(yàn)室中軟分布式與并行軟件實(shí)驗(yàn)室主任譚焜

基于自主創(chuàng)新元戎內(nèi)核構(gòu)建的 FunctionGraph3.0 如何保障 AI 應(yīng)用開發(fā)部署低成本和響應(yīng)低時(shí)延，譚焜做了深入的技術(shù)分享:

模型開發(fā)部署依賴昂貴的異構(gòu)資源。傳統(tǒng)的異構(gòu)函數(shù)，CPU 和 XPU 資源綁定分配，單一推理函數(shù)包含 CPU 和 XPU 操作，操作 CPU 時(shí) XPU 空閑，操作 XPU 時(shí) CPU 空閑，資源利用率低。元戎獨(dú)創(chuàng)的純 XPU 異構(gòu)函數(shù)，CPU 和 XPU 資源綁定解耦，用戶可把不同類型資源的操作寫成不同的函數(shù)，執(zhí)行時(shí)分解到不同算力處理器上，無閑置資源。

FunctionGraph 打造 ServerlessAI 最佳平臺(tái)

在大模型推理場(chǎng)景，包括全量推理和增量推理兩個(gè)階段。全量推理階段算力需求遠(yuǎn)高于增量推理階段，增量推理階段，耗時(shí)可能遠(yuǎn)長(zhǎng)于全量推理階段。針對(duì)這類場(chǎng)景，元戎可以做到全量推理和增量推理解耦，各自按需彈性擴(kuò)縮，精確算力供給，真正按使用量計(jì)費(fèi)，降低用戶成本。

更快的應(yīng)用響應(yīng)速度意味著更好的用戶體驗(yàn)。元戎自主創(chuàng)新的 FoldFormerAI 模型可在線持續(xù)預(yù)測(cè)用戶業(yè)務(wù)負(fù)載，提前進(jìn)行實(shí)例預(yù)熱，達(dá)到 85%~95%準(zhǔn)確率，大大降低了冷啟動(dòng)概率。無法被準(zhǔn)確預(yù)測(cè)的流量，通過一系列優(yōu)化措施加速冷啟動(dòng)。在用戶模型下載階段，基于內(nèi)置的內(nèi)存數(shù)據(jù)系統(tǒng)和 SSD 構(gòu)建的分級(jí)高速緩存，實(shí)現(xiàn)系統(tǒng)內(nèi)緩存模型文件，大幅縮短下載時(shí)間。計(jì)算時(shí)，模型按 Layer 分批加載，并根據(jù)用戶 SLA 和模型推理時(shí)延歷史數(shù)據(jù)構(gòu)建最優(yōu) pipeline,降低參數(shù)加載和模型推理總時(shí)延，冷啟動(dòng)優(yōu)化到秒級(jí)。

譚焜最后總結(jié)道：“基于元戎內(nèi)核，F(xiàn)unctionGraph3.0 提供異構(gòu)函數(shù)極速冷啟動(dòng)，細(xì)粒度異構(gòu)資源管理和按需彈性擴(kuò)縮，打造 ServerlessAI 極低成本和極致性能；依托華為云豐富的 BaaS 服務(wù)和全托管的開發(fā)環(huán)境，打造 ServerlessAI 極優(yōu)體驗(yàn)?！?/p>

AI 賦能建筑行業(yè)數(shù)字化

廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長(zhǎng)福發(fā)表 AI 賦能建筑行業(yè)數(shù)字化主題演講?！皬V聯(lián)達(dá)作為數(shù)字建筑平臺(tái)服務(wù)商，立足建筑產(chǎn)業(yè)，圍繞工程項(xiàng)目的全生命周期，為客戶提供數(shù)字化解決方案，公司提出“數(shù)字建筑”理念，希望通過“數(shù)字建筑”系統(tǒng)、全面、深度地助力建筑產(chǎn)業(yè)轉(zhuǎn)型升級(jí)?！?/p>

廣聯(lián)達(dá)科技股份有限公司首席業(yè)務(wù)專家/副總裁祁長(zhǎng)福

祁長(zhǎng)福介紹，在技術(shù)方面，廣聯(lián)達(dá)通過大力研發(fā) BIM和云計(jì)算、大數(shù)據(jù)、物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、人工智能等信息技術(shù)引領(lǐng)產(chǎn)業(yè)轉(zhuǎn)型升級(jí)。

在 AI 領(lǐng)域，廣聯(lián)達(dá)圍繞行業(yè)難點(diǎn)，圍繞設(shè)計(jì)、成本、施工等重點(diǎn)領(lǐng)域，打造核心 AI 應(yīng)用。應(yīng)用設(shè)計(jì)采用 Serverless 理念，依托華為云 Serverless 服務(wù)構(gòu)建解決方案，將 AI 模型以鏡像方式部署在 FunctionGraph，對(duì)外提供通用 API，無需管理運(yùn)維異構(gòu)資源（GPU 等），模型實(shí)例隨業(yè)務(wù)量全自動(dòng)擴(kuò)縮容，無請(qǐng)求時(shí)實(shí)例縮容到 0，低成本高可用運(yùn)行。上層應(yīng)用采用 FaaS+BaaS 的 Serverless 應(yīng)用架構(gòu)，集成模型推理接口，只需專注于業(yè)務(wù)邏輯代碼，可函數(shù)級(jí)粒度并行開發(fā)，快速迭代應(yīng)用。

華為云 FunctionGraph 技術(shù)極大的優(yōu)化了 AI 應(yīng)用的開發(fā)過程，讓 AI 團(tuán)隊(duì)可以更關(guān)注業(yè)務(wù)實(shí)現(xiàn)，而無需關(guān)注底層技術(shù)細(xì)節(jié)。

“廣聯(lián)達(dá)以推動(dòng)建筑行業(yè)數(shù)字化為己任，著力打造‘?dāng)?shù)字+連接+算法’的系統(tǒng)性數(shù)字化。圍繞行業(yè)痛點(diǎn)，我們以智能化技術(shù)為基礎(chǔ)，依托華為云 FunctionGraphSeverless 架構(gòu)，打造建筑從業(yè)人員的 CoPilot，幫助行業(yè)人員提升作業(yè)效率，提高管理水平和決策質(zhì)量。”

未來，華為云將持續(xù)落地全域 Serverless 產(chǎn)品，與華為 2012 實(shí)驗(yàn)室深度合作，以 FunctionGraph3.0 為核心，打造 ServerlessAI 極低成本和極致性能，充分滿足大模型應(yīng)用的敏捷要求，助力千行萬業(yè)深度用云。

審核編輯 黃宇