構(gòu)建 MaaS 平臺
本案例中,九州未來的團(tuán)隊(duì)基于NVIDIA AI Enterprise的全棧軟件套件,構(gòu)建其 MaaS 大模型一體化開發(fā)及部署平臺,該平臺同時(shí)支持云端部署和私有化部署,通過九州未來開發(fā)的算力調(diào)度平臺軟件,實(shí)現(xiàn)云端資源與大模型一體機(jī)的算力協(xié)調(diào)和開發(fā)協(xié)同。
兼顧企業(yè)級的
安全性、可靠性和性能
隨著大模型的持續(xù)發(fā)展,特別是垂直領(lǐng)域大模型,對于數(shù)據(jù)安全性及私密性、模型工具鏈及平臺的通用性和可靠性、模型上線部署的易用性及推理性能等諸多方面提出了更多的訴求。面對快速增長的市場及客戶需求,九州未來基于 NVIDIA AI Enterprise 自主開發(fā)了其大模型 MaaS 平臺,不僅支持端到端的垂直領(lǐng)域大模型的開發(fā)全流程,同時(shí)支持線下一體機(jī)部署與云端資源協(xié)調(diào)模式,在最大化保護(hù)企業(yè)數(shù)據(jù)安全性的同時(shí),兼顧靈活的算力調(diào)度與協(xié)調(diào)供給。
九州未來創(chuàng)始人兼 CEO 張淳先生表示,“AIGC 促進(jìn)智能算力爆發(fā)式增長,并正加速邁入全面應(yīng)用時(shí)代,今后一定不是裸算力簡單的資源管理方式,一定需要用軟件定義精算力來多元化地管理并提升 GPU 的附加價(jià)值,助力加速垂直模型和應(yīng)用落地的效率?!?/p>
為構(gòu)建自定義
生成式 AI 應(yīng)用提供支持
NVIDIA AI Enterprise 是一個(gè)為企業(yè)提供生產(chǎn)就緒型全棧的軟件解決方案,提供并保證其可靠的 AI 正常運(yùn)行和不間斷的 AI 卓越表現(xiàn),實(shí)現(xiàn)利用生成式 AI 進(jìn)行創(chuàng)新的企業(yè)加速開發(fā)。
九州未來通過 10 余年云邊自主研發(fā)軟件的技術(shù)積累,結(jié)合近年來賦能智算中心的不斷落地,通過 NVIDIA AI Enterprise 深度的技術(shù)整合,以大模型為基礎(chǔ)、輕量化微調(diào)的 MaaS 服務(wù)作為其核心服務(wù)能力之一,基于基礎(chǔ)模型訓(xùn)練后的行業(yè)大模型,使用相關(guān)行業(yè)數(shù)據(jù)進(jìn)行微調(diào)或知識檢索能力的導(dǎo)入,再通過NVIDIA TensorRT-LLM及NVIDIA Triton推理服務(wù)器的推理優(yōu)化和實(shí)現(xiàn)一鍵部署后,可以為特定行業(yè)提供高質(zhì)量高性能的大模型 AI 應(yīng)用。
上圖的大模型 MaaS 平臺,端到端包含 Animbus PaaS 平臺(集成NVIDIA GPU Operator和Network Operator)、NVIDIA AI Enterprise 軟件套件(包括NeMo Framework– Training Container 和 Inference Container)、MaaS 大模型服務(wù)及應(yīng)用 UI 交互界面,以上所有的軟件以及對應(yīng)的操作系統(tǒng)鏡像會打包到一個(gè) U 盤里面,實(shí)現(xiàn)一個(gè) U 盤即可快速啟動大模型一體機(jī)的服務(wù)。
NVIDIA NeMo Framework
加速行業(yè)大模型開發(fā)
LLM(大型語言模型)的全面解決方案
在 MaaS 平臺的二次開發(fā)和深度整合的過程中,九州未來團(tuán)隊(duì)使用 NVIDIA AI Enterprise 中的 NeMo Framework,一款端到端面向企業(yè)級交付、云原生大模型的框架,可以靈活地構(gòu)建、定制和部署生成式 AI 模型。
該平臺承載了諸多優(yōu)質(zhì)的大模型精選體驗(yàn),結(jié)合特有的行業(yè)知識快速導(dǎo)入能力,用戶能夠很好地訓(xùn)練、微調(diào)、評估、優(yōu)化及部署模型。對于選擇好基礎(chǔ)模型的用戶,提供全流程的向?qū)椒?wù),訓(xùn)練過程中的訓(xùn)練數(shù)據(jù)實(shí)時(shí)可查,用戶可輕松基于數(shù)據(jù)集、使用最好的超參數(shù)完成微調(diào)任務(wù),在模型完成評估后,實(shí)現(xiàn)大模型的一鍵優(yōu)化部署。
主要支持訓(xùn)練及優(yōu)化功能:
基礎(chǔ)大模型倉庫
SFT/PEFT/提示詞工程
推理優(yōu)化及一鍵部署
知識導(dǎo)入及向量數(shù)據(jù)庫服務(wù)
通過 NVIDIA AI Enterprise 整體軟件棧的加速,大模型微調(diào)和推理性能相比開源推理框架有大幅提升。
線形圖代表在不同 Batch 的情況下完成每次推理請求的平均時(shí)延,越低代表越好;
柱狀圖代表在不同 Batch 情況下的每秒鐘生成的 Token 數(shù)量,越高代表越好
準(zhǔn)備好開始了嗎?
審核編輯:湯梓紅
-
NVIDIA
+關(guān)注
關(guān)注
14文章
4814瀏覽量
102632 -
AI
+關(guān)注
關(guān)注
87文章
29359瀏覽量
267646 -
大模型
+關(guān)注
關(guān)注
2文章
2206瀏覽量
2229
原文標(biāo)題:NVIDIA AI Enterprise 助力九州未來構(gòu)建 MaaS 平臺 加速行業(yè)大模型開發(fā)與部署
文章出處:【微信號:NVIDIA-Enterprise,微信公眾號:NVIDIA英偉達(dá)企業(yè)解決方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論