云E算力平臺如何助力人工智能

隨著企業(yè)上云和數(shù)字化轉(zhuǎn)型升級的不斷深化，云計算在人工智能領域的重要作用日漸凸顯，許多人工智能模型訓練都需要高性能計算。CLOUDAM云端自主研發(fā)的云E算力平臺能夠為有算力需求的企業(yè)和個人用戶提供解決方案及算力服務。我們通過一個人工智能的案例來詳細介紹Cloudam云端,云E算力平臺是如何幫助用戶快速完成模型訓練的。

一、云上高性能算力平臺助力人工智能

某人工智能企業(yè)從事語音設備相關技術(shù)研發(fā)，因A輪融資后，隨著規(guī)模急劇擴張算力需求也隨之增加，所以企業(yè)急求一個靈活、彈性的HPC方案來滿足語音識別相關模型訓練。人工智能的計算和訓練往往會消耗大量計算機時和內(nèi)存，用戶需要一個能使用大量GPU，能支持多卡任務，且同時要能支持AI常用框架的解決方案，如Notebook、Pytorch、Tensorflow及Kaldi等。

針對這個問題，云E算力平臺SaaS接入，用戶通過瀏覽器直接使用Notebook、Pytorch等即可觸發(fā)人工智能訓練任務，操作顯得十分簡單。同時，云E通過腳本夜間自動上傳脫敏后的訓練數(shù)據(jù)，這將會自動觸發(fā)訓練流程。全自動上傳可以充分利用帶寬，幫助用戶快速高效的上傳文件。此外，Cloudam云端與客戶簽訂數(shù)據(jù)安全及保密協(xié)議，云E平臺也會嚴格保障用戶輸入數(shù)據(jù)及計算結(jié)果的安全與私密性，給了用戶完美的安全保障。

這一方案獲得的顯著。該部署實現(xiàn)了支持多團隊、多任務并行的模型訓練，單模型最多時使用40張Nvidia V100 GPU，使得訓練周期比在用戶本地縮短了5倍以上，讓人工智能的訓練、研究更加高效。同時能讓客戶將很多研究型的訓練任務放入云端，通過大規(guī)模的并行計算來快速驗證結(jié)果，極大的提升了客戶的創(chuàng)新速度，完美助力了企業(yè)發(fā)展和創(chuàng)新。

人工智能的數(shù)據(jù)分析與預測往往需要進行大量的高性能計算，大規(guī)模的高性能計算則需要消耗大量的計算機時。云E算力平臺為人工智能提供的高性能計算一站式解決方案，全面使用閑置資源代替按量資源，將多個云資源整個成統(tǒng)一的獨享計算資源池，對于現(xiàn)有的云端異構(gòu)資源進行合理化管理和分配。

云端Cloudam通過統(tǒng)一化的整合、管理資源，將現(xiàn)有資源的計算能力最優(yōu)化。云E采用自動化數(shù)據(jù)上傳，充分利用帶寬，讓用戶快速上傳、海量下載數(shù)據(jù)，提高了傳輸效率。同時，自動化的部署集群能夠讓同一時間內(nèi)無需所有機器都打開，除了任務運行時期需要讓云資源滿負荷外，在數(shù)據(jù)處理和數(shù)據(jù)上傳階段只需開啟部分機器，其他準備時間不需要開啟機器。

值得一提的是，任務完成以后會及時下載結(jié)果并自動釋放資源，防止資源的浪費。云E能夠自動監(jiān)控用戶提交的任務數(shù)量和資源需求，動態(tài)的開啟、管理所需算力資源，在提升效率的同時有效降低成本。此外，用戶還可以根據(jù)自身需求，設置自動化調(diào)度集群規(guī)模上下限。若在實際操作中，遇上某個可用區(qū)資源暫時短缺的情況，云E會嘗試從別的區(qū)域開啟資源，或者選擇配置相近的實例來補充。

在這個案例中，我們可以看到，云E算力平臺確實有效的解決了算力需求不夠的問題以及資源管理復雜的問題，為有高算力需求的企業(yè)提供了統(tǒng)一化解決方案。
? ? ? ?責任編輯:tzh