眾所周知,人工智能正在改變世界。對(duì)于網(wǎng)絡(luò)管理員而言,人工智能可以以一些令人驚嘆的方式改善日常運(yùn)營(yíng):
-
重復(fù)性任務(wù)的自動(dòng)化:這包括監(jiān)控、故障排除和升級(jí),可以節(jié)省時(shí)間,同時(shí)降低人為錯(cuò)誤的風(fēng)險(xiǎn)。
-
網(wǎng)絡(luò)安全:人工智能可以幫助實(shí)時(shí)檢測(cè)和應(yīng)對(duì)安全威脅。例如,NVIDIA Morpheus 使網(wǎng)絡(luò)安全開發(fā)者能夠創(chuàng)建經(jīng)過優(yōu)化的實(shí)時(shí)數(shù)據(jù) AI 流水線。
-
拓?fù)鋬?yōu)化:借助合適的遙測(cè)技術(shù),人工智能可以分析流量模式并提出更改建議,從而優(yōu)化網(wǎng)絡(luò)性能。
-
主動(dòng)式網(wǎng)絡(luò)規(guī)劃:人工智能可以使用同樣的高級(jí)網(wǎng)絡(luò)遙測(cè)技術(shù)來評(píng)估趨勢(shì),以預(yù)測(cè)潛在問題,并在問題發(fā)生之前提出更改建議,從而避免問題的發(fā)生。
然而,人工智能無(wú)法取代經(jīng)驗(yàn)豐富的網(wǎng)絡(luò)管理員的專業(yè)知識(shí)。人工智能旨在增強(qiáng)您的能力,就像一個(gè)虛擬助理一樣。因此,人工智能可能會(huì)成為您最好的朋友,但生成式 AI 是一種新的數(shù)據(jù)中心工作負(fù)載,它帶來了新的范式轉(zhuǎn)變:NVIDIA 集合通信庫(kù)(NCCL)。
數(shù)據(jù)中心的演變
網(wǎng)絡(luò)管理員不得不處理許多其他近期更改:
-
如何配置網(wǎng)絡(luò)
-
如何監(jiān)控和管理網(wǎng)絡(luò)
-
如何設(shè)計(jì)網(wǎng)絡(luò)
-
網(wǎng)絡(luò)上的協(xié)議和工作負(fù)載
不久前,我們可能已經(jīng)通過特定網(wǎng)絡(luò)命令行界面(CLI)的專業(yè)水平來衡量新網(wǎng)絡(luò)管理員的價(jià)值。隨著混合云計(jì)算和 DevOps 的出現(xiàn),從 CLI 到 API 的轉(zhuǎn)變也在不斷發(fā)展。
甚至您監(jiān)控和管理網(wǎng)絡(luò)的方式也發(fā)生了變化。您已經(jīng)從使用 SNMP 和 NetFlow 在數(shù)據(jù)中心輪詢?cè)O(shè)備的工具轉(zhuǎn)向了新的基于交換機(jī)的遙測(cè)模型,在該模型中,交換機(jī)會(huì)主動(dòng)以流式傳輸提供基于流的診斷詳細(xì)信息。
您可以實(shí)操將新的工作負(fù)載引入數(shù)據(jù)中心,其中許多數(shù)據(jù)中心都有獨(dú)特的網(wǎng)絡(luò)需求。您已經(jīng)看到傳統(tǒng)數(shù)據(jù)庫(kù)被數(shù)據(jù)分析和大數(shù)據(jù)集群所取代。
現(xiàn)在,當(dāng)被要求構(gòu)建人工智能集群時(shí),人們很容易認(rèn)為人工智能只是一個(gè)規(guī)模更大、速度更快的大數(shù)據(jù)應(yīng)用程序。但人工智能是不同的,如果沒有合適的工具,人工智能可能會(huì)很難實(shí)現(xiàn)。
生成式 AI 和 NCCL 的影響
您是一家大型企業(yè)的網(wǎng)絡(luò)管理員。您的 CTO 參加了 GTC 2023,并了解了生成式 AI 他們希望通過構(gòu)建像 ChatGPT 這樣的大型語(yǔ)言模型來響應(yīng)最終用戶,并與最終用戶進(jìn)行交互,從而改變業(yè)務(wù)運(yùn)營(yíng)方式。該模型必須經(jīng)過訓(xùn)練。這需要一個(gè)大型人工智能訓(xùn)練集群,許多 GPU 加速的服務(wù)器通過高速網(wǎng)絡(luò)連接。
這個(gè)人工智能訓(xùn)練集群帶來了許多新的挑戰(zhàn):
-
網(wǎng)絡(luò)流量模式和流量特性發(fā)生了顯著變化,而傳統(tǒng) ECMP 表現(xiàn)不佳。
-
AI 集群參考設(shè)計(jì)需要用于計(jì)算/ GPU 、存儲(chǔ)甚至帶內(nèi)管理的專用網(wǎng)絡(luò)。
-
網(wǎng)絡(luò)流量是異構(gòu)的,生成由 CPU 到 CPU 和 GPU 到 GPU 通信。
-
人工智能集群必須能夠適應(yīng)在一臺(tái)服務(wù)器上、多臺(tái)服務(wù)器上運(yùn)行作業(yè),甚至是在一臺(tái)計(jì)算機(jī)上同時(shí)運(yùn)行多個(gè)作業(yè)。
-
網(wǎng)絡(luò)配置發(fā)生變化,參數(shù)可優(yōu)化 RoCE 和 GPU 直接通信。
-
人工智能作業(yè)必須在多次迭代中具有一致且可預(yù)測(cè)的作業(yè)完成時(shí)間。
-
具有更高帶寬交換機(jī)的新型扁平化拓?fù)洹?/p>
-
需要學(xué)習(xí)的新縮寫詞:CUDA、NVIDIA DOCA、BERT、LLM、DLRM 和 NCCL。
-
新的監(jiān)控工具:他們?nèi)绾沃?AI 和 NCCL 是否表現(xiàn)良好?
那么,什么是 NCCL?以下是教科書般的答案:
NVIDIA Collective Communication Library(NCCL)實(shí)現(xiàn)了針對(duì) NVIDIA GPU 和網(wǎng)絡(luò)優(yōu)化的多 GPU 和多節(jié)點(diǎn)通信原語(yǔ)。NCCL 提供了諸如 all-gather、all-reduce、broadcast、reduce 和 reduce-scatter 以及點(diǎn)對(duì)點(diǎn)發(fā)送和接收之類的例程,這些例程經(jīng)過優(yōu)化,可通過節(jié)點(diǎn)內(nèi)的 PCIe 和 NVLink 高速互連以及節(jié)點(diǎn)間的 NVIDIA 網(wǎng)絡(luò)實(shí)現(xiàn)高帶寬和低延遲。
資料來源:
NVIDIA Collective Communication Library (NCCL)
對(duì)于網(wǎng)絡(luò)管理員,NCCL 負(fù)責(zé)控制全新 AI 集群的流量模式。這意味著您需要針對(duì) NCCL 進(jìn)行優(yōu)化的網(wǎng)絡(luò)設(shè)計(jì)、針對(duì) NCCL 優(yōu)化的網(wǎng)絡(luò)監(jiān)控工具以及針對(duì) NCCL 優(yōu)化的以太網(wǎng)交換機(jī)。
NCCL 是實(shí)現(xiàn) AI 集群上運(yùn)行的工作負(fù)載的高性能、一致性和可預(yù)測(cè)性的關(guān)鍵。NCCL 也是一個(gè)交匯點(diǎn):網(wǎng)絡(luò)管理員和數(shù)據(jù)科學(xué)家都必須講出并理解它。當(dāng)他們都能流利地講出它時(shí),NCCL 可以成為這些具有不同所需技能的專業(yè)人士之間的共同語(yǔ)言。
鑒于 NCCL 的重要性,合適的網(wǎng)絡(luò)可以決定和突破 AI 集群的性能。人工智能集群有一些獨(dú)特的要求:
-
抗噪能力強(qiáng)
-
對(duì)故障具有彈性
-
導(dǎo)軌優(yōu)化拓?fù)?/p>
-
無(wú)損網(wǎng)絡(luò)轉(zhuǎn)發(fā)
-
性能隔離
-
無(wú)阻塞網(wǎng)絡(luò)架構(gòu)
那么,接下來是什么呢?
您的工作是防止網(wǎng)絡(luò)減緩人工智能集群的速度,但人工智能網(wǎng)絡(luò)需要什么?高帶寬、低延遲和高彈性是必要的,但還不夠。您將如何選擇合適的基礎(chǔ)設(shè)施?
-
基于產(chǎn)品手冊(cè)?并不完全。
-
根據(jù)供應(yīng)商告訴您的?有點(diǎn)冒險(xiǎn),因?yàn)樗麄兿胭u給您一些東西。
-
基于數(shù)據(jù)科學(xué)家們所要求的?他們不是網(wǎng)絡(luò)專家,所以大多數(shù)人都不知道。
-
基于經(jīng)驗(yàn)豐富的網(wǎng)絡(luò)管理員的建議?很有可能他們認(rèn)為是 CPU,而不是 GPU,并且需求已經(jīng)發(fā)生了變化。
人工智能的網(wǎng)絡(luò)可能很難?!皼]有人會(huì)因?yàn)橘?gòu)買 X 而被解雇”這句格言與摩爾定律一樣過時(shí),因?yàn)槿斯ぶ悄艿?X 因素與通用計(jì)算不同。即使是擁有專門的人工智能工程團(tuán)隊(duì)來預(yù)先測(cè)試集群性能的大型 IT 供應(yīng)商,當(dāng)性能隨著更多用戶的添加和多個(gè)作業(yè)的同時(shí)運(yùn)行而急劇下降時(shí),也會(huì)經(jīng)常感到驚訝。
保證人工智能集群性能的最佳方法是遵循 NVIDIA 發(fā)布的人工智能參考架構(gòu)之一,并使用具有人工智能可見性功能的基礎(chǔ)設(shè)施來驗(yàn)證您的人工智能集群的健康狀況和供給情況。
無(wú)論您的人工智能集群使用以太網(wǎng)還是 InfiniBand,NVIDIA 都會(huì)為您提供所需的工具、支持和培訓(xùn),以使您成功并成為人工智能網(wǎng)絡(luò)專家。
掃描下方二維碼,查看更多有關(guān) NVIDIA 集合通信庫(kù)(NCCL)的信息。
?
更多精彩內(nèi)容 使用 NVIDIA Spectrum-X 網(wǎng)絡(luò)平臺(tái)加速生成式 AI 工作負(fù)載
使用 NVIDIA Cumulus Linux 實(shí)現(xiàn)數(shù)據(jù)中心網(wǎng)絡(luò)自動(dòng)化
借助 NVIDIA WJH 更快地診斷網(wǎng)絡(luò)問題
COMPUTEX2023 | NVIDIA 推出面向超大規(guī)模生成式 AI 的加速以太網(wǎng)平臺(tái)
原文標(biāo)題:為網(wǎng)絡(luò)管理員導(dǎo)航生成式 AI
文章出處:【微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
-
英偉達(dá)
+關(guān)注
關(guān)注
22文章
3689瀏覽量
90535
原文標(biāo)題:為網(wǎng)絡(luò)管理員導(dǎo)航生成式 AI
文章出處:【微信號(hào):NVIDIA_China,微信公眾號(hào):NVIDIA英偉達(dá)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論