華為聯(lián)合IEEE Kazakhstan Subsection共同發(fā)布HPC無(wú)損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書(shū)

[阿拉木圖，2023年6月5日] 在2023華為中東中亞技術(shù)嘉年華期間，華為成功舉辦數(shù)通創(chuàng)新峰會(huì)。來(lái)自哈薩克斯坦、烏茲別克斯坦、沙特、阿聯(lián)酋、卡塔爾、巴基斯坦等多個(gè)國(guó)家的480多位客戶(hù)和伙伴參與本次峰會(huì)，共同討論行業(yè)數(shù)字化發(fā)展和網(wǎng)絡(luò)技術(shù)創(chuàng)新。會(huì)上，華為聯(lián)合IEEE Kazakhstan Subsection、阿聯(lián)酋高級(jí)國(guó)家研究和教育網(wǎng)絡(luò)Ankabut面向全球共同發(fā)布了《HPC無(wú)損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書(shū)》（以下簡(jiǎn)稱(chēng)“白皮書(shū)”）。白皮書(shū)闡述了無(wú)損以太數(shù)據(jù)中心網(wǎng)絡(luò)在HPC和AI領(lǐng)域廣泛的應(yīng)用前景，并從網(wǎng)絡(luò)架構(gòu)、關(guān)鍵技術(shù)、商業(yè)價(jià)值、最佳實(shí)踐等維度闡述了最新的技術(shù)研究與商用實(shí)踐成果。

華為聯(lián)合IEEE Kazakhstan Subsection、Ankabut
發(fā)布《HPC無(wú)損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書(shū)》

白皮書(shū)指出，無(wú)損以太網(wǎng)絡(luò)技術(shù)具有智能RDMA、網(wǎng)絡(luò)級(jí)負(fù)載均衡等特征，可實(shí)現(xiàn)零丟包轉(zhuǎn)發(fā)和90%的超高吞吐率，形成性能、兼容性、成本效益和靈活性等全方面優(yōu)勢(shì)，已成為高性能計(jì)算的必然選擇。同時(shí)全球各國(guó)積極頒發(fā)政策支持HPC和AI發(fā)展，未來(lái)，無(wú)損以太網(wǎng)絡(luò)將在全球數(shù)字化中發(fā)揮關(guān)鍵作用。

白皮書(shū)中首先介紹了當(dāng)前高性能計(jì)算網(wǎng)絡(luò)拓?fù)浼軜?gòu)包括CLOS、MultiRail、直連拓?fù)?。其中，CLOS是一個(gè)多級(jí)架構(gòu)，在每一級(jí)，每個(gè)交換單元都和下一級(jí)的所有交換單元相連接，可以做到嚴(yán)格的無(wú)阻塞、可重構(gòu)、可擴(kuò)展；MultiRail通過(guò)框式設(shè)備的信元交換，實(shí)現(xiàn)平面內(nèi)的絕對(duì)負(fù)載均衡；直連拓?fù)淇蓪?shí)現(xiàn)超大規(guī)模組網(wǎng)，具備低成本、端到端通信跳數(shù)少的特點(diǎn)。

其次介紹了軟件架構(gòu)從網(wǎng)絡(luò)自身的優(yōu)化、網(wǎng)絡(luò)與應(yīng)用系統(tǒng)的融合優(yōu)化兩個(gè)方面來(lái)提升HPC&AI應(yīng)用性能。其中網(wǎng)絡(luò)自身優(yōu)化通過(guò)以下三個(gè)方面實(shí)現(xiàn)整網(wǎng)吞吐最高、時(shí)延最低的目標(biāo)：

• 第一是流控技術(shù)，通過(guò)識(shí)別環(huán)形緩存依賴(lài)并破除其產(chǎn)生的必要條件，從而解決PFC死鎖的問(wèn)題，提高網(wǎng)絡(luò)可靠性；

• 第二是擁塞控制，通過(guò)AI算法動(dòng)態(tài)調(diào)節(jié)ECN門(mén)限，以獲得最大帶寬與最小時(shí)延；

• 第三是流量調(diào)度，通過(guò)NSLB技術(shù)解決網(wǎng)絡(luò)負(fù)載不均的問(wèn)題，實(shí)現(xiàn)90%高吞吐，以達(dá)成AI訓(xùn)練效率提升20%的結(jié)果。

網(wǎng)絡(luò)與應(yīng)用系統(tǒng)的融合優(yōu)化，則由HPC網(wǎng)絡(luò)通過(guò)在網(wǎng)計(jì)算實(shí)現(xiàn)運(yùn)算優(yōu)化，即通過(guò)MPI通信的在網(wǎng)聚合運(yùn)算特性，網(wǎng)絡(luò)設(shè)備參與計(jì)算過(guò)程，減少任務(wù)完成時(shí)間。

HPC無(wú)損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書(shū)

當(dāng)前整個(gè)社會(huì)發(fā)展的大趨勢(shì)是HPC&AI For Everything，無(wú)損以太網(wǎng)絡(luò)將持續(xù)為實(shí)現(xiàn)萬(wàn)物互聯(lián)、萬(wàn)網(wǎng)互通筑基架梁；為千行百業(yè)提供算力服務(wù)，打造數(shù)字經(jīng)濟(jì)時(shí)代的堅(jiān)實(shí)高性能計(jì)算底座；為先進(jìn)數(shù)字產(chǎn)業(yè)繁榮發(fā)展貢獻(xiàn)力量，助力全球數(shù)字化轉(zhuǎn)型。

點(diǎn)擊下載《HPC無(wú)損以太和AI Fabric網(wǎng)絡(luò)技術(shù)白皮書(shū)》！