CCF HPC China 2023 | 超融合以太加持：北京大學(xué)高性能計(jì)算平臺(tái)將迎來(lái)大提速

8月25日，在青島舉行的全國(guó)高性能計(jì)算學(xué)術(shù)年會(huì)大會(huì)（CCF HPC China 2023）上，2023華為高性能計(jì)算解決方案分論壇同步舉辦。來(lái)自北京大學(xué)計(jì)算中心工程師付振新分享了“北京大學(xué)高性能計(jì)算平臺(tái)超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案實(shí)踐”。

為滿(mǎn)足校內(nèi)的教學(xué)科研計(jì)算需求，北京大學(xué)從2018年起陸續(xù)建設(shè)了“未名一號(hào)”、“未名生科一號(hào)”、“未名教學(xué)二號(hào)”等高性能計(jì)算集群，有力地提升了校內(nèi)的算力供應(yīng)能力。隨著承載的用戶(hù)、計(jì)算任務(wù)和數(shù)據(jù)量不斷增加，原有平臺(tái)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施性能逐漸不敷使用，因此北京大學(xué)在2023年進(jìn)行了高性能計(jì)算平臺(tái)的系統(tǒng)及網(wǎng)絡(luò)改造項(xiàng)目。經(jīng)過(guò)全方位的綜合評(píng)估，北京大學(xué)最終選擇了華為超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案，實(shí)現(xiàn)高性能計(jì)算平臺(tái)的大提速，真正釋放算力基礎(chǔ)設(shè)施的全部潛力。

進(jìn)入二十一世紀(jì)以來(lái)，人類(lèi)的科學(xué)探索逐漸深入高度復(fù)雜、高度不確定性的新環(huán)境，大量龐大而復(fù)雜的科學(xué)問(wèn)題需要借助超級(jí)計(jì)算機(jī)來(lái)進(jìn)行模擬、仿真、預(yù)測(cè)。從傳統(tǒng)的化學(xué)化工、生物制藥、高能物理、金融工程、社會(huì)治理，到新興的大數(shù)據(jù)、人工智能、網(wǎng)絡(luò)信息安全等等，都因強(qiáng)大算力的加持而取得了超出以往的全新進(jìn)展和成果。

北京大學(xué)早在2018年就建成了高性能計(jì)算校級(jí)公共平臺(tái)，先后建成投用了“未名一號(hào)”、“未名教學(xué)二號(hào)”、“未名生科一號(hào)”等5套集群。不過(guò)隨著平臺(tái)使用人數(shù)、計(jì)算任務(wù)的增加，網(wǎng)絡(luò)基礎(chǔ)設(shè)施的流量吞吐量和復(fù)雜性都大大增加，年均節(jié)點(diǎn)占用率都在80%以上，“未名生科一號(hào)”的節(jié)點(diǎn)占用率甚至長(zhǎng)期處于95%以上，作業(yè)時(shí)間和排隊(duì)時(shí)間變得越來(lái)越漫長(zhǎng)。針對(duì)這一問(wèn)題，幾家供應(yīng)商分別提出了基于IB、RoCEv1、RoCEv2等技術(shù)打造的網(wǎng)絡(luò)方案。在北京大學(xué)組織的基準(zhǔn)測(cè)試和通用地球系統(tǒng)模式CESM、分子動(dòng)力學(xué)軟件VASP等應(yīng)用場(chǎng)景測(cè)試中，華為提供的基于RoCEv2的超融合以太數(shù)據(jù)中心網(wǎng)絡(luò)解決方案表現(xiàn)出了優(yōu)異性能，能夠有效縮短作業(yè)運(yùn)行時(shí)間和排隊(duì)時(shí)間，于是成功入選北京大學(xué)高性能計(jì)算平臺(tái)的改造項(xiàng)目。

為適應(yīng)用戶(hù)對(duì)計(jì)算效率、時(shí)延、擴(kuò)展性等方面的苛刻要求，高性能計(jì)算需要在不同節(jié)點(diǎn)之間實(shí)時(shí)高速傳遞海量數(shù)據(jù)，這對(duì)服務(wù)器互連方案的要求非常高。目前業(yè)界主流的計(jì)算互聯(lián)協(xié)議有RoCE和IB兩種，其中IB具有高吞吐、低時(shí)延、高可靠性等特點(diǎn)，技術(shù)先進(jìn)，不過(guò)主要掌握在英特爾、IBM、英偉達(dá)等企業(yè)手中，技術(shù)和產(chǎn)品生態(tài)都比較封閉，成本高昂。RoCE則是一種基于以太網(wǎng)絡(luò)的RDMA網(wǎng)絡(luò)協(xié)議，生態(tài)相對(duì)開(kāi)放，而且著力于實(shí)現(xiàn)網(wǎng)絡(luò)的無(wú)損傳輸，深受各國(guó)高性能計(jì)算和AI等產(chǎn)業(yè)歡迎，被認(rèn)為是未來(lái)全球數(shù)字化的重要路徑。

華為基于RoCE的超融合以太技術(shù)，具有完善的流量控制、擁塞控制、流量調(diào)度和應(yīng)用加速功能，獨(dú)家實(shí)現(xiàn)了以太網(wǎng)0丟包。此外，華為還開(kāi)發(fā)了在網(wǎng)計(jì)算（INC）技術(shù)有效提高集合通信效率、降低總的任務(wù)完成時(shí)間，在時(shí)延方面比IB略勝一籌。

在北京大學(xué)組織的測(cè)試中，共有TCP/IP、IB、RoCEv2三種方案，分別用基準(zhǔn)測(cè)試工具Linpack和地球系統(tǒng)模式CESM、分子動(dòng)力學(xué)軟件VASP等應(yīng)用進(jìn)行實(shí)驗(yàn)。結(jié)果表明，承載VASP應(yīng)用時(shí)，華為100GE RoCEv2略?xún)?yōu)于IB；承載Linpack和CESM時(shí)，華為方案與IB性能表現(xiàn)基本一致。此前權(quán)威評(píng)測(cè)機(jī)構(gòu)Tolly也曾做過(guò)測(cè)試，在擁塞條件下的帶寬和時(shí)延等基礎(chǔ)性能測(cè)試、MPI計(jì)算性能基準(zhǔn)測(cè)試以及HPC應(yīng)用測(cè)試中，華為方案的性能都優(yōu)于其它廠(chǎng)商的IB組網(wǎng)方案。這些實(shí)測(cè)結(jié)果都表明，華為超融合以太網(wǎng)絡(luò)解決方案可完全可以代替IB方案。

近年來(lái)，華為超融合以太網(wǎng)絡(luò)解決方案已經(jīng)在國(guó)內(nèi)外多個(gè)高性能計(jì)算平臺(tái)項(xiàng)目中落地應(yīng)用。比如在2022年，華為超融合以太網(wǎng)絡(luò)解決方案還在武漢超算中心、阿聯(lián)酋高級(jí)國(guó)家研究和教育網(wǎng)絡(luò)Ankabut項(xiàng)目中投入了應(yīng)用，因其卓越性能而得到了客戶(hù)的高度評(píng)價(jià)。

在北京大學(xué)高性能計(jì)算平臺(tái)的前期項(xiàng)目中，“未名二號(hào)”集群就采用了華為100GE RoCE無(wú)損以太網(wǎng)絡(luò)方案?！拔疵?hào)”由240臺(tái)CPU計(jì)算節(jié)點(diǎn)和30臺(tái)GPU計(jì)算節(jié)點(diǎn)組成，后續(xù)可擴(kuò)容至340臺(tái)CPU計(jì)算節(jié)點(diǎn)。與IB方案相比，北京大學(xué)高性能計(jì)算平臺(tái)管理人員發(fā)現(xiàn)華為RoCE方案無(wú)需用戶(hù)改變使用習(xí)慣，以太網(wǎng)帶寬增加更快，性能也超出預(yù)期。

隨著HPC和AI應(yīng)用的快速發(fā)展，對(duì)網(wǎng)絡(luò)帶寬吞吐的需求將不斷增長(zhǎng)，從100GE、200GE、400GE到800GE等更高速率不斷演進(jìn)的以太網(wǎng)絡(luò)無(wú)疑是最佳的承載技術(shù)。與此同時(shí)，RoCE無(wú)損以太網(wǎng)絡(luò)在時(shí)延、吞吐量、可靠性、編解碼和調(diào)制技術(shù)等方面也在不斷進(jìn)步，使得無(wú)損以太網(wǎng)絡(luò)的總體性能不斷提高，未來(lái)有望在自動(dòng)駕駛、智能制造、生物科技、金融等更多行業(yè)和領(lǐng)域投入應(yīng)用。