國(guó)產(chǎn)千卡GPU集群完成大模型訓(xùn)練測(cè)試，極具高兼容性和穩(wěn)定性

電子發(fā)燒友網(wǎng)報(bào)道（文/李彎彎）隨著人工智能技術(shù)的快速發(fā)展，對(duì)于計(jì)算能力的需求日益增長(zhǎng)。特別是在大模型訓(xùn)練方面，對(duì)算力的需求更是呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。傳統(tǒng)的單卡計(jì)算已經(jīng)無(wú)法滿(mǎn)足大模型訓(xùn)練的需求，因此，采用多卡集群的方式成為了必然的選擇。

2023年底，摩爾線(xiàn)程推出首個(gè)全國(guó)產(chǎn)千卡千億模型訓(xùn)練平臺(tái)“摩爾線(xiàn)程KUAE智算中心”。摩爾線(xiàn)程相關(guān)負(fù)責(zé)人此前談到，百卡或更小規(guī)模都是實(shí)驗(yàn)性的，千卡才是大集群的基本單元，只有千卡及以上才能滿(mǎn)足一些基礎(chǔ)模型的算力需求。

國(guó)產(chǎn)千卡集群完成大模型訓(xùn)練測(cè)試

日前，摩爾線(xiàn)程官方宣布，聯(lián)合羽人科技，已成功實(shí)現(xiàn)了夸娥（KUAE）千卡智算集群與羽人系列模型解決方案的訓(xùn)練兼容適配，高效完成了70億參數(shù)羽人大語(yǔ)言模型YuRen-7b的訓(xùn)練測(cè)試。

測(cè)試結(jié)果顯示，訓(xùn)練效率達(dá)到預(yù)期，夸娥千卡智算集群展現(xiàn)出了高度的兼容性和穩(wěn)定性。未來(lái)，羽人科技的零代碼訓(xùn)練平臺(tái)將遷移到摩爾線(xiàn)程夸娥千卡智算集群。

在今年5月27日，摩爾線(xiàn)程聯(lián)合無(wú)問(wèn)芯穹宣布，雙方在近日正式完成基于國(guó)產(chǎn)全功能GPU千卡集群的3B規(guī)模大模型實(shí)訓(xùn)。該模型名為“MT-infini-3B”，在摩爾線(xiàn)程夸娥（KUAE）千卡智算集群與無(wú)問(wèn)芯穹AIStudio PaaS平臺(tái)上完成了高效穩(wěn)定的訓(xùn)練。

MT-infini-3B模型訓(xùn)練總用時(shí)13.2天，經(jīng)過(guò)精度調(diào)試，實(shí)現(xiàn)全程穩(wěn)定訓(xùn)練不中斷，集群訓(xùn)練穩(wěn)定性達(dá)到100%，千卡訓(xùn)練和單機(jī)相比擴(kuò)展效率超過(guò)90%。

5月29日，摩爾線(xiàn)程又與國(guó)內(nèi)領(lǐng)先的數(shù)據(jù)智能服務(wù)商滴普科技共同宣布，摩爾線(xiàn)程“夸娥”（KUAE）千卡智算集群與滴普企業(yè)大模型Deepexi v1.0已完成訓(xùn)練、推理適配，獲得產(chǎn)品兼容互認(rèn)證明。

基于摩爾線(xiàn)程夸娥千卡智算集群，滴普科技成功完成了LLaMA2 700億參數(shù)大語(yǔ)言模型的預(yù)訓(xùn)練測(cè)試。訓(xùn)練時(shí)長(zhǎng)共計(jì)77小時(shí)，全程無(wú)故障連續(xù)運(yùn)行，集群訓(xùn)練穩(wěn)定性達(dá)到100%，訓(xùn)練效率和兼容性均達(dá)到預(yù)期。

可以看到，摩爾線(xiàn)程全國(guó)產(chǎn)夸娥千卡智算集群在大模型訓(xùn)練上展現(xiàn)出足夠的實(shí)力。摩爾線(xiàn)程夸娥方案基于全功能MTT S4000 GPU，提供軟硬一體化的全棧解決方案，具備模型覆蓋、推理加速、CUDA兼容、斷點(diǎn)續(xù)訓(xùn)、分布式訓(xùn)練、集群可靠性等8大核心能力。

MTT S4000是摩爾線(xiàn)程推出的大模型智算加速卡，采用第三代MUSA內(nèi)核，單卡支持48GB顯存容量和768GB/s的顯存帶寬，F(xiàn)P16算力為100TFLOPS。借助摩爾線(xiàn)程自研開(kāi)發(fā)工具，MTT S4000計(jì)算卡可以充分利用現(xiàn)有CUDA軟件生態(tài)，實(shí)現(xiàn)CUDA代碼零成本遷移到MUSA平臺(tái)。

大模型訓(xùn)練用千卡集群搭建需要關(guān)注的重點(diǎn)

可以看到，國(guó)產(chǎn)千卡集群已經(jīng)取得實(shí)質(zhì)性突破，在性能上能夠達(dá)到國(guó)際先進(jìn)水平，在應(yīng)用上，已經(jīng)有多個(gè)大模型實(shí)訓(xùn)案例。同時(shí)，國(guó)產(chǎn)企業(yè)也在積極構(gòu)建和完善生態(tài)系統(tǒng)。

事實(shí)上，用于大模型訓(xùn)練的千卡集群的搭建并不容易，需要注意多方面的事情。如基礎(chǔ)設(shè)施搭建方面，首先要考慮硬件的選擇，需要選擇高性能的GPU或TPU作為核心計(jì)算單元，才能夠提供必要的計(jì)算能力和加速訓(xùn)練過(guò)程。其次是網(wǎng)絡(luò)互聯(lián)，構(gòu)建能夠支持萬(wàn)卡級(jí)別高速互聯(lián)的智算集群，才能確保各個(gè)計(jì)算單元之間的數(shù)據(jù)傳輸效率和穩(wěn)定性。還有分布式存儲(chǔ)，需要配置分布式存儲(chǔ)系統(tǒng)，滿(mǎn)足大模型訓(xùn)練過(guò)程中大規(guī)模數(shù)據(jù)的存儲(chǔ)和訪(fǎng)問(wèn)需求。

除了GPU的選擇，網(wǎng)絡(luò)互聯(lián)也是千卡集群建設(shè)需要關(guān)注的重點(diǎn)。大模型訓(xùn)練千卡集群互聯(lián)要求高，這樣能夠確保集群的高效、穩(wěn)定和可靠運(yùn)行。

具體來(lái)看，首先需要高帶寬與與低時(shí)延，大規(guī)模GPU集群中，模型訓(xùn)練對(duì)卡間互聯(lián)的帶寬和時(shí)延提出更高要求，特別是在萬(wàn)億參數(shù)量模型中，網(wǎng)絡(luò)節(jié)點(diǎn)可能由百卡組建的“超節(jié)點(diǎn)”構(gòu)成，單次通信數(shù)據(jù)量雖小但通信頻繁，因此需要高帶寬支持以實(shí)現(xiàn)快速數(shù)據(jù)傳輸。低時(shí)延同樣重要，因?yàn)樵诖竽Ｐ陀?xùn)練中，任何延遲都可能影響訓(xùn)練效率。

其次需要高效互聯(lián)拓?fù)?，隨著智算中心向千卡萬(wàn)卡級(jí)別的全互聯(lián)方向演進(jìn)，傳統(tǒng)的直連拓?fù)浣Y(jié)構(gòu)不再適用。集群需要采用更高效、更先進(jìn)的互聯(lián)拓?fù)浣Y(jié)構(gòu)，如全向智感互聯(lián)（OISA）設(shè)計(jì)方案，以突破大規(guī)?？ㄩg互聯(lián)的技術(shù)瓶頸。

再者還需要支持大規(guī)模擴(kuò)展，千卡集群的互聯(lián)方案需要支持從單機(jī)多卡到多機(jī)多卡、從單卡到千卡集群的無(wú)縫擴(kuò)展。這要求互聯(lián)方案具有良好的可擴(kuò)展性，能夠隨著集群規(guī)模的增長(zhǎng)而靈活調(diào)整。

另外還要考慮穩(wěn)定性和可靠性、安全性、兼容性等。大模型訓(xùn)練千卡集群的互聯(lián)方案有多種，如RDMA（遠(yuǎn)程直接內(nèi)存訪(fǎng)問(wèn)）網(wǎng)絡(luò)，RDMA允許計(jì)算機(jī)之間的內(nèi)存直接訪(fǎng)問(wèn)，無(wú)需操作系統(tǒng)和CPU的干預(yù)，從而大大降低了通信延遲，提高了數(shù)據(jù)傳輸速率。在千卡集群中，RDMA網(wǎng)絡(luò)可以確保節(jié)點(diǎn)間的高效數(shù)據(jù)傳輸，支持大規(guī)模的分布式訓(xùn)練任務(wù)。

NVLink高速互聯(lián)，NVLink是NVIDIA開(kāi)發(fā)的一種GPU間高速互聯(lián)技術(shù)，專(zhuān)為GPU到GPU的通信而設(shè)計(jì)。它提供了比PCIe更高的帶寬和更低的延遲，適用于多GPU系統(tǒng)內(nèi)的數(shù)據(jù)共享和通信。在千卡集群中，可以使用NVLink連接GPU服務(wù)器，實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)部GPU間的高效互聯(lián)。

高性能交換機(jī)與網(wǎng)絡(luò)拓?fù)?，使用高性能交換機(jī)，如InfiniBand交換機(jī)或以太網(wǎng)交換機(jī)，來(lái)構(gòu)建集群的網(wǎng)絡(luò)拓?fù)洹＞W(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)需要考慮集群的規(guī)模和通信需求，以確保所有節(jié)點(diǎn)之間的低延遲和高帶寬連接?？赡艿木W(wǎng)絡(luò)拓?fù)浒ㄈB接、部分連接或基于交換機(jī)的層次化結(jié)構(gòu)。

還有多路徑數(shù)據(jù)傳輸、全向智感互聯(lián)（OISA）設(shè)計(jì)方案等，OISA是一個(gè)新興的設(shè)計(jì)方案，旨在解決大規(guī)模卡間互聯(lián)的技術(shù)瓶頸。OISA通過(guò)優(yōu)化網(wǎng)絡(luò)協(xié)議和拓?fù)浣Y(jié)構(gòu)，實(shí)現(xiàn)了更高的帶寬、更低的延遲和更好的擴(kuò)展性。該方案適用于需要高效通信的大規(guī)模GPU集群。

寫(xiě)在最后

千卡集群主要是用于處理大規(guī)模、高復(fù)雜度的計(jì)算任務(wù)，特別是在人工智能（AI）、深度學(xué)習(xí)、大模型訓(xùn)練等領(lǐng)域。而此前這種集群的建設(shè)都依賴(lài)國(guó)外的GPU，而如今，可以看到，全國(guó)產(chǎn)的千卡集群正在不斷進(jìn)步和完善，在當(dāng)下國(guó)際GPU產(chǎn)品對(duì)中國(guó)限售的背景下，這對(duì)于國(guó)內(nèi)人工智能，尤其是大模型的長(zhǎng)遠(yuǎn)發(fā)展具有深遠(yuǎn)意義。