端到端InfiniBand網(wǎng)絡(luò)解決LLM訓(xùn)練瓶頸

ChatGPT對(duì)技術(shù)的影響引發(fā)了對(duì)人工智能未來的預(yù)測(cè)，尤其是多模態(tài)技術(shù)的關(guān)注。OpenAI推出了具有突破性的多模態(tài)模型GPT-4，使各個(gè)領(lǐng)域取得了顯著的發(fā)展。 這些AI進(jìn)步是通過大規(guī)模模型訓(xùn)練實(shí)現(xiàn)的，這需要大量的計(jì)算資源和高速數(shù)據(jù)傳輸網(wǎng)絡(luò)。端到端InfiniBand（IB）網(wǎng)絡(luò)作為高性能計(jì)算和AI模型訓(xùn)練的理想選擇，發(fā)揮著重要作用。在本文中，我們將深入探討大型語言模型（LLM）訓(xùn)練的概念，并探索端到端InfiniBand網(wǎng)絡(luò)在解決LLM訓(xùn)練瓶頸方面的必要性。

大型語言模型（LLM）和ChatGPT之間是否存在聯(lián)系

訓(xùn)練大型語言模型（LLM）面臨的瓶頸主要與GPU計(jì)算集群內(nèi)的數(shù)據(jù)傳輸和通信有關(guān)。隨著大型語言模型的增長，對(duì)高速可靠網(wǎng)絡(luò)的需求變得至關(guān)重要。例如，具有1.75萬億參數(shù)的GPT-3的模型無法在單機(jī)上訓(xùn)練，而是嚴(yán)重依賴于GPU集群。主要瓶頸在于在訓(xùn)練集群中高效地在節(jié)點(diǎn)之間傳輸數(shù)據(jù)。

階段1：環(huán)形全約減

一種常用的GPU通信算法是環(huán)形全約減，其中GPU形成一個(gè)環(huán)，使數(shù)據(jù)在環(huán)內(nèi)流動(dòng)。每個(gè)GPU都有一個(gè)左鄰和一個(gè)右鄰，數(shù)據(jù)只向右鄰發(fā)送，從左鄰接收。該算法包括兩個(gè)步驟：散射-約減和全收集。在散射-約減步驟中，GPU交換數(shù)據(jù)以獲得最終結(jié)果的一個(gè)塊。在全收集步驟中，GPU交換這些塊，以確保所有GPU都具有完整的最終結(jié)果。

階段2：雙階段環(huán)形

過去由于帶寬有限且沒有NVLink或RDMA技術(shù)，一個(gè)大型環(huán)對(duì)于單機(jī)和多機(jī)分布已經(jīng)足夠。然而，隨著NVLink在單機(jī)內(nèi)的引入，相同的方法不再適用。網(wǎng)絡(luò)帶寬遠(yuǎn)低于NVLink的帶寬，因此采用一個(gè)大環(huán)將大幅降低NVLink的效率到網(wǎng)絡(luò)的水平。此外，在當(dāng)前的多網(wǎng)卡環(huán)境中，僅利用一個(gè)環(huán)無法充分利用多個(gè)網(wǎng)卡。因此，建議采用雙階段環(huán)方法來解決這些問題。 在雙階段環(huán)形場景中，數(shù)據(jù)同步發(fā)生在單臺(tái)機(jī)器內(nèi)的GPU之間，利用了NVLink的高帶寬優(yōu)勢(shì)。隨后，跨多臺(tái)機(jī)器的GPU使用多個(gè)網(wǎng)卡建立多個(gè)環(huán)形，以同步來自不同段的數(shù)據(jù)。最后，單臺(tái)機(jī)器內(nèi)的GPU再次進(jìn)行同步，完成所有GPU之間的數(shù)據(jù)同步。值得注意的是，NVIDIA集體通信庫（NCCL）在這個(gè)過程中發(fā)揮了關(guān)鍵作用。

NVIDIA集體通信庫（NCCL）包括針對(duì)NVIDIA GPU和網(wǎng)絡(luò)進(jìn)行優(yōu)化的多GPU和多節(jié)點(diǎn)通信例程。NCCL為全收集、全約減、廣播、約減、約減散開和點(diǎn)對(duì)點(diǎn)發(fā)送和接收操作提供高效的基本操作。這些例程經(jīng)過優(yōu)化，以實(shí)現(xiàn)高帶寬和低延遲，利用節(jié)點(diǎn)內(nèi)和NVIDIA Mellanox網(wǎng)絡(luò)通過PCIe和NVLink高速互連。

通過解決數(shù)據(jù)傳輸和通信中的瓶頸問題，GPU計(jì)算集群的進(jìn)步以及利用NCCL等工具的使用有助于克服大型語言模型訓(xùn)練中的挑戰(zhàn)，為AI研究和開發(fā)進(jìn)一步的突破鋪平了道路。

端到端InfiniBand網(wǎng)絡(luò)解決方案如何提供幫助

在大型模型訓(xùn)練中，以太網(wǎng)在傳輸速率和延遲方面存在不足。相比之下，端到端InfiniBand網(wǎng)絡(luò)提供了高性能計(jì)算解決方案，能夠提供高達(dá)400 Gbps的傳輸速率和微秒級(jí)的延遲。因此，InfiniBand已成為大規(guī)模模型訓(xùn)練的理想選擇。

數(shù)據(jù)冗余和錯(cuò)誤糾正機(jī)制

端到端InfiniBand網(wǎng)絡(luò)的一個(gè)關(guān)鍵優(yōu)勢(shì)是其對(duì)數(shù)據(jù)冗余和錯(cuò)誤糾正機(jī)制的支持，確保可靠的數(shù)據(jù)傳輸。在大規(guī)模模型訓(xùn)練中，由于處理的數(shù)據(jù)量巨大，傳輸錯(cuò)誤或數(shù)據(jù)丟失會(huì)對(duì)訓(xùn)練過程產(chǎn)生不利影響，這一點(diǎn)尤為重要。通過利用InfiniBand的強(qiáng)大功能，可以較大程度地減少由于數(shù)據(jù)傳輸問題引起的中斷或故障。

本地子網(wǎng)的配置和維護(hù)

在InfiniBand互連協(xié)議中，每個(gè)節(jié)點(diǎn)都配備有一個(gè)主機(jī)通道適配器（HCA），負(fù)責(zé)與主機(jī)設(shè)備建立和維護(hù)鏈接。交換機(jī)具有多個(gè)端口，用于在端口之間進(jìn)行數(shù)據(jù)包轉(zhuǎn)發(fā)，從而實(shí)現(xiàn)子網(wǎng)內(nèi)的高效數(shù)據(jù)傳輸。 子網(wǎng)管理器（SM）在配置和維護(hù)本地子網(wǎng)方面發(fā)揮著關(guān)鍵作用，每個(gè)InfiniBand設(shè)備上都有子網(wǎng)管理器數(shù)據(jù)包（SMP）和子網(wǎng)管理器代理（SMA）提供支持。子網(wǎng)管理器（SM）發(fā)現(xiàn)和初始化網(wǎng)絡(luò)，為所有設(shè)備分配唯一標(biāo)識(shí)符，確定最小傳輸單元（MTU），并根據(jù)選擇的路由算法生成交換機(jī)的路由表。它還定期掃描子網(wǎng)，檢測(cè)拓?fù)渥兓?，并相?yīng)調(diào)整網(wǎng)絡(luò)配置。

基于信用的流量控制

與其他網(wǎng)絡(luò)通信協(xié)議相比，InfiniBand網(wǎng)絡(luò)提供更高的帶寬、更低的延遲和更大的可擴(kuò)展性。此外，InfiniBand采用基于信用的流量控制，發(fā)送節(jié)點(diǎn)確保不會(huì)傳輸超過接收緩沖區(qū)中可用信用數(shù)量的數(shù)據(jù)到連接的另一端。這消除類似TCP窗口算法的數(shù)據(jù)包丟失機(jī)制的需求，使InfiniBand網(wǎng)絡(luò)能夠以較低延遲和CPU使用率實(shí)現(xiàn)較高數(shù)據(jù)傳輸速率。

遠(yuǎn)程直接內(nèi)存訪問（RDMA）技術(shù)

InfiniBand利用遠(yuǎn)程直接內(nèi)存訪問（RDMA）技術(shù)，實(shí)現(xiàn)應(yīng)用程序之間在網(wǎng)絡(luò)上直接進(jìn)行數(shù)據(jù)傳輸，無需涉及操作系統(tǒng)。這種零拷貝傳輸方法顯著減少了兩端CPU資源的消耗，使應(yīng)用程序能夠直接從內(nèi)存中讀取消息。降低的CPU開銷提升了網(wǎng)絡(luò)快速傳輸數(shù)據(jù)的能力，并使應(yīng)用程序更高效地接收數(shù)據(jù)。 總體而言，端到端InfiniBand網(wǎng)絡(luò)為大型模型訓(xùn)練提供了顯著優(yōu)勢(shì)，包括高帶寬、低延遲、數(shù)據(jù)冗余和錯(cuò)誤糾正機(jī)制。通過利用InfiniBand的能力，研究人員可以克服性能限制，增強(qiáng)系統(tǒng)管理，并加速大規(guī)模語言模型的訓(xùn)練。