用高級(jí)編程技術(shù)加速HPC （1/2）

在之前 博客帖子 我談到了使用任務(wù)并行編程模型來提高多核計(jì)算節(jié)點(diǎn)的性能和系統(tǒng)利用率的機(jī)會(huì)。 任務(wù)分配所面臨的主要挑戰(zhàn)是不同計(jì)算線程之間的負(fù)載不平衡，以及叉連接并行模型有效利用并發(fā)執(zhí)行的局限性。 結(jié)果表明，在來自不同供應(yīng)商的多個(gè)處理器中，使用任務(wù)分配共享內(nèi)存代碼具有更好的縮放和性能。 性能改進(jìn)在10%到20%之間，執(zhí)行時(shí)間降低了35。 這些優(yōu)化導(dǎo)致更快的模擬周轉(zhuǎn)時(shí)間，加速了全球高性能計(jì)算(HPC)用戶的科學(xué)進(jìn)步。

該研究的重點(diǎn)是共享內(nèi)存并行執(zhí)行在一個(gè)節(jié)點(diǎn)的計(jì)算使用 OpenMP。 開放MP是HPC中共享內(nèi)存并行和加速器卸載的第一并行編程模型。 然而，大型超級(jí)計(jì)算機(jī)不是單一的共享內(nèi)存系統(tǒng)，而是一組計(jì)算節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都有自己的內(nèi)存，通過高帶寬、低延遲網(wǎng)絡(luò)連接。 消息傳遞是這種分布式內(nèi)存系統(tǒng)的首選編程范例。 消息傳遞接口 MPI是HPC分布式內(nèi)存系統(tǒng)的主要并行編程模型。

大多數(shù)科學(xué)和工程應(yīng)用都使用純MPI策略并行化，其中來自參與計(jì)算節(jié)點(diǎn)的每個(gè)計(jì)算線程都工作在總域問題的子域中。 在MPI的上下文中，每個(gè)計(jì)算線程被稱為MPI進(jìn)程或秩。 將一個(gè)大域劃分為分布在不同等級(jí)之間的較小子域的技術(shù)稱為域分解。 通常，這種分區(qū)需要在域空間中作為鄰居的行列之間交換子域邊界數(shù)據(jù)。 在這種情況下，相鄰的等級(jí)通過使用MPI接口發(fā)送和接收邊界數(shù)據(jù)來交換消息。 然而，純MPI策略不是利用節(jié)點(diǎn)內(nèi)并行性的最佳選擇。 應(yīng)用程序?qū)ω?fù)載不平衡變得更加敏感，因此重疊應(yīng)用程序階段和線程變得復(fù)雜。 它們使用不必要的顯式消息進(jìn)行通信，而不是使用共享內(nèi)存空間。

之間最近的協(xié)作工作 巴塞羅那超級(jí)計(jì)算中心 and Arm Research 報(bào)告的經(jīng)驗(yàn)，任務(wù)的自適應(yīng)網(wǎng)格細(xì)化代碼從 美國Exascale計(jì)算項(xiàng)目在開放MP和MPI級(jí)別。 本文發(fā)表了實(shí)現(xiàn)共享內(nèi)存和分布式內(nèi)存庫的互操作性的性能結(jié)果和收獲“ 面向自適應(yīng)網(wǎng)格細(xì)化應(yīng)用的數(shù)據(jù)流并行化 ”他說 IEEECluster 2020會(huì)議。 本文詳細(xì)介紹了任務(wù)分配方法，該方法利用自動(dòng)全疊負(fù)載平衡和通信計(jì)算重疊來實(shí)現(xiàn)更好的縮放、更高的系統(tǒng)利用率、效率和性能。

MPI開放MP

在深入研究先進(jìn)的編程技術(shù)之前，除了純MPI方法外，我們還需要介紹科學(xué)代碼中使用的基本編程策略。 最常見的替代方案是混合并行編程。 將MPI和Open MP結(jié)合起來，使大規(guī)模的科學(xué)代碼并行化，為開發(fā)兩個(gè)世界的最佳代碼提供了一個(gè)機(jī)會(huì)，同時(shí)減輕了它們的弱點(diǎn)。 混合MPI Open MP應(yīng)用程序創(chuàng)建一組MPI級(jí)別，然后每個(gè)級(jí)別都可以執(zhí)行一組OpenMP線程。

通常，科學(xué)應(yīng)用具有迭代算法。 迭代通常在模擬中執(zhí)行一個(gè)時(shí)間步驟，其特征是對(duì)數(shù)據(jù)進(jìn)行操作的計(jì)算部分，以及一個(gè)通信部分，其中等級(jí)交換下一次迭代的更新數(shù)據(jù)。 通常，在混合MPI開放MP代碼中，計(jì)算部分具有所有MPI級(jí)別中的所有OpenMP線程，通信部分具有MPI級(jí)別傳遞消息。 通信部分通常由主線程串行執(zhí)行（下圖中用藍(lán)色顯示）。 這種簡單的方法通常在混合編程的上下文中被命名為fork-join。

MPI具有完全并行和固有的局部性優(yōu)勢。 MPI應(yīng)用程序中的所有級(jí)別從初始化到執(zhí)行結(jié)束獨(dú)立運(yùn)行。 它們?cè)跀?shù)據(jù)的私有分區(qū)或副本上工作，從而防止不必要的共享數(shù)據(jù)問題。 另一方面，Open MP本質(zhì)上是串行的，并且只在并行部分上打開并行性，這些并行部分處理共享數(shù)據(jù)。 它還可能受到遠(yuǎn)程緩存效果和一致性工件的影響，例如錯(cuò)誤共享。 開放處理共享數(shù)據(jù)的MP具有避免數(shù)據(jù)復(fù)制以進(jìn)行消息傳遞的優(yōu)點(diǎn)，因?yàn)樗芯€程都可以訪問數(shù)據(jù)的單個(gè)副本。 將這兩種方法結(jié)合起來，允許包含MPI級(jí)別，以利用合并消息傳遞模型在分布式內(nèi)存系統(tǒng)中進(jìn)行通信，每個(gè)級(jí)別運(yùn)行OpenMP輕量級(jí)線程，利用共享數(shù)據(jù)，減少了總體數(shù)據(jù)復(fù)制需求。

程序員肯定可以按照類似的方案使用Open MP編程。 它們可以自始至終具有完整的并發(fā)執(zhí)行，并在仍然訪問共享數(shù)據(jù)的同時(shí)跨線程分發(fā)工作。 然而，不幸的是，采用自下而上的方法與Open MP并行是一種常見的做法：并行單個(gè)循環(huán)并將串行部分保持在中間。 這就規(guī)定了所規(guī)定的比例限制 Amdahl的法律.

混合應(yīng)用程序中等級(jí)的常見配置是每個(gè)計(jì)算節(jié)點(diǎn)一個(gè)等級(jí)，或每個(gè)非Uniform內(nèi)存訪問(NUMA)節(jié)點(diǎn)一個(gè)等級(jí)。 在MPI級(jí)別中打開MP線程，通過共享內(nèi)存空間中的共享數(shù)據(jù)結(jié)構(gòu)隱式通信，而不是交換MPI消息。 利用每個(gè)NUMA節(jié)點(diǎn)的一個(gè)秩通常會(huì)提高數(shù)據(jù)的局部性，因?yàn)榻o定秩中的線程訪問相同的NUMA節(jié)點(diǎn)的內(nèi)存。 從不同的NUMA節(jié)點(diǎn)訪問內(nèi)存會(huì)在線程之間帶來顯著的內(nèi)存延遲差異，從而導(dǎo)致不平衡的場景。

MPI和Open MP之間的互操作性

這種混合模型提供了這兩種模型的優(yōu)點(diǎn)，但在表中留下了機(jī)會(huì)。 異步傳輸(例如，MPI_Isend/MPI_Irecv)等特性通過允許一些通信和計(jì)算重疊來提供混合模型的一些好處。 然而，具有全局同步的fork-join模型（如圖1中綠色所示）限制了計(jì)算-通信重疊的數(shù)量，并允許在不同級(jí)別的不同迭代中執(zhí)行的重疊。 為了脫離fork-join模型，并允許開發(fā)更高級(jí)別的并行性，以及任務(wù)分配提供的異步計(jì)算和通信，MPI和OpenMP庫需要一起工作。

這種互操作性今天不存在。 兩個(gè)庫相互獨(dú)立工作，兩者之間的編排由程序員負(fù)責(zé)。 在當(dāng)前的MPI和OpenMP標(biāo)準(zhǔn)中，在并發(fā)任務(wù)中執(zhí)行MPI通信操作（例如，并行交換子域邊界的任務(wù)）是兩者 危險(xiǎn)的 and 不稱職的.

一方面，從并發(fā)任務(wù)中調(diào)用阻塞MPI函數(shù)是不安全的。 注意，阻塞MPI操作會(huì)阻塞MPI庫內(nèi)的當(dāng)前線程，直到操作完成。 圖2說明了這個(gè)問題。 我們假設(shè)一個(gè)混合應(yīng)用程序具有兩個(gè)MPI等級(jí)：一個(gè)實(shí)例化多個(gè)并發(fā)任務(wù)以發(fā)送不同的數(shù)據(jù)塊，另一個(gè)實(shí)例化相同數(shù)量的并發(fā)任務(wù)以接收數(shù)據(jù)。 我們還假設(shè)它們調(diào)用常見的阻塞MPI_Send和MPI_Recv方法來發(fā)送和接收每個(gè)塊，并且每個(gè)塊數(shù)據(jù)消息都被標(biāo)記為其塊標(biāo)識(shí)符。

如果通信任務(wù)的數(shù)量大于可以運(yùn)行任務(wù)的OpenMP線程的數(shù)量，則程序可能掛起，在這種情況下，OpenMP線程的數(shù)量是每個(gè)級(jí)別兩個(gè)(每個(gè)核心一個(gè)。 這是因?yàn)橥ㄐ湃蝿?wù)是并發(fā)的，所以O(shè)penMP調(diào)度程序可以根據(jù)調(diào)度策略和執(zhí)行情況自由地決定它們的執(zhí)行順序。 由于不能保證兩個(gè)級(jí)別的執(zhí)行順序相同，運(yùn)行中的任務(wù)可能試圖交換一組不同的塊。 這將阻塞MPI庫中兩個(gè)級(jí)別的Open MP線程，從而引發(fā)死鎖情況。 請(qǐng)注意，當(dāng)OpenMP線程在MPI庫中阻塞時(shí)，OpenMP線程調(diào)度程序無法知道線程已被阻塞，因此無法在該核心上調(diào)度另一個(gè)OpenMP線程。 因此，核心不能同時(shí)執(zhí)行其他“準(zhǔn)備”通信任務(wù)。

圖2：缺乏MPI開放的MP可操作性可能導(dǎo)致MPI調(diào)用任務(wù)的死鎖

另一方面，從任務(wù)中發(fā)布MPI操作通常是低效的。 通信任務(wù)需要人工數(shù)據(jù)依賴，以定義所有級(jí)別的相同執(zhí)行順序，并防止以前的死鎖情況。 非阻塞MPI操作(例如，MPI_Irecv)的執(zhí)行，它啟動(dòng)操作并返回一個(gè)MPI請(qǐng)求，以檢查其稍后的完成情況，很難管理內(nèi)部任務(wù)。 用戶將負(fù)責(zé)手動(dòng)檢查MPI請(qǐng)求，在大多數(shù)情況下導(dǎo)致算法效率低下。

任務(wù)-軟件MPI(TAMPI)庫

The 任務(wù)-軟件MPI(TAMPI)庫 目的是克服所有這些限制，允許安全和高效地執(zhí)行阻塞和非阻塞MPI操作，從任務(wù)內(nèi)部，在開放MP和 OmpSs-2 任務(wù)型模特。 在調(diào)用阻塞MPI函數(shù)的任務(wù)(例如，MPI_Recv)的情況下，庫暫停任務(wù)，直到操作完成，允許其他“就緒”任務(wù)同時(shí)在該核心上執(zhí)行。 該庫還為所有非阻塞MPI函數(shù)(例如TAMPI_Irecv)定義了TAMPI變體)。 這些函數(shù)是非阻塞和異步的，將調(diào)用任務(wù)的完成綁定到它們所表示的相應(yīng)的非阻塞操作的最終確定(例如，MPI_Irecv)。 該函數(shù)立即返回，以便即使MPI操作尚未完成，任務(wù)也可以完成其執(zhí)行。 當(dāng)任務(wù)執(zhí)行完成時(shí)，任務(wù)被認(rèn)為是完成的，所有掛起的MPI操作都完成了。

圖3：HPC軟件堆棧與MPI和開放MP互操作性通過TAMPI。

我們?cè)谙旅娴拇a中展示了如何使用TAMPI支持進(jìn)行非阻塞操作的示例。 程序同時(shí)接收并使用任務(wù)并行處理多個(gè)整數(shù)。 第一個(gè)任務(wù)是接收機(jī)，它調(diào)用TAMPI_Irecv函數(shù)開始接收操作。 這使得任務(wù)完成取決于接收操作的最終完成。 注意，它聲明了對(duì)用于接收數(shù)據(jù)的緩沖區(qū)的輸出依賴（即數(shù)據(jù)將寫入緩沖區(qū)）。 當(dāng)操作仍在進(jìn)行時(shí)，TAMPI函數(shù)可能會(huì)立即返回，因此緩沖區(qū)不能在那里被消耗。 相反，我們可以在下面的后續(xù)任務(wù)中使用它，該任務(wù)將緩沖區(qū)作為輸入依賴項(xiàng)。 這樣，當(dāng)MPI操作最終完成時(shí)，TAMPI庫將透明地完成接收任務(wù)并滿足消費(fèi)者任務(wù)的輸入依賴。 這將最終運(yùn)行以消耗接收到的數(shù)據(jù)。 這樣，TAMPI庫允許開發(fā)人員與多個(gè)任務(wù)并行執(zhí)行高效和安全的通信。

int recvdata[N]; MPI_Status status[N]; for (int i = 0; i < N; ++i) { #pragma omp task out(recvdata[i]) out(status[i]) { int tag = i; TAMPI_Irecv(&recvdata[i], 1, MPI_INT, 0, tag, MPI_COMM_WORLD, &status[i]); // non-blocking and asynchronous // recvdata cannot be accessed yet } #pragma omp task in(recvdata[i]) in(status[i]) { check_status(&status[i]); consume_data(&recvdata[i]); } } #pragma omp taskwait

通過利用OpenMP或OmpSS-2等任務(wù)分配模型和TAMPI庫，我們可以對(duì)大多數(shù)應(yīng)用程序進(jìn)行有效的任務(wù)化，包括計(jì)算和通信部分。 這導(dǎo)致計(jì)算和通信的有效重疊，這是任務(wù)分配模型固有的。 然后，開發(fā)人員可以集中精力公開他們的應(yīng)用程序的并行性，而不是擔(dān)心低級(jí)方面，例如任務(wù)發(fā)布的MPI操作的處理，這些操作隱藏在TAMPI中。 這種策略還可以通過任務(wù)化高級(jí)函數(shù)來實(shí)現(xiàn)自上而下的并行化策略，而不是在叉接方法中看到的低效的自下而上策略。

運(yùn)用我們的方法

到目前為止，我們已經(jīng)探討了MPI和OpenMP之間缺乏互操作性所帶來的問題，以及它如何阻礙MPI級(jí)別的任務(wù)分配。 我們還討論了提供在TAMPI中實(shí)現(xiàn)的這種互操作性的建議。 在里面 這個(gè)博客的第二部分我們研究了如何將所提出的方法應(yīng)用于自適應(yīng)網(wǎng)格細(xì)化應(yīng)用。 由此產(chǎn)生的代碼使用任務(wù)跨MPI和開放MP與重要的加速高達(dá)12288核心。

審核編輯 黃昊宇