如何使用GPU編程優(yōu)化模型/代碼

雖然世界在不斷變化，但開發(fā)人員仍在不斷推動(dòng)他們使用創(chuàng)新技術(shù)應(yīng)對(duì)挑戰(zhàn)。最近的臺(tái)灣計(jì)算云（ TWCC ） GPU Hackathon 就是這樣一個(gè)例子，它是開發(fā)者和工程師使用 GPU 推進(jìn) HPC 和 AI 項(xiàng)目的催化劑。

國(guó)家高性能計(jì)算中心 、 臺(tái)灣網(wǎng)絡(luò)服務(wù)公司 、 NVIDIA 和 OpenACC 、 12 個(gè)團(tuán)隊(duì)和 15 名 NVIDIA 導(dǎo)師之間的合作，使用了從人工智能驅(qū)動(dòng)的制造調(diào)度模型到快速洪水預(yù)測(cè)模型的各種方法來加速項(xiàng)目。

利用人工智能優(yōu)化生產(chǎn)效率

智能制造的關(guān)鍵領(lǐng)域之一是優(yōu)化和自動(dòng)化生產(chǎn)線流程。團(tuán)隊(duì) AI 調(diào)度員和 工業(yè)技術(shù)研究中心（工研院） 的 計(jì)算智能技術(shù)中心（ CITC ） 成員來到 hackathon ，使用機(jī)器學(xué)習(xí)開發(fā)他們的制造調(diào)度模型。

傳統(tǒng)的調(diào)度模型大多采用啟發(fā)式規(guī)則，能夠即時(shí)響應(yīng)動(dòng)態(tài)事件。然而，他們的短期方法通常不會(huì)帶來最佳解決方案，并且在處理變化的變量時(shí)被證明是不靈活的，這限制了他們的持續(xù)生存能力。

該團(tuán)隊(duì)的方法使用蒙特卡羅樹搜索（ MCTS ）方法，將經(jīng)典的樹搜索實(shí)現(xiàn)與強(qiáng)化學(xué)習(xí)的機(jī)器學(xué)習(xí)原理結(jié)合起來。該方法解決了現(xiàn)有的啟發(fā)式限制，提高了整體調(diào)度模型的效率，提高了效率。

通過與導(dǎo)師合作，團(tuán)隊(duì) AI Scheduler 學(xué)會(huì)了使用 NVIDIA Nsight 系統(tǒng) 來識(shí)別瓶頸，并使用 GPU 來并行化代碼?；顒?dòng)結(jié)束時(shí)，團(tuán)隊(duì)能夠加快 MCTS 算法的模擬步驟。這將調(diào)度時(shí)間從 6 小時(shí)減少到 30 分鐘，并使總體調(diào)度效率提高了 11.3 倍。

工研院 CITC 的曾正蘇博士和黃浩哲博士說：“在本次黑客大會(huì)上證明了使用 GPU 加速我們的模型的可行性之后，下一步是將其應(yīng)用到我們的商業(yè)模型中，供工業(yè)使用。”。

使用 GPU 了解地球科學(xué)的全局

臺(tái)灣位于歐亞大陸和菲律賓海板塊之間，是世界上構(gòu)造最活躍的地區(qū)之一，也是全球地震研究的重要基地。地質(zhì)研究和構(gòu)造活動(dòng)的時(shí)間尺度通常以數(shù)千年或數(shù)萬年為單位。這需要使用大量數(shù)據(jù)和足夠的計(jì)算能力來進(jìn)行有效分析。

由 中央研究院地球研究所 的譚博士領(lǐng)導(dǎo)的 IES 地球動(dòng)力學(xué)團(tuán)隊(duì)來到 GPU Hackathon 加速他們的數(shù)值地球動(dòng)力學(xué)模型。它名為 DynEarthSol ，模擬地幔對(duì)流、俯沖、造山和構(gòu)造。此前，該團(tuán)隊(duì)通過將數(shù)據(jù)分塊并限制計(jì)算過程以適應(yīng) CPU 有限的計(jì)算能力來減少計(jì)算和步驟的數(shù)量，從而處理大量數(shù)據(jù)。這使得很難看到研究的全貌。

圖 2 俯沖帶的動(dòng)畫模擬。

在黑客競(jìng)賽的過程中，團(tuán)隊(duì)使用了一種新的數(shù)據(jù)輸入方法，利用 GPU 計(jì)算數(shù)據(jù)和多個(gè)步驟。使用 OpenACC ， IES 地球動(dòng)力學(xué)團(tuán)隊(duì)能夠?qū)?80% 的模型移植到 GPU ，并實(shí)現(xiàn)了 13.6 倍的加速。

“這是我第二次參加 GPU 黑客競(jìng)賽，我肯定會(huì)參加下一次，”中央研究院國(guó)際研究所研究員譚恩恩教授說?！拔覀円呀?jīng)學(xué)會(huì)了采用 GPU 的適當(dāng)方法，用戶友好的分析工具為我們提供了一個(gè)優(yōu)化模型的好主意?！?/p>

該團(tuán)隊(duì)將繼續(xù)致力于移植其模型的剩余 20% 。他們期待使用 GPU 運(yùn)行更多高分辨率模型，以更深入地了解臺(tái)灣的編隊(duì)活動(dòng)。

用于應(yīng)急規(guī)劃和響應(yīng)的快速洪水評(píng)估

洪水是最具破壞性的自然災(zāi)害之一。每年造成大量人員傷亡和經(jīng)濟(jì)損失， 全世界平均有 2100 萬人受洪水影響 ，由于氣候變化和其他因素，預(yù)計(jì)人數(shù)還會(huì)增加。預(yù)防和減輕這些危害是一項(xiàng)關(guān)鍵工作。

來自 國(guó)立楊橋大學(xué)（ NYCU ） 的 THINKLAB 團(tuán)隊(duì)正在開發(fā)一種模型，該模型可以為緊急情況提供快速準(zhǔn)確的結(jié)果，同時(shí)保持操作的簡(jiǎn)單性。所提出的 混合淹沒模型（ HIM ） 通過元胞自動(dòng)機(jī)方法求解零慣性方程，并與亞網(wǎng)格級(jí)插值策略配合使用，以生成更高分辨率的結(jié)果。

圖 3 HIM 產(chǎn)生的洪水范圍示例。

使用 Python 和 NumPy 庫(kù)開發(fā)的 HIM 模型在 hackathon 開始時(shí)沒有并行或 GPU 計(jì)算。在活動(dòng)期間， THINKLAB 團(tuán)隊(duì)使用 CuPy 為了使他們的代碼在 GPU 上并行運(yùn)行，然后重點(diǎn)將用戶定義的 CUDA 內(nèi)核應(yīng)用于參數(shù)。結(jié)果是 672 倍加速，計(jì)算時(shí)間從 2 周縮短到大約 30 分鐘。

THINKLAB 團(tuán)隊(duì)成員 Obaja Wijaya 說：“我們?cè)谶@次活動(dòng)中學(xué)到了很多技巧，并向其他人強(qiáng)烈推薦這些活動(dòng)。”?！癗VIDIA 是這一領(lǐng)域的專家，通過與他們的導(dǎo)師合作，我們學(xué)會(huì)了如何使用 GPU 編程優(yōu)化模型/代碼?！?/p>

關(guān)于作者

Izumi Barker 是 NVIDIA GPU 黑客競(jìng)賽和訓(xùn)練營(yíng)的項(xiàng)目經(jīng)理，也是 OpenACC Standard 的公關(guān)總監(jiān)。組織。在這些角色之前，她在鳳凰城大學(xué)、 CeCon 集團(tuán)、囊性纖維化基金會(huì)和 LLP 安永等高等教育、生命科學(xué)、技術(shù)和出版行業(yè)的公司舉辦了戰(zhàn)略營(yíng)銷和傳播職位。

審核編輯：郭婷