利用AI與數(shù)據(jù)中心規(guī)模的加速計(jì)算相結(jié)合的強(qiáng)大指數(shù)級(jí)算力

科學(xué)界和工業(yè)界正開(kāi)始利用 AI 與數(shù)據(jù)中心規(guī)模的加速計(jì)算相結(jié)合的強(qiáng)大指數(shù)級(jí)算力

研究人員正在尋找能使他們的工作所需計(jì)算性能提升百萬(wàn)倍的“燃料”。

不斷增長(zhǎng)的數(shù)據(jù)導(dǎo)致計(jì)算需求飛漲。面對(duì)此情況，他們無(wú)法完全依靠已是明日黃花的摩爾定律。

因此，他們利用三大“推進(jìn)器”，獲取所需的指數(shù)級(jí)加速。

縱向加速和橫向擴(kuò)展

加速計(jì)算是科技的三大現(xiàn)代驅(qū)動(dòng)力之一。在過(guò)去的十年中，借助五代 GPU 的進(jìn)步以及我們?cè)谶@些 GPU 之上構(gòu)建的完整軟件棧，加速計(jì)算已實(shí)現(xiàn)了 1000 倍性能提升。

擴(kuò)展能力是第二個(gè)驅(qū)動(dòng)力，已取得近十萬(wàn)倍的性能提升。這是因?yàn)閿?shù)據(jù)中心正在成為新的計(jì)算單元。

例如，在 2015 年，使用一個(gè) Kepler GPU 訓(xùn)練 ResNet-50（熱門(mén)的計(jì)算機(jī)視覺(jué)模型之一）花了將近一個(gè)月的時(shí)間。今天，我們?cè)?Selene 上訓(xùn)練同樣的模型只用了不到半分鐘的時(shí)間。Selene 是世界上性能超強(qiáng)的工業(yè)超級(jí)計(jì)算機(jī)，其包含數(shù)千個(gè) NVIDIA Ampere 架構(gòu) GPU。

我們開(kāi)發(fā)了許多關(guān)鍵技術(shù)來(lái)實(shí)現(xiàn)這種擴(kuò)展，例如 Megatron 軟件、用于多 GPU 和多節(jié)點(diǎn)處理的 Magnum IO，以及用于網(wǎng)絡(luò)計(jì)算的 SHARP。

開(kāi)啟深度學(xué)習(xí)的新時(shí)代

當(dāng)今時(shí)代的第三個(gè)，也是最具變革性的驅(qū)動(dòng)力是 AI。

去年，深度學(xué)習(xí)在一毫秒的時(shí)間尺度內(nèi)對(duì) 3.05 億個(gè)原子進(jìn)行了模擬，揭示了新冠病毒 SARS-CoV-2 的內(nèi)部結(jié)構(gòu)。這項(xiàng)工作標(biāo)志著與 15 年前在 20 秒內(nèi)對(duì) 100 萬(wàn)個(gè)原子進(jìn)行模擬的最先進(jìn)技術(shù)相比，其效能增加了 1000 萬(wàn)倍以上。

這就是 AI 和高性能計(jì)算的結(jié)合正在席卷科學(xué)界的原因。研究人員去年在 arXiv 上發(fā)表了近 5000 篇關(guān)于利用 AI+HPC 進(jìn)行工作的論文，而五年前此類(lèi)論文還不到 100 篇。

最近的一篇論文來(lái)自 NVIDIA 的研究人員。它展示了一種將神經(jīng)網(wǎng)絡(luò)與經(jīng)典物理方程式相結(jié)合的方法，可令傳統(tǒng)模擬獲得 1000 倍的速度提升。

加快藥物研發(fā)

如今，加速計(jì)算、大規(guī)模擴(kuò)展和 AI 的結(jié)合正在推動(dòng)科學(xué)和工業(yè)計(jì)算的發(fā)展。

在疾病治療領(lǐng)域，加速藥物研發(fā)是一切工作的重中之重。這項(xiàng)工作頗具挑戰(zhàn)，開(kāi)發(fā)者需要解碼 3D 蛋白質(zhì)結(jié)構(gòu)，了解其工作原理，然后發(fā)現(xiàn)能夠阻止它們感染健康細(xì)胞的化合物。

使用 X 射線(xiàn)和電子顯微鏡的傳統(tǒng)方法只解碼了大約 25000 種人類(lèi)蛋白質(zhì)中的 17%。DeepMind 去年在其 AlphaFold 系統(tǒng)中使用了一套 AI 模型，實(shí)現(xiàn)了重大飛躍，預(yù)測(cè)了超過(guò) 20000 種人類(lèi)蛋白質(zhì)的 3D 結(jié)構(gòu)。

無(wú)獨(dú)有偶，NVIDIA 和美國(guó)加州理工學(xué)院的研究人員將機(jī)器學(xué)習(xí)和物理相結(jié)合，創(chuàng)造了 OrbNet，可加速多個(gè)數(shù)量級(jí)的分子模擬。初創(chuàng)公司 Entos 利用 OrbNet，令其蛋白質(zhì)和候選藥物之間的化學(xué)反應(yīng)模擬速度提高了 1000 倍，在三個(gè)小時(shí)內(nèi)就完成了原本需要超過(guò)三個(gè)月時(shí)間的工作量。

了解氣候變化

類(lèi)似情況在其他領(lǐng)域也屢屢發(fā)生?？茖W(xué)家希望盡快以千米級(jí)分辨率模擬全球氣候，以幫助我們適應(yīng)不斷變化的天氣模式，更好地為災(zāi)難做好準(zhǔn)備。

但是，為了準(zhǔn)確追蹤云層和風(fēng)暴的運(yùn)動(dòng)模式，科學(xué)家需要在一米的分辨率級(jí)別進(jìn)行研究。這需要高達(dá) 1000 億倍的計(jì)算能力。

按照摩爾定律，我們要到 2060 年才能獲得這個(gè)能力。因此，尋求百萬(wàn)倍性能飛躍的科學(xué)家正在通過(guò)大規(guī)模加速計(jì)算和 AI 來(lái)構(gòu)建我們星球的數(shù)字孿生。

多行業(yè)已應(yīng)用數(shù)字孿生

研究人員已經(jīng)在利用這些技術(shù)來(lái)構(gòu)建工廠(chǎng)和城市的數(shù)字孿生。

例如，西門(mén)子能源公司使用在云中數(shù)十個(gè) GPU 上運(yùn)行的 NVIDIA Modulus AI 框架，模擬了整個(gè)發(fā)電廠(chǎng)。它可以預(yù)測(cè)蒸汽的腐蝕性影響造成的機(jī)械故障，減少宕機(jī)時(shí)間，節(jié)約成本并持續(xù)運(yùn)作。

這種模擬技術(shù)可打造更高效的農(nóng)場(chǎng)、醫(yī)院，以及幫助任何行業(yè)轉(zhuǎn)型。這就是我們開(kāi)發(fā) Modulus 原因：使創(chuàng)建 AI 驅(qū)動(dòng)、物理級(jí)準(zhǔn)確的模擬變得簡(jiǎn)單。

這是在當(dāng)今新計(jì)算引擎的助力下，我們打造出的又一個(gè)工具，可實(shí)現(xiàn)下一個(gè)百萬(wàn)倍的飛躍。

數(shù)據(jù)中心規(guī)模的 AI 加速計(jì)算將帶來(lái)百萬(wàn)倍的性能提升，從而解決諸如了解氣候變化、研發(fā)藥物和推動(dòng)工業(yè)轉(zhuǎn)型等問(wèn)題。

責(zé)任編輯：haq