NVIDIA為加速生成式AI而設(shè)計(jì)的超級芯片全面投產(chǎn)

2023年是大語言模型、生成式AI、ChatGPT、AIGC大爆發(fā)的一年。GPU是大規(guī)模深度學(xué)習(xí)、高性能計(jì)算的重要硬件基礎(chǔ)，而大語言模型，如生成式AI、ChatGPT等，則借助GPU的計(jì)算能力快速地訓(xùn)練和推理，獲得更高的模型效果和更廣泛的應(yīng)用場景。尤其在游戲開發(fā)領(lǐng)域，運(yùn)用大語言模型可以加強(qiáng)游戲的情節(jié)推進(jìn)、人工智能角色表現(xiàn)等方面的體驗(yàn)，而加速訓(xùn)練的英偉達(dá)GPU則可以使這些特征更加流暢。由于英偉達(dá)在GPU硬件設(shè)計(jì)和優(yōu)化方面的領(lǐng)先地位，為大型語言模型的快速發(fā)展提供了扎實(shí)的技術(shù)基礎(chǔ)。

目前中國和美國研發(fā)的大型AI模型數(shù)量占全球總數(shù)的80%以上，中國排名全球第二，僅次于美國，其中，已經(jīng)發(fā)布超過79個(gè)10億參數(shù)規(guī)模以上的大型AI模型。中國科學(xué)技術(shù)信息研究所所長、科技部新一代人工智能發(fā)展研究中心主任趙志耘表示，我國前期在人工智能領(lǐng)域的各項(xiàng)部署，為大模型發(fā)展奠定了堅(jiān)實(shí)的基礎(chǔ)，并已經(jīng)建立起涵蓋理論方法和軟硬件技術(shù)的體系化研發(fā)能力，形成了緊跟世界前沿的大模型技術(shù)群。

目前，我國參數(shù)規(guī)模在10億以上的大型AI模型數(shù)量達(dá)到79個(gè)，并且地域和領(lǐng)域分布相對于集中，全國14個(gè)省市/地區(qū)都在開展大模型研發(fā)，主要集中在北京和廣東兩地，其中北京28個(gè)，廣東22個(gè)。同時(shí)，大模型應(yīng)用也在不斷拓展和深化落地。一方面，通用領(lǐng)域大模型如文心一言、通義千問、紫東太初、星火認(rèn)知等正在快速發(fā)展，打造跨行業(yè)通用化人工智能能力平臺(tái)，其應(yīng)用行業(yè)在辦公、生活、娛樂向醫(yī)療、工業(yè)、教育等加速滲透；另一方面，針對生物制藥、遙感、氣象等垂直領(lǐng)域的專用大模型，發(fā)揮其領(lǐng)域縱深優(yōu)勢，提供針對特定業(yè)務(wù)場景的高質(zhì)量專業(yè)化解決方案。

5月29日，英偉達(dá)在2023臺(tái)北電腦展大會(huì)推出了DGX GH200 AI超級計(jì)算機(jī)，這是配備256顆Grace Hopper超級芯片和NVIDIA NVLink交換機(jī)系統(tǒng)的尖端系統(tǒng)，具有1 exaflop性能和144TB共享內(nèi)存。該超級計(jì)算機(jī)的推出，在人工智能領(lǐng)域引起了轟動(dòng)，標(biāo)志著英偉達(dá)在大型AI模型技術(shù)和硬件設(shè)計(jì)領(lǐng)域的再次領(lǐng)先。其強(qiáng)大的計(jì)算和網(wǎng)絡(luò)技術(shù)，為生成式AI、大型語言模型和推薦系統(tǒng)的應(yīng)用和開發(fā)帶來了更廣闊的前景，進(jìn)一步拓展了AI的邊界。此外，DGX GH200還是第一臺(tái)Grace Hopper超級芯片和NVLink交換機(jī)系統(tǒng)配對的超級計(jì)算機(jī)，其帶寬較之前顯卡相比多48倍，為人工智能先驅(qū)和云服務(wù)提供商打開了探索新領(lǐng)域的大門。

DGX GH200與生成式AI

英偉達(dá)發(fā)布了一系列面向生成式AI的產(chǎn)品和服務(wù)，包括大內(nèi)存生成式AI超級計(jì)算機(jī)DGX GH200、Grace Hopper超級芯片GH200的全面投產(chǎn)、全新加速以太網(wǎng)平臺(tái)Spectrum-X、定制化AI模型代工服務(wù)、與WPP合作打造生成式AI內(nèi)容引擎等，多項(xiàng)舉措都為生成式AI的應(yīng)用與發(fā)展提供了更廣闊的前景。

此外，英偉達(dá)還發(fā)布了MGX服務(wù)器規(guī)范，并且已有1600多家生成式AI公司采用了英偉達(dá)技術(shù)。

目前，英偉達(dá)市值已經(jīng)達(dá)到9632億美元，僅差一步之遙即可加入“萬億市值俱樂部”，成為美國上市公司市值排名第五的企業(yè)和第一家由華人創(chuàng)立的萬億美元市值公司。

E級算力，谷歌云、Meta、微軟首批試用

英偉達(dá)日前發(fā)布了一款采用最新GPU和CPU的系統(tǒng)巔峰之作——新型大內(nèi)存AI超級計(jì)算機(jī)DGX GH200，預(yù)計(jì)于今年年底上市。

該超算旨在支持生成式AI語言應(yīng)用、推薦系統(tǒng)和數(shù)據(jù)分析工作負(fù)載的大型下一代模型。DGX GH200集成了先進(jìn)的加速計(jì)算和網(wǎng)絡(luò)技術(shù)，是首款將Grace Hopper超級芯片與英偉達(dá)NVLink Switch系統(tǒng)搭配的超級計(jì)算機(jī)。

采用新互連方式，256個(gè)Grace Hopper超級芯片可以像單個(gè)巨型GPU一樣協(xié)同運(yùn)行，提供了1EFLOPS性能和144TB共享內(nèi)存，比上一代DGX A100 320GB系統(tǒng)的內(nèi)存多出近500倍。

谷歌云、Meta、微軟等是首批獲得訪問權(quán)限的公司，英偉達(dá)打算將DGX GH200設(shè)計(jì)藍(lán)圖提供給其他云服務(wù)商及超大規(guī)模計(jì)算廠商，以便他們進(jìn)一步為其基礎(chǔ)設(shè)施定制DGX GH200。

英偉達(dá)還正在打造自己的基于DGX GH200的大型AI超級計(jì)算機(jī)NVIDIA Helios，將于今年年底上線。此外，DGX GH200超級計(jì)算機(jī)包含英偉達(dá)軟件，提供AI工作流管理、企業(yè)級集群管理、加速計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)基礎(chǔ)設(shè)施庫，以及100多個(gè)框架、預(yù)訓(xùn)練模型和開發(fā)工具，以簡化AI生產(chǎn)的開發(fā)和部署。

英偉達(dá)的Base Command軟件可以幫助管理AI工作流程、企業(yè)級集群、加速計(jì)算和存儲(chǔ)、網(wǎng)絡(luò)基礎(chǔ)設(shè)施等，而AI Enterprise軟件層則提供了許多框架、預(yù)訓(xùn)練模型和開發(fā)工具，以簡化AI生產(chǎn)的開發(fā)和部署。DGX GH200超級計(jì)算機(jī)的推出將有助于推動(dòng)AI技術(shù)的發(fā)展，為各行各業(yè)提供更快、更強(qiáng)大的AI計(jì)算能力，加速AI技術(shù)的應(yīng)用和落地。

GH200芯片全面投產(chǎn)

英偉達(dá)日前宣布，已全面投產(chǎn)GH200 Grace Hopper超級芯片，將為AI和高性能計(jì)算工作負(fù)載提供動(dòng)力。

基于GH200的系統(tǒng)已經(jīng)被全球制造商采用，提供了超過400個(gè)配置，這些系統(tǒng)都基于英偉達(dá)的最新Grace Hopper和Ada Lovelace架構(gòu)。

GH200 Grace Hopper超級芯片采用了NVIDIA NVLink-C2C互連技術(shù)，將英偉達(dá)Grace CPU和Hopper GPU架構(gòu)組合在同一封裝中，提供高達(dá)900GB/s的總帶寬，比傳統(tǒng)加速系統(tǒng)中的標(biāo)準(zhǔn)PCIe Gen5通道帶寬高7倍，同時(shí)互連功耗降低到原來的1/5，能夠滿足苛刻的生成式AI和高性能計(jì)算（HPC）應(yīng)用。預(yù)計(jì)幾家全球超大規(guī)模計(jì)算企業(yè)和超算中心客戶將采用GH200驅(qū)動(dòng)的系統(tǒng)，這些系統(tǒng)將于今年晚些時(shí)候上市。

打造數(shù)億美元生成式AI超算

此外，黃仁勛還宣布推出NVIDIA Spectrum-X平臺(tái)，旨在提高基于以太網(wǎng)的AI云的性能和效率。

Spectrum-X基于網(wǎng)絡(luò)創(chuàng)新，將英偉達(dá)Spectrum-4交換機(jī)和BlueField-3 DPU緊密耦合，實(shí)現(xiàn)了1.7倍的整體AI性能和能效提升，并通過性能隔離增強(qiáng)了多租戶功能，保持一致和可預(yù)測的性能。

Spectrum-X具有高度通用性，能夠用于各種AI應(yīng)用，與基于以太網(wǎng)的堆?；ゲ僮?，支持開發(fā)者構(gòu)建軟件定義的云原生AI應(yīng)用程序。全球各大云計(jì)算提供商正在采用Spectrum-X平臺(tái)擴(kuò)展生成式AI服務(wù)。Spectrum-X、Spectrum-4交換機(jī)、BlueField-3 DPU等現(xiàn)已在戴爾、聯(lián)想、超微等系統(tǒng)制造商處提供。

NVIDIA正在以色列數(shù)據(jù)中心構(gòu)建一臺(tái)超大規(guī)模生成式AI超級計(jì)算機(jī)Israel-1作為Spectrum-X參考設(shè)計(jì)的藍(lán)圖和測試平臺(tái)。該超算將采用戴爾PowerEdge XE9680服務(wù)器、英偉達(dá)HGX H100超級計(jì)算平臺(tái)、內(nèi)置BlueField-3 DPU和Spectrum-4交換機(jī)的Spectrum-X平臺(tái)，預(yù)計(jì)價(jià)值數(shù)億美元。該平臺(tái)支持256個(gè)200Gb/s端口通過單個(gè)交換機(jī)連接，或在兩層leaf-spine拓?fù)渲刑峁?6000個(gè)端口，以支持AI云的增長和擴(kuò)展，同時(shí)保持高水平的性能并最大限度地減少網(wǎng)絡(luò)延遲。

全球領(lǐng)先的云計(jì)算提供商正在采用Spectrum-X平臺(tái)擴(kuò)展生成式AI服務(wù)。Spectrum-X、Spectrum-4交換機(jī)、BlueField-3 DPU等現(xiàn)已在戴爾、聯(lián)想、超微等系統(tǒng)制造商處提供。

MGX服務(wù)器規(guī)范

模塊化參考架構(gòu)

黃仁勛同時(shí)發(fā)布了NVIDIA MGX服務(wù)器規(guī)范，為系統(tǒng)制造商提供了模塊化參考架構(gòu)，以適應(yīng)廣泛的AI、HPC及NVIDIA Omniverse應(yīng)用。

MGX支持英偉達(dá)全系列GPU、CPU、DPU和網(wǎng)絡(luò)適配器，以及各種x86及Arm處理器，這使得制造商能夠更有效地滿足每個(gè)客戶的獨(dú)特預(yù)算、電力輸送、熱設(shè)計(jì)和機(jī)械要求。

永擎（ASRock Rack）、華碩（ASUS）、技嘉（GIGABYTE）、和碩（Pegatron）、QCT、超微（Supermicro）等將采用MGX構(gòu)建下一代加速計(jì)算機(jī)，可將開發(fā)成本削減多達(dá)3/4，并將開發(fā)時(shí)間縮短2/3至僅需6個(gè)月。MGX可以從為其服務(wù)器機(jī)箱加速計(jì)算優(yōu)化的基本系統(tǒng)架構(gòu)開始，然后選擇GPU、DPU和CPU。同時(shí)，MGX提供了英偉達(dá)產(chǎn)品靈活的多代兼容性，以確保制造商可以重用現(xiàn)有設(shè)計(jì)并輕松采用下一代產(chǎn)品。MGX還能輕松集成到云和企業(yè)數(shù)據(jù)中心中。

除了MGX規(guī)范外，黃仁勛還宣布，英偉達(dá)與日本電信巨頭軟銀合作，在日本建立一個(gè)分布式數(shù)據(jù)中心網(wǎng)絡(luò)。該網(wǎng)絡(luò)將在一個(gè)共同的云平臺(tái)上提供5G服務(wù)和生成式AI應(yīng)用。數(shù)據(jù)中心將使用MGX系列（包括Grace Hopper、BlueField-3 DPU和Spectrum以太網(wǎng)交換機(jī)）以提供5G協(xié)議所需的高精度定時(shí)，并提高頻譜效率以降低成本和能耗。

這些系統(tǒng)有助于探索自動(dòng)駕駛、AI工廠、AR/VR、計(jì)算機(jī)視覺和數(shù)字孿生等領(lǐng)域的應(yīng)用。未來的用途可能包括3D視頻會(huì)議和全息通信。這將為這些領(lǐng)域提供更高效、更靈活和更先進(jìn)的解決方案，推動(dòng)技術(shù)和產(chǎn)業(yè)的發(fā)展。

GH200在游戲行業(yè)的應(yīng)用

黃仁勛在宣布推出針對游戲的Avatar云引擎（ACE）服務(wù)，這是一項(xiàng)定制AI模型代工服務(wù)，中間件、工具和游戲開發(fā)者可以使用它來構(gòu)建和部署定制的語音、對話和動(dòng)畫AI模型。

ACE能賦予非玩家角色（NPC）更智能且不斷進(jìn)化的對話技能，使其能夠以栩栩如生的個(gè)性來回答玩家的問題。ACE for Games為語音、對話和角色動(dòng)畫提供了優(yōu)化的AI基礎(chǔ)模型，包括：英偉達(dá)NeMo，使用專有數(shù)據(jù)，構(gòu)建、定制和部署語言模型；英偉達(dá)Riva，用于自動(dòng)語音識(shí)別和文本轉(zhuǎn)語音，以實(shí)現(xiàn)實(shí)時(shí)語音對話；英偉達(dá)Omniverse Audio2Face，用于即時(shí)創(chuàng)建游戲角色的表情動(dòng)畫，以匹配任何語音軌道。

此外，英偉達(dá)與其子公司Convai合作，展示了如何快速用英偉達(dá)ACE for Games來構(gòu)建游戲NPU。在名為“Kairos”的演示中，英偉達(dá)展示了一個(gè)與一個(gè)拉面店的供應(yīng)商Jin互動(dòng)的游戲?；谏墒紸I，Jin雖是個(gè)NPC，卻能擬真地回答自然語言問題，且回答內(nèi)容與敘述的背景故事一致。開發(fā)人員可以集成整個(gè)NVIDIA ACE for Games解決方案，也可以只使用他們需要的組件。多家游戲開發(fā)商和初創(chuàng)公司已采用英偉達(dá)的生成式AI技術(shù)。

黃仁勛還介紹了英偉達(dá)和微軟如何在生成式AI時(shí)代合作推動(dòng)Windows PC的創(chuàng)新。新的和增強(qiáng)的工具、框架和驅(qū)動(dòng)程序使PC開發(fā)者更容易開發(fā)和部署AI，例如用于優(yōu)化和部署GPU加速AI模型和新圖形驅(qū)動(dòng)程序的微軟Olive工具鏈將提高帶有英偉達(dá)GPU的Windows PC上的DirectML性能。此次合作將增強(qiáng)和擴(kuò)展搭載RTX GPU的1億臺(tái)PC的安裝基礎(chǔ)，可提升400多個(gè)AI加速的Windows應(yīng)用程序和游戲的性能。這將為PC游戲帶來更高的性能和更好的體驗(yàn)，同時(shí)也將推動(dòng)AI在Windows PC上的應(yīng)用和發(fā)展。

總的來說，黃仁勛在宣布中介紹了NVIDIA在游戲AI方面的最新進(jìn)展和合作，包括Avatar云引擎（ACE）服務(wù)、微軟合作推動(dòng)Windows PC的創(chuàng)新等。這些技術(shù)和合作將為游戲開發(fā)者帶來更多的AI工具和解決方案，為玩家?guī)砀玫挠螒蝮w驗(yàn)。

DGX GH200在數(shù)字廣告中的應(yīng)用

英偉達(dá)的生成式AI技術(shù)也將在數(shù)字廣告行業(yè)帶來新機(jī)遇?；贜VIDIA AI和Omniverse技術(shù)的引擎將多個(gè)創(chuàng)意3D和AI工具連接在一起，以大規(guī)模革新商業(yè)內(nèi)容和體驗(yàn)。

英國WPP集團(tuán)，全球最大的營銷服務(wù)機(jī)構(gòu)，正與英偉達(dá)合作，利用Omniverse Cloud構(gòu)建首個(gè)生成式AI內(nèi)容引擎，以更高效和高質(zhì)量的方式為客戶創(chuàng)建商業(yè)內(nèi)容。

新引擎連接了來自Adobe和Getty Images等工具的3D設(shè)計(jì)、制造和創(chuàng)意供應(yīng)鏈工具的生態(tài)系統(tǒng)。黃仁勛在演講中展示了創(chuàng)意團(tuán)隊(duì)如何將他們的3D設(shè)計(jì)工具連接在一起，并在Omniverse中構(gòu)建客戶產(chǎn)品的數(shù)字孿生。使用負(fù)責(zé)任的數(shù)據(jù)來源訓(xùn)練生成式AI技術(shù)并結(jié)合英偉達(dá)Picasso一起構(gòu)建，使其能夠快速生成虛擬集。此后，WPP客戶可利用完整的場景生成大量廣告、視頻和3D體驗(yàn)，供全球市場和用戶在任何網(wǎng)絡(luò)設(shè)備上使用。

這項(xiàng)合作在數(shù)字廣告領(lǐng)域持續(xù)推動(dòng)著生成式AI技術(shù)的發(fā)展。WPP首席執(zhí)行官馬克·里德表示，生成式AI技術(shù)正在以驚人的速度改變營銷世界，合作所提供的獨(dú)特競爭優(yōu)勢將改變品牌為商業(yè)用途創(chuàng)建內(nèi)容的方式，并鞏固WPP在為世界頂級品牌創(chuàng)造性應(yīng)用AI方面的行業(yè)領(lǐng)導(dǎo)地位。

DGX GH200在

電子制造商中的應(yīng)用

全球電子制造商正在使用一種全新的綜合參考工作流程，這種工作流程結(jié)合了英偉達(dá)的多種技術(shù)，包括生成式AI、3D協(xié)作、仿真和自主機(jī)器，旨在幫助制造商規(guī)劃、構(gòu)建、運(yùn)營和優(yōu)化他們的工廠。這些技術(shù)包括英偉達(dá)的Omniverse，它連接了頂級計(jì)算機(jī)輔助設(shè)計(jì)和生成式AI的API和前沿框架；英偉達(dá)的Isaac Sim應(yīng)用程序，用于模擬和測試機(jī)器人；英偉達(dá)的Metropolis視覺AI框架，用于自動(dòng)光學(xué)檢測。

英偉達(dá)使電子制造商能夠輕松構(gòu)建和運(yùn)營虛擬工廠，將其制造和檢驗(yàn)工作流程數(shù)字化，并大大提高質(zhì)量和安全，減少代價(jià)高昂的最后一刻意外和延誤。黃仁勛在現(xiàn)場展示了一個(gè)完全數(shù)字化的智能工廠的演示。

富士康工業(yè)互聯(lián)網(wǎng)、宜鼎國際、和碩、廣達(dá)和緯創(chuàng)正在使用英偉達(dá)的參考工作流程，以優(yōu)化他們的工作單元和裝配線運(yùn)營，同時(shí)降低生產(chǎn)成本，具體用例包括電路板質(zhì)保檢測點(diǎn)自動(dòng)化、光學(xué)檢測自動(dòng)化、建設(shè)虛擬工廠、模擬協(xié)作機(jī)器人、構(gòu)建及運(yùn)營數(shù)字孿生等。

英偉達(dá)正在與幾家領(lǐng)先的制造工具和服務(wù)提供商合作，構(gòu)建一個(gè)全棧、單一的架構(gòu)，每個(gè)架構(gòu)都適用于每個(gè)工作流程級別。

在系統(tǒng)層面，英偉達(dá)IGX Orin提供了一個(gè)一體化的邊緣AI平臺(tái)，將工業(yè)級硬件與企業(yè)級軟件和支持相結(jié)合。IGX滿足邊緣計(jì)算獨(dú)特的耐用性和低功耗要求，同時(shí)提供開發(fā)和運(yùn)行AI應(yīng)用程序所需的高性能。其制造商合作伙伴們正在開發(fā)IGX驅(qū)動(dòng)的系統(tǒng)，以服務(wù)于工業(yè)和醫(yī)療市場。

在平臺(tái)層面，Omniverse連接了世界領(lǐng)先的3D、模擬和生成式AI提供商，團(tuán)隊(duì)可在他們最喜歡的應(yīng)用程序之間構(gòu)建互操作性，比如來自Adobe、Autodesk和Siemens的應(yīng)用程序。

這些技術(shù)的整合使得制造商能夠在一個(gè)統(tǒng)一的平臺(tái)上進(jìn)行設(shè)計(jì)、仿真、測試和生產(chǎn)，從而大大提高效率和質(zhì)量。此外，英偉達(dá)還提供了一系列工具和服務(wù)，幫助制造商管理和優(yōu)化他們的生產(chǎn)線，包括實(shí)時(shí)監(jiān)控、數(shù)據(jù)分析和預(yù)測性維護(hù)。

英偉達(dá)的數(shù)字化工廠解決方案不僅適用于電子制造業(yè)，還可以應(yīng)用于其他行業(yè)，如汽車制造、航空航天、醫(yī)療設(shè)備等。這些行業(yè)都需要高度自動(dòng)化和數(shù)字化的生產(chǎn)線，以滿足不斷增長的市場需求和質(zhì)量標(biāo)準(zhǔn)。

GH200產(chǎn)品參數(shù)

GH200是英偉達(dá)推出的最新超級計(jì)算機(jī)，最多可以放置256個(gè)GPU，適用于超大型AI模型的部署。相比之前的DGX服務(wù)器，GH200提供線性拓展方式和更高的GPU共享內(nèi)存編程模型，可通過NVLink高速訪問144TB內(nèi)存，是上一代DGX的500倍。其架構(gòu)提供的NVLink帶寬是上一代的48倍，使得千億或萬億參數(shù)以上的大模型能夠在一臺(tái)DGX內(nèi)放置，進(jìn)一步提高模型效率和多模態(tài)模型的開發(fā)進(jìn)程。

GPU的統(tǒng)一內(nèi)存編程模型一直是復(fù)雜加速計(jì)算應(yīng)用取得突破的基石。NVIDIA Grace Hopper Superchip與NVLink開關(guān)系統(tǒng)配對，在NVIDIA DGX GH200系統(tǒng)中整合了256個(gè)GPU，通過NVLink高速訪問144TB內(nèi)存。與單個(gè)NVIDIA DGX A100 320 GB系統(tǒng)相比，NVIDIA DGX GH200為GPU共享內(nèi)存編程模型提供了近500倍的內(nèi)存，是突破GPU通過NVLink訪問內(nèi)存的100TB障礙的第一臺(tái)超級計(jì)算機(jī)。NVIDIA Base Command的快速部署和簡化系統(tǒng)管理使用戶能夠更快地進(jìn)行加速計(jì)算。

NVIDIA DGX GH200系統(tǒng)采用了NVIDIA Grace Hopper Superchip和NVLink Switch System作為其構(gòu)建塊。NVIDIA Grace Hopper Superchip將CPU和GPU結(jié)合在一起，使用NVIDIA NVLink-C2C技術(shù)提供一致性內(nèi)存模型，并提供高帶寬和無縫的多GPU系統(tǒng)。每個(gè)Grace Hopper超級芯片都擁有480GB的LPDDR5 CPU內(nèi)存和96GB的快速HBM3，提供比PCIe Gen5多7倍的帶寬，與NVLink-C2C互連。

NVLink開關(guān)系統(tǒng)使用第四代NVLink技術(shù)，將NVLink連接擴(kuò)展到超級芯片，以創(chuàng)建一個(gè)兩級、無阻塞、NVLink結(jié)構(gòu)，可完全連接256個(gè)Grace Hopper超級芯片。這種結(jié)構(gòu)提供900GBps的內(nèi)存訪問速度，托管Grace Hopper Superchips的計(jì)算底板使用定制線束連接到第一層NVLink結(jié)構(gòu)，并由LinkX電纜擴(kuò)展第二層NVLink結(jié)構(gòu)的連接性。

在DGX GH200系統(tǒng)中，GPU線程可以使用NVLink頁表來訪問來自其他Grace Hopper超級芯片的內(nèi)存，并通過NVIDIA Magnum IO加速庫來優(yōu)化GPU通信以提高效率。該系統(tǒng)擁有128 TBps的對分帶寬和230.4 TFLOPS的NVIDIA SHARP網(wǎng)內(nèi)計(jì)算，可加速AI常用的集體運(yùn)算，并將NVLink網(wǎng)絡(luò)系統(tǒng)的實(shí)際帶寬提高一倍。每個(gè)Grace Hopper Superchip都配備一個(gè)NVIDIA ConnectX-7網(wǎng)絡(luò)適配器和一個(gè)NVIDIA BlueField-3 NIC，以擴(kuò)展到超過256個(gè)GPU，可以互連多個(gè)DGX GH200系統(tǒng)，并利用BlueField-3 DPU的功能將任何企業(yè)計(jì)算環(huán)境轉(zhuǎn)變?yōu)榘踩壹铀俚奶摂M私有云。

對于受GPU內(nèi)存大小瓶頸的AI和HPC應(yīng)用程序，GPU內(nèi)存的代際飛躍可以顯著提高性能。對于許多主流AI和HPC工作負(fù)載，單個(gè)NVIDIA DGX H100的聚合GPU內(nèi)存可以完全支持。對于其他工作負(fù)載，例如具有TB級嵌入式表的深度學(xué)習(xí)推薦模型(DLRM)、TB級圖形神經(jīng)網(wǎng)絡(luò)訓(xùn)練模型或大型數(shù)據(jù)分析工作負(fù)載，使用DGX GH200可實(shí)現(xiàn)4至7倍的加速。這表明DGX GH200是更高級的AI和HPC模型的更好解決方案，這些模型需要海量內(nèi)存來進(jìn)行GPU共享內(nèi)存編程。

DGX GH200是專為最嚴(yán)苛的工作負(fù)載而設(shè)計(jì)的系統(tǒng)，每個(gè)組件都經(jīng)過精心挑選，以最大限度地減少瓶頸，同時(shí)最大限度地提高關(guān)鍵工作負(fù)載的網(wǎng)絡(luò)性能，并充分利用所有擴(kuò)展硬件功能。這使得該系統(tǒng)具有高度的線性可擴(kuò)展性和海量共享內(nèi)存空間的高利用率。

為了充分利用這個(gè)先進(jìn)的系統(tǒng)，NVIDIA還構(gòu)建了一個(gè)極高速的存儲(chǔ)結(jié)構(gòu)，以峰值容量運(yùn)行并處理各種數(shù)據(jù)類型（文本、表格數(shù)據(jù)、音頻和視頻），并且表現(xiàn)穩(wěn)定且并行。

DGX GH200附帶NVIDIA Base Command，其中包括針對AI工作負(fù)載優(yōu)化的操作系統(tǒng)、集群管理器、加速計(jì)算的庫、存儲(chǔ)和網(wǎng)絡(luò)基礎(chǔ)設(shè)施，這些都針對DGX GH200系統(tǒng)架構(gòu)進(jìn)行了優(yōu)化。此外，DGX GH200還包括NVIDIA AI Enterprise，提供一套經(jīng)過優(yōu)化的軟件和框架，可簡化AI開發(fā)和部署。這種全堆棧解決方案使客戶能夠?qū)Ｗ⒂趧?chuàng)新，而不必?fù)?dān)心管理其IT基礎(chǔ)架構(gòu)。

審核編輯：湯梓紅