GPU，供不應(yīng)求！

還記得嗎，GPU 曾經(jīng)只是一種小型無(wú)風(fēng)扇顯卡，其代表包括Voodoo、Matrox、Nvidia 或 ATI 嗎？這個(gè)簡(jiǎn)單的添加為您的 PC 帶來(lái)了響應(yīng)式 2D 和 3D 圖形的新世界。

如果當(dāng)時(shí)有人告訴你，未來(lái)版本的 GPU 最終將被用作 HPC、加密貨幣和生成人工智能的高性能工具。我懷疑答案會(huì)是“什么是加密貨幣和生成人工智能？”

對(duì) GPU 硬件或更好的加速器的需求從未如此強(qiáng)烈，如果這種趨勢(shì)持續(xù)下去，當(dāng)前的高需求可能會(huì)延續(xù)到不久的將來(lái)。就 HPC 而言，這一趨勢(shì)表明 GPU 未來(lái)將會(huì)變得昂貴且難以找到（除非您購(gòu)買(mǎi)的數(shù)量足以直接向供應(yīng)商購(gòu)買(mǎi)）。

GPU 非常適合加速矩陣運(yùn)算，這通常是許多 HPC 應(yīng)用程序的核心。它們提供 SIMD（單指令多數(shù)據(jù)）處理單元，可以加速?gòu)?fù)雜的并行數(shù)組操作。正如人們經(jīng)常指出的那樣，HPC GPU 市場(chǎng)在一定程度上要?dú)w功于規(guī)模大得多（約 7 倍）的游戲市場(chǎng)，它幫助支付了硬件成本，讓游戲玩家能夠飛越星系，同時(shí)允許科學(xué)家模擬星系。

加密貨幣市場(chǎng)改變了這種低端動(dòng)態(tài)。就加密貨幣而言，游戲 GPU 非常擅長(zhǎng)快速查找唯一數(shù)字并產(chǎn)生熱量。市場(chǎng)需求相當(dāng)高，但由于加密市場(chǎng)的不斷發(fā)展，需求似乎正在下降。

在高端，情況就完全不同了。根據(jù)雅虎財(cái)經(jīng)的一篇文章，Reports Insights 的一份報(bào)告預(yù)測(cè)：

“受圖形處理器 (GPU) 科學(xué)模擬、數(shù)據(jù)分析和人工智能需求不斷增長(zhǎng)的推動(dòng)，全球圖形處理器 (GPU) 市場(chǎng)預(yù)計(jì)在 2022 年至 2030 年期間復(fù)合年增長(zhǎng)率為 33.5%?！?/p>

數(shù)據(jù)顯示，2022 年，GPU 市場(chǎng)估值為447 億美元，預(yù)計(jì)到 2030 年將達(dá)到4509 億美元。GPU 市場(chǎng)的增長(zhǎng)可歸因于游戲、娛樂(lè)和數(shù)據(jù)中心等各種最終用途行業(yè)對(duì)高級(jí)圖形和高質(zhì)量視覺(jué)體驗(yàn)的需求不斷增長(zhǎng)。虛擬和增強(qiáng)現(xiàn)實(shí)的日益普及以及人工智能和機(jī)器學(xué)習(xí)的進(jìn)步也促進(jìn)了 GPU 市場(chǎng)的增長(zhǎng)。隨著高性能 GPU 需求的增長(zhǎng)，市場(chǎng)有望在未來(lái)幾年大幅增長(zhǎng)，為市場(chǎng)參與者帶來(lái)大量機(jī)會(huì)。

然而，對(duì)于 GPU 市場(chǎng)供應(yīng)商來(lái)說(shuō)，這是個(gè)好消息，對(duì)于最終用戶(hù)來(lái)說(shuō)，LLM（大型語(yǔ)言模型，例如 ChatGPT）的增長(zhǎng)創(chuàng)造了對(duì)嚴(yán)格意義上不屬于傳統(tǒng) HPC 市場(chǎng)一部分的 GPU 的新需求。

以 Inflection AI 為例，該公司正在開(kāi)發(fā)一種名為“Pi”的“個(gè)人人工智能”聊天機(jī)器人。為了實(shí)現(xiàn)這一目標(biāo)，該公司建造了一臺(tái)配備 22,000 個(gè) NVIDIA H100 GPU 的 超級(jí)計(jì)算機(jī)。為了提供一些背景信息，F(xiàn)rontier 是 6 月 23 日 TOP500 列表中排名第一的系統(tǒng)，擁有37,632 個(gè) GPU。

Inflection AI 的情況并非獨(dú)一無(wú)二。SemiAnalysis報(bào)告的另外兩個(gè)數(shù)據(jù)點(diǎn)也支持同樣的趨勢(shì)。

“即使 OpenAI 也無(wú)法獲得足夠的 GPU，這嚴(yán)重阻礙了其近期路線(xiàn)圖。由于 GPU 短缺，OpenAI 無(wú)法部署其多模態(tài)模型?！?/p>

例如，Tik Tok 背后的中國(guó)公司字節(jié)跳動(dòng)據(jù)稱(chēng)從 Nvidia 訂購(gòu)了價(jià)值超過(guò) 10 億美元的 A800/H800?！?/p>

正在尋找 FLOPS？

幸運(yùn)的是，GPU 對(duì)于 HPC 來(lái)說(shuō)并不是必需的；GPU 并不是 HPC 所必需的。它們對(duì)于許多應(yīng)用都很有用；然而，最新的 TOP500 系統(tǒng)統(tǒng)計(jì)（6 月 23 日）表明，37% 的機(jī)器使用 GPU。這個(gè)數(shù)字正在增加，并且隨著系統(tǒng)進(jìn)入 exaFLOPS 領(lǐng)域，加速器的使用將繼續(xù)。

如前所述，GPU 不是必需的，但對(duì)于許多 HPC 應(yīng)用程序來(lái)說(shuō)通常是可取的。由于生成式 AI 行業(yè)爆炸式增長(zhǎng)的巨大需求，許多 HPC 現(xiàn)場(chǎng)采購(gòu)和/或云場(chǎng)景的擔(dān)憂(yōu)是 GPU 的全面可用性（短缺）?！叭魏?GPU”（Nvidia、AMD 或 Intel）的高市場(chǎng)需求可能會(huì)促使 HPC 從業(yè)者考慮僅使用 CPU 的解決方案來(lái)幫助加速其代碼（例如，眾核、AVX-512、HBM、3D V-Cache 等） 。

對(duì)“GPU 周期”的搜索也可能會(huì)帶來(lái)一些新穎的方法。回想一下，HPC 中的一些原始 GPU 應(yīng)用程序始于標(biāo)準(zhǔn) GPU 卡和一種名為“ Brook ”的新語(yǔ)言，該語(yǔ)言是 CUDA 的前身，并在第一段中提到的一些早期 GPU 卡上運(yùn)行。一開(kāi)始，這種方法似乎有點(diǎn)尷尬，但速度的提高是不容忽視的。結(jié)果重塑了 HPC 領(lǐng)域。

最近，一個(gè)有趣的舉動(dòng)是，最新版本的 AMD ROCm GPU 庫(kù)(V5.6) 提供了對(duì)移動(dòng)和桌面級(jí) iGPU（集成 GPU）的支持。在 LinkedIn 上的一篇簡(jiǎn)短帖子中，HPC 專(zhuān)家 James Cuff 能夠使用 Ryzen 9 6900HX 桌面處理器在 CPU 和 CPU/iGPU 上運(yùn)行 TensorFlow 基準(zhǔn)測(cè)試。同樣的基準(zhǔn)測(cè)試在 CPU 上運(yùn)行需要 13 秒，在 CPU/iGPU 組合上運(yùn)行需要 3 秒。當(dāng)然，還需要更多的測(cè)試，但正如對(duì) FLOPS 的搜索將目光轉(zhuǎn)向了早期基于 GPU 的顯卡一樣，尋找內(nèi)部 GPU 可能會(huì)為 HPC 組合添加一些未使用和可用的 FLOPS。

GPU 的巨大壓力已經(jīng)到來(lái)。