獲得GPU存儲(chǔ)性能的方法有哪些

　　支持AI人工智能和ML機(jī)器學(xué)習(xí)部署的數(shù)據(jù)中心依靠基于圖形處理單元（GPU）的服務(wù)器為其計(jì)算密集型架構(gòu)提供支持。到2024年，在多個(gè)行業(yè)中，GPU使用量的增長(zhǎng)將使GPU服務(wù)器的復(fù)合年增長(zhǎng)率超過31%。這意味著將有更多的系統(tǒng)架構(gòu)師承擔(dān)承擔(dān)相應(yīng)的職責(zé)，以確保GPU系統(tǒng)具有最高的性能和成本效益。

　　然而，為這些基于GPU的AI / ML工作負(fù)載優(yōu)化存儲(chǔ)并非易事。存儲(chǔ)系統(tǒng)必須高速處理海量數(shù)據(jù)，與此同時(shí)需要注意以下兩個(gè)挑戰(zhàn)：

　　1）服務(wù)器利用率。GPU服務(wù)器對(duì)于訓(xùn)練大型AI / ML數(shù)據(jù)集所需的矩陣乘法和卷積非常高效。但是，GPU服務(wù)器的成本是典型CPU服務(wù)器的3倍。為了保持ROI，IT員工需要讓GPU使用率足夠飽和。但不幸的是，很多部署經(jīng)驗(yàn)表明GPU僅有30%的使用率。

　　2）GPU存儲(chǔ)瓶頸。ML訓(xùn)練數(shù)據(jù)集通常遠(yuǎn)遠(yuǎn)超過GPU的本地RAM容量，從而產(chǎn)生了一個(gè)I / O瓶頸，分析人員將其稱為GPU存儲(chǔ)瓶頸。AI和ML系統(tǒng)最終要等待訪問存儲(chǔ)資源，這是因?yàn)樗鼈凖嫶蟮臄?shù)據(jù)阻礙了及時(shí)訪問，從而影響了性能。

　　為了解決這個(gè)問題，NVMe閃存固態(tài)硬盤逐漸取代了標(biāo)準(zhǔn)閃存固態(tài)硬盤，成為Al / ML存儲(chǔ)的首選。NVMe支持大規(guī)模的IO并行性，性能約為同類SATA SSD的6倍，并且延遲降低了10倍，并且具有更高的電源效率。正如GPU推動(dòng)了高性能超級(jí)計(jì)算機(jī)的發(fā)展一樣，NVMe閃存在降低延遲的同時(shí)，實(shí)現(xiàn)了更高的存儲(chǔ)性能、帶寬和吞吐量。NVMe閃存解決方案可以使AI和ML數(shù)據(jù)集加載到應(yīng)用程序的速度更快，并且可以避免GPU匱乏。

　　此外，NVMe Over Fabrics可以虛擬化整個(gè)高速網(wǎng)絡(luò)上的Nvme資源，通過NVMeoF技術(shù)可以更好的適用于AI和ML的存儲(chǔ)架構(gòu)。NVMeoF使GPU可以直接訪問NVMe的彈性池，因此可以使用本地閃存性能來訪問所有資源。它使AI數(shù)據(jù)科學(xué)家和HPC研究人員可以向應(yīng)用程序提供更多數(shù)據(jù)，以便他們更快地獲得更好的結(jié)果。

　　要獲得最佳的GPU存儲(chǔ)性能，就需要根據(jù)業(yè)務(wù)目標(biāo)對(duì)基礎(chǔ)架構(gòu)進(jìn)行微調(diào)。這里有四種方法可供考慮。
?