速度和容量受制？No！高性能存儲(chǔ)的瓶頸不止于此

近兩年以來(lái)存儲(chǔ)市場(chǎng)可謂好不熱鬧，SSD帶來(lái)的急速已經(jīng)體現(xiàn)在了下至消費(fèi)電子，上至超算的性能上，然而隨著高性能計(jì)算走上了全新的道路，大吞吐量和大容量也已經(jīng)不再是HPC存儲(chǔ)關(guān)注的唯二設(shè)計(jì)目標(biāo)了。

那么當(dāng)下的HPC存儲(chǔ)遇上了哪些挑戰(zhàn)呢？首先數(shù)據(jù)生成已經(jīng)在被數(shù)據(jù)接入逐漸取代，大數(shù)據(jù)環(huán)境下，IOPS要求的反而是小數(shù)據(jù)的隨機(jī)存取。其次，“尋找”到真正所需的數(shù)據(jù)成了最關(guān)鍵的一環(huán)，也對(duì)元數(shù)據(jù)在統(tǒng)計(jì)、讀取、寫入和刪除上提出了更高的要求。加之近年來(lái)涌現(xiàn)的不同文件與數(shù)據(jù)形式，處理起來(lái)需要額外的注意，高性能存儲(chǔ)必須具備大型數(shù)據(jù)轉(zhuǎn)移的能力。

新的高性能計(jì)算場(chǎng)景

就以目前一些在建的智能城市項(xiàng)目為例，諸多傳感器和執(zhí)行器散落在城市中，激光雷達(dá)、攝像頭、微流控傳感器和電機(jī)，它們將產(chǎn)生PB級(jí)別的原始數(shù)據(jù)，這些數(shù)據(jù)在需要經(jīng)過(guò)壓縮、預(yù)處理、上傳、深度學(xué)習(xí)和推理，存儲(chǔ)可以說(shuō)與邊緣計(jì)算和機(jī)器學(xué)習(xí)緊密聯(lián)系在一起。

另一個(gè)例子就是我們的自動(dòng)駕駛，如今的自動(dòng)駕駛方案都是通過(guò)數(shù)據(jù)與高性能計(jì)算實(shí)現(xiàn)的，像特斯拉這樣的廠商甚至自研自建芯片和超算，用于其自動(dòng)駕駛技術(shù)的開(kāi)發(fā)。自動(dòng)駕駛測(cè)試車隊(duì)每天都要將PB級(jí)的遙測(cè)傳感數(shù)據(jù)傳輸給數(shù)據(jù)平臺(tái)，隨后經(jīng)過(guò)標(biāo)簽、分類、錯(cuò)誤檢測(cè)和仿真，再放到大型存儲(chǔ)系統(tǒng)中，而這樣的大型存儲(chǔ)平臺(tái)不僅大小可能擴(kuò)展至EB級(jí)，還要承受著仿真、再處理與機(jī)器學(xué)習(xí)的繁重負(fù)載。

在這些新場(chǎng)景給出的挑戰(zhàn)下，興起了一波新的技術(shù)，比如PCIe 4.0朝PCIe 5.0轉(zhuǎn)變，光模塊從200G朝400G的轉(zhuǎn)變，使用GPU直接存儲(chǔ)等專用協(xié)議等等。這些技術(shù)多數(shù)是對(duì)HPC存儲(chǔ)在吞吐量上的提升，而更重要的是對(duì)特定工作流效率的優(yōu)化。

HPC系統(tǒng)中存儲(chǔ)的組成

在當(dāng)下的HPC場(chǎng)景中，無(wú)論是本地部署還是云端環(huán)境，都需要一個(gè)計(jì)算平臺(tái)，可能是CPU或是CPU+GPU/加速器的配置，這一節(jié)點(diǎn)可以充分利用3D Xpoint這樣的持久內(nèi)存，不僅可以提供低延遲的內(nèi)存數(shù)據(jù)訪問(wèn)，在斷電下不丟失數(shù)據(jù)，還可以用上DAOS這樣分布式異步對(duì)象存儲(chǔ)的文件系統(tǒng)。

Lustre文件系統(tǒng) / Lustre

接著是存儲(chǔ)平臺(tái)，也就是并行文件系統(tǒng)的所在，這個(gè)系統(tǒng)可能是基于Lustre、Spectrum或是NVMe-oF的方案。但無(wú)論是哪種系統(tǒng)，考慮到需要低成本大容量，通常都會(huì)用到NVMe硬盤和HDD硬盤的混合方案，但這就提出了數(shù)據(jù)分布以及數(shù)據(jù)移動(dòng)上的挑戰(zhàn)。不過(guò)現(xiàn)在已經(jīng)有了PCC/LROC這樣的客戶端持久性高速緩存，在存儲(chǔ)或數(shù)據(jù)敏感的環(huán)境中，只需完成計(jì)算平臺(tái)和存儲(chǔ)平臺(tái)相關(guān)的數(shù)據(jù)移動(dòng)，進(jìn)一步降低了I/O開(kāi)銷。

最后是數(shù)據(jù)的管理，這一部分屬于對(duì)大量數(shù)據(jù)更加長(zhǎng)期的存儲(chǔ)，比如像波音這樣的航空公司，需要對(duì)每一架飛機(jī)的細(xì)致數(shù)據(jù)存儲(chǔ)50年以上，還要具備數(shù)據(jù)追溯的能力。這樣的存儲(chǔ)并不需要擁有高速的性能，但在前端的程序需要時(shí)提供即時(shí)的交互，而且為了節(jié)能考慮，要做到所謂的“零功耗存儲(chǔ)”。

超算是怎么做的？

隨著不少超算都已經(jīng)在布局百億億級(jí)的系統(tǒng)，作為HPC中最頂端的應(yīng)用，我們自然可以從中窺得一二，看一看當(dāng)下主流的HPC存儲(chǔ)方案。以計(jì)劃于今年打造完成的Frontier超算為例，該超算將成為美國(guó)第一臺(tái)百億億級(jí)別的超算，算力約為1.5 exaFLOPS。

Frontier超級(jí)計(jì)算機(jī) / AMD

Frontier采取了AMD的全套方案，結(jié)合AMD的EPyc CPU和Radeon Instinct GPU，在AMD的緩存一致性互聯(lián)方案下，CPU上的代碼可以直接訪問(wèn)GPU內(nèi)存，這也就是我們?cè)谏衔奶岬降腉PU直接存儲(chǔ)技術(shù)。在存儲(chǔ)系統(tǒng)上，F(xiàn)rontier用到了679PB基于Lustre+ZFS的文件系統(tǒng)方案，用47700塊硬盤實(shí)現(xiàn)，最高速率可達(dá)5TB/s。高速存儲(chǔ)上，共有5400塊NVMe固態(tài)硬盤組成11PB的存儲(chǔ)空間，提供10TB/s的讀取速度。

Aurora超級(jí)計(jì)算機(jī) / 英特爾
而Aurora同樣作為今年推出的百億億級(jí)超算系統(tǒng)，則選擇了英特爾的方案，單個(gè)計(jì)算節(jié)點(diǎn)由兩個(gè)Xeon Sapphire Rapids、6個(gè)Xe Ponte Vecchio GPU和一個(gè)通用內(nèi)存架構(gòu)組成。其主要存儲(chǔ)方案也選擇了英特爾的DAOS文件系統(tǒng)，結(jié)合NVMe和傲騰持久內(nèi)存，組成一套大于230PB的系統(tǒng)，并實(shí)現(xiàn)25TB/s的速度。

小結(jié)

在HPC存儲(chǔ)上的挑戰(zhàn)除了以上提到的這些外，還有近來(lái)興起的存內(nèi)計(jì)算激發(fā)的計(jì)算能力挑戰(zhàn)，未來(lái)5年內(nèi)，無(wú)論是存儲(chǔ)結(jié)構(gòu)、文件系統(tǒng)乃至存儲(chǔ)材料都會(huì)再度迎來(lái)新的變化。這些變化會(huì)先一步解決HPC上的難題，再潛移默化地改善日常應(yīng)用。