浪潮NVMe SSD的性能

浪潮SSD采用浪潮自主開發(fā)的固件架構(gòu)和硬件設(shè)計，具備高性能、高耐用性、高可靠的特點，支持高速穩(wěn)定的讀寫IOPS和帶寬，極低的抖動延時，可應(yīng)用于系統(tǒng)層、性能層、存儲層，面向數(shù)據(jù)庫、云服務(wù)、分布式存儲、大數(shù)據(jù)等場景；Curve 是云原生計算基金會 (CNCF) Sandbox 項目之一，由網(wǎng)易主導(dǎo)開源，是一款高性能、易運維、云原生的分布式存儲系統(tǒng)，由塊存儲 CurveBS 和文件系統(tǒng) CurveFS 兩部分組成( GitHub：https://github.com/opencurve/curve）。浪潮聯(lián)手網(wǎng)易，基于 Curve 塊存儲v1.2.4版本，將Curve 部署在 NVMe磁盤上，對比 Ceph 在同樣環(huán)境下的性能，讓大家對 Curve 在 NVMe 環(huán)境下的性能有直觀的了解。 ?

1.?測試環(huán)境配置

????本次測試采用浪潮服務(wù)器 SA5112M6，磁盤采用三個節(jié)點每個節(jié)點八塊浪潮 INSPUR-NS8610G1U320 NVMe進(jìn)行測試，此次采用的NVMe SSD具有極高的性能，產(chǎn)品4K隨機(jī)寫IOPS可達(dá)320K， 本次在加載業(yè)務(wù)的條件下實測單盤性能 4k 隨機(jī)寫 IOPS 為240k，512k 順序?qū)憳O限帶寬 3440MiB/s。

版本和軟件配置信息：

2.測試工具及腳本

測試工具采用 FIO (官方倉庫 axboe/fio①)，測試腳本參考如下:

Curve塊存儲

Ceph

?

其中，Curve 端的測試采用Curve cbd engine，我們 fork 了axboe/fio 并對接 Curve client sdk 即 curve cbd engine，該倉庫在 opencurve/fio②。

此外，Curve 塊存儲支持條帶化卷，因此我們還測試了 Curve 使用條帶情況下的性能，其中的條帶卷參數(shù)和條帶化卷創(chuàng)建命令如下:

curvecreate?--filename?/test0?--length?1024?--user?test?--stripeUnit?65536?--stripeCount?64

另外，對于單卷和多卷讀的測試，在進(jìn)行讀之前，需要對卷進(jìn)行一遍預(yù)寫，將卷寫滿，否則測試數(shù)據(jù)將因為 client 直接返回 0 而導(dǎo)致性能不準(zhǔn)，這一操作 Curve參考腳本如下：

sudo ./fio_--ioengine=cbd --cbd=/test0 --size=1024G --bs=1M --direct=1 --group_reporting--time_based --rw=write --iodepth=512 --numjobs=1 -name=fu

3.測試結(jié)果

單卷測試

單卷 4k 隨機(jī)寫測試：

對比 Curve 與 Ceph的單卷小 IO隨機(jī)寫性能來看，Curve 的性能遠(yuǎn)優(yōu)于于Ceph 的性能（QD256，達(dá)到約319%）；

從 QD1 的時延來看 Curve 的單路時延僅 Ceph 的50%。

單卷 512k 隨機(jī)寫測試：

Curve 在單卷大 IO 順序?qū)懙膱鼍跋?，具有?Ceph 相當(dāng)?shù)男阅埽?/p>

特別地，當(dāng) Curve 采用條帶化卷之后，可以顯著的改善Curve大IO順序?qū)憟鼍跋碌男阅堋?/p>

單卷?4k?隨機(jī)讀測試：

Curve相比于ceph在單卷小IO隨機(jī)讀的場景下，具有明顯優(yōu)于ceph的性能（QD256時，達(dá)到266%）。

單卷 512k 隨機(jī)讀測試：

在單卷大IO順序讀的場景下，Curve與cpeh性能相當(dāng)，同樣時延條帶化之后，Curve的大IO順序讀場景下的帶寬有明顯改善。

多卷測試

多卷 4k 隨機(jī)寫測試：

多卷 4k 隨機(jī)讀測試：

從多卷小IO的隨機(jī)讀寫測試來看：

小 IO 隨機(jī)寫 Ceph 比 Curve 先到達(dá)CPU 性能瓶頸，因此 Curve 更能發(fā)揮后端的性能，總體性能方面，IOPS 也比 Ceph 好約165%；

小 IO 隨機(jī)讀 Ceph 也比 Curve 先到達(dá)網(wǎng)卡的瓶頸，在對 Ceph 繼續(xù)增加壓力（jobs加到5）之后，兩者后端性能相當(dāng)，總的來說，Curve 的性能應(yīng)當(dāng)也是好于 Ceph。

多卷 512k 隨機(jī)寫測試：

多卷 512k 順序讀測試：

從多卷大IO的順序讀寫來看，Curve 和Ceph 的性能基本相當(dāng)。

4.后記

????上述測試中，無論是 Curve 還是 Ceph 均不能完全發(fā)揮 浪潮NVMe SSD的性能。目前 Ceph 已經(jīng)支持使用 spdk 訪問 NVMe SSD，性能也有較大提升。網(wǎng)易Curve 支持spdk 的版本正在開發(fā)中，待相關(guān)版本發(fā)布后，再與 Ceph 的 spdk 版本對比，敬請期待?！　?/p>