讓Ceph存儲(chǔ)的性能飆升的原因竟然是因?yàn)樗?

?Ceph作為一款開(kāi)源的分布式存儲(chǔ)軟件解決方案，由于其功能豐富、社區(qū)活躍，在公有云和私有云環(huán)境中有著廣泛的應(yīng)用。

然而，由于Ceph的大規(guī)模分布式架構(gòu)原因，其IO路徑過(guò)長(zhǎng)，使得其性能一直被業(yè)界所詬病。

現(xiàn)實(shí)中，Ceph更多用在備份和歸檔等性能要求不高的場(chǎng)景。在這種場(chǎng)景下，一般存儲(chǔ)介質(zhì)采用HDD，很少采用全閃存的配置。

伴隨著固態(tài)盤（SSD）價(jià)格的不斷走低，云提供商紛紛開(kāi)始著手為客戶打造具備卓越性能和高可靠性的全閃存存儲(chǔ)。

為此，他們迫切希望獲得基于 Ceph 的全閃存參考架構(gòu)，并了解具體的性能表現(xiàn)和最佳優(yōu)化實(shí)踐。

英特爾?傲騰? 技術(shù)前所未有地集高吞吐量、低延遲、高服務(wù)質(zhì)量和高耐用性優(yōu)勢(shì)于一身，它由 3D XPoint? 內(nèi)存介質(zhì)和英特爾?軟件等組合而成。

這些構(gòu)建模塊相互配合，配合至強(qiáng)可擴(kuò)展處理器，在降低延遲和加速系統(tǒng)性能方面實(shí)現(xiàn)了具體提升，能夠全面滿足工作負(fù)載對(duì)于大容量和快速存儲(chǔ)的需求。

本篇文章將圍繞 Ceph 全閃存存儲(chǔ)系統(tǒng)參考架構(gòu)和基于英特爾?至強(qiáng)?可擴(kuò)展處理器的軟件優(yōu)化等方面，介紹Intel所取得的進(jìn)展。

在本文中，將重點(diǎn)為您介紹Ceph 參考架構(gòu)和性能結(jié)果，該架構(gòu)的配置包括 RADOS 塊設(shè)備（RBD）接口、英特爾?傲騰? 技術(shù)和英特爾?至強(qiáng)?可擴(kuò)展處理器產(chǎn)品家族（英特爾?至強(qiáng)?鉑金 8180 處理器和英特爾?至強(qiáng)?金牌 6140 處理器）。

我們先介紹采用英特爾?傲騰? 技術(shù)和英特爾?至強(qiáng)?可擴(kuò)展處理器的Ceph 全閃存陣列（AFA）參考架構(gòu)，然后介紹典型工作負(fù)載的性能結(jié)果和系統(tǒng)特性。

Intel建議Ceph AFA采用英特爾?至強(qiáng)?鉑金 8180 處理器，它是英特爾?至強(qiáng)?可擴(kuò)展處理器產(chǎn)品家族中先進(jìn)的處理器。

建議使用英特爾?傲騰? 固態(tài)盤（SSD）作為BlueStore WAL(Write-Ahead Logging) 設(shè)備，使用基于 NAND 固態(tài)盤作為數(shù)據(jù)硬盤，并使用 Mellanox 40 GbE 網(wǎng)絡(luò)接口卡（NIC）作為高速以太網(wǎng)數(shù)據(jù)端口，具備最高性能（吞吐量和延遲）。它是 I/O 密集型工作負(fù)載的最佳選擇。

測(cè)試系統(tǒng)由5個(gè)Ceph存儲(chǔ)服務(wù)器和5個(gè)客戶端節(jié)點(diǎn)組成。

每個(gè)存儲(chǔ)節(jié)點(diǎn)配置Intel Xeon Platinum 8180處理器和384 GB內(nèi)存，使用1x Intel Optane SSD DC P4800X 375GB作為BlueStore WAL設(shè)備，4x Intel SSD DC P3520 2TB作為數(shù)據(jù)驅(qū)動(dòng)器，以及2x Mellanox 40 GbE NIC作為Ceph的獨(dú)立集群和公共網(wǎng)絡(luò)。

同時(shí)，每個(gè)節(jié)點(diǎn)均使用 Ceph 12.2.2，并且每個(gè)英特爾?固態(tài)盤 DC P3520 系列運(yùn)行一個(gè)對(duì)象存儲(chǔ)守護(hù)程序（OSD）。用于測(cè)試的 RBD 池配置有 2 個(gè)副本。

對(duì)于客戶端，每個(gè)節(jié)點(diǎn)配置了英特爾?至強(qiáng)?鉑金 8180 處理器、384 GB 內(nèi)存和 1 個(gè) Mellanox 40GbE 網(wǎng)卡。

Intel設(shè)計(jì)了四種不同的工作負(fù)載來(lái)模擬云中典型的全閃存 Ceph 集群（基于帶 librbd 的 fio），其中包括 4K 隨機(jī)讀寫(xiě)和 64K 順序讀寫(xiě)，以分別模擬隨機(jī)工作負(fù)載和順序工作負(fù)載。對(duì)于每個(gè)測(cè)試用例，IO 性能（IOPS 或帶寬）使用卷擴(kuò)展數(shù)量（最大擴(kuò)展到 100）來(lái)衡量，每個(gè)卷配置為 30 GB。

這些卷已預(yù)先分配，以消除 Ceph 精簡(jiǎn)配置機(jī)制的影響，獲得穩(wěn)定且可復(fù)制的結(jié)果。每次測(cè)試之前停止 OSD 頁(yè)高速緩存，以消除頁(yè)高速緩存的影響。在每個(gè)測(cè)試用例中，fio 配置了 300 秒的準(zhǔn)備時(shí)限和 300 秒的數(shù)據(jù)采集時(shí)限。

?

4K隨機(jī)寫(xiě)特性

用戶空間消耗的CPU利用率為37％，占CPU總利用率的75％。分析結(jié)果顯示Ceph OSD過(guò)程消耗了大部分CPU周期; CPU還有空間的可疑原因是軟件線程和鎖定模型實(shí)現(xiàn)限制了Ceph在單個(gè)節(jié)點(diǎn)上的擴(kuò)展能力，這仍然是下一步優(yōu)化工作。

4K隨機(jī)寫(xiě)入的系統(tǒng)指標(biāo)

?

4K隨機(jī)讀取特性

CPU利用率約為60％，其中IOWAIT約占15％，因此實(shí)際CPU消耗也約為45％;類似于隨機(jī)寫(xiě)例。OSD磁盤的讀取IOPS非常穩(wěn)定在80K，40 GBbE NIC帶寬約為2.1 GB/s。沒(méi)有觀察到明顯的硬件瓶頸;疑似軟件瓶頸類似于4K隨機(jī)寫(xiě)入案例，需要進(jìn)一步調(diào)查。

4K隨機(jī)讀取的系統(tǒng)指標(biāo)

64K順序?qū)懭胩匦?/strong>