0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

EC改進(jìn)方案選型:容災(zāi)方案在性能和可靠性方面如何做驗(yàn)證

Ceph對(duì)象存儲(chǔ)方案 ? 來源:Ceph對(duì)象存儲(chǔ)方案 ? 作者:Ceph對(duì)象存儲(chǔ)方案 ? 2021-01-06 17:27 ? 次閱讀

EC改進(jìn)方案選型

接上篇,介紹一下整個(gè)容災(zāi)方案在性能和可靠性方面如何做驗(yàn)證。

3個(gè)機(jī)柜,每個(gè)機(jī)柜15臺(tái)機(jī)器,總共45臺(tái),需要在RBD場景下,找到成本、性能、數(shù)據(jù)可靠性的三者平衡點(diǎn)。

c7301826-4ff6-11eb-8b86-12bb97331649.jpg

跨機(jī)柜容災(zāi)方案1

c79cfb12-4ff6-11eb-8b86-12bb97331649.jpg

支持2個(gè)機(jī)柜級(jí)別的容災(zāi),跨3個(gè)機(jī)柜單個(gè)分組共9個(gè)節(jié)點(diǎn),共5個(gè)分組,對(duì)應(yīng)的理論收益情況如下

名稱 K M D 3副本得盤率 EC得盤率 硬件成本節(jié)約比率 磁盤數(shù)據(jù)遷移量(ISA) 磁盤數(shù)據(jù)遷移量(CLAY) 數(shù)據(jù)恢復(fù)負(fù)載降低比率
3+2 3 2 4 33.33333333 60 180 3 2 33.33333333

o4YBAF_1gsKARJG0AAAqUIurg1U783.jpg


對(duì)應(yīng)的crush rule如下

o4YBAF_1guyAACb2AAA9zwM_7SE979.jpg

單機(jī)柜容災(zāi)方案2

c82775c6-4ff6-11eb-8b86-12bb97331649.jpg

支持1個(gè)機(jī)柜級(jí)別的容災(zāi),單個(gè)分組共5個(gè)節(jié)點(diǎn),共9個(gè)分組,對(duì)應(yīng)的理論收益情況如下

名稱 K M D 3副本得盤率 EC得盤率 硬件成本節(jié)約比率 磁盤數(shù)據(jù)遷移量(ISA) 磁盤數(shù)據(jù)遷移量(CLAY) 數(shù)據(jù)恢復(fù)負(fù)載降低比率
4+3 4 3 6 33.33333333 57.14285714 171.4285714 4 2 50
5+3 5 3 7 33.33333333 62.5 187.5 5 2.333333333 53.33333333
6+3 6 3 8 33.33333333 66.66666667 200 6 2.666666667 55.55555556

從性能最優(yōu)原則,K+M總和最小則對(duì)應(yīng)的理論性能最優(yōu),所以單機(jī)柜容災(zāi)模型下,4+3成為最優(yōu)方案。

對(duì)應(yīng)的ec配置如下

o4YBAF_1gwKAEo-pAAApeoYi218109.jpg

對(duì)應(yīng)的crush rule如下

o4YBAF_1gxWAU4z4AAA9bNt8K54717.jpg

crush rule的生成與rule的驗(yàn)證模擬

o4YBAF_1gymAXPN_AABFMkPvAw4057.jpg

容災(zāi)能力測試場景

性能測試

RBD場景,模擬大、小文件,順序/隨機(jī)讀寫,獲取對(duì)應(yīng)的fio性能基準(zhǔn)數(shù)據(jù),對(duì)比3副本與EC的性能差距。
3副本 vs CLAY_3+2 vs CLAY_4+3

場景名稱 iops 帶寬 90th延時(shí) 99th延時(shí) 備注
3副本-4M順序讀
3+2-4M順序讀
4+3-4M順序讀
3副本-4M順序?qū)?/td>
3+2-4M順序?qū)?/td>
4+3-4M順序?qū)?/td>
3副本-4k隨機(jī)寫
3+2-4k隨機(jī)寫
4+3-4k隨機(jī)寫
3副本-4k隨機(jī)讀
3+2-4k隨機(jī)讀
4+3-4k隨機(jī)讀

故障恢復(fù)效率

前置條件:集群提前寫入容量60%,模擬已有數(shù)據(jù)場景
目標(biāo):對(duì)比ISA和CLAY在K+M相同的情況下,RBD場景下持續(xù)讀寫數(shù)據(jù),模擬單塊OSD、單個(gè)OSD節(jié)點(diǎn)故障、多個(gè)OSD節(jié)點(diǎn)故障(可選),數(shù)據(jù)遷移所需的時(shí)長,同時(shí)記錄對(duì)應(yīng)的CPU、內(nèi)存、網(wǎng)卡負(fù)載消耗情況,以及性能波動(dòng)情況。

容災(zāi)能力

前置條件:集群提前寫入容量60%,模擬已有數(shù)據(jù)場景
目標(biāo):RBD場景下持續(xù)讀寫數(shù)據(jù),模擬最小故障域、單機(jī)柜、雙機(jī)柜故障,記錄對(duì)應(yīng)的性能波動(dòng)情況,考察在極端情況下整個(gè)集群的服務(wù)可用性和數(shù)據(jù)可靠性。

跨機(jī)柜容災(zāi)方案1

c87ec0d8-4ff6-11eb-8b86-12bb97331649.jpg

單機(jī)柜容災(zāi)方案2

c8b68284-4ff6-11eb-8b86-12bb97331649.jpg

責(zé)任編輯:xj

原文標(biāo)題:Ceph最新的EC-CLAY插件調(diào)研-下

文章出處:【微信公眾號(hào):Ceph對(duì)象存儲(chǔ)方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 機(jī)柜
    +關(guān)注

    關(guān)注

    0

    文章

    43

    瀏覽量

    10320
  • 容災(zāi)實(shí)現(xiàn)

    關(guān)注

    0

    文章

    2

    瀏覽量

    6726
  • Ceph
    +關(guān)注

    關(guān)注

    1

    文章

    22

    瀏覽量

    9390

原文標(biāo)題:Ceph最新的EC-CLAY插件調(diào)研-下

文章出處:【微信號(hào):cephbook,微信公眾號(hào):Ceph對(duì)象存儲(chǔ)方案】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    PCB高可靠性化要求與發(fā)展——PCB高可靠性的影響因素(上)

    可靠性提出了更為嚴(yán)格的要求,特別是焊接點(diǎn)的結(jié)合力、熱應(yīng)力管理以及焊接點(diǎn)數(shù)量的增加等方面。本文將探討影響PCB可靠性的關(guān)鍵因素,并分析當(dāng)前和未來提高PCB
    的頭像 發(fā)表于 10-11 11:20 ?165次閱讀
    PCB高<b class='flag-5'>可靠性</b>化要求與發(fā)展——PCB高<b class='flag-5'>可靠性</b>的影響因素(上)

    基于可靠性設(shè)計(jì)感知的EDA解決方案

    產(chǎn)品可靠性,包括制造和運(yùn)營方面,正在成為芯片-封裝-系統(tǒng)迭代設(shè)計(jì)周期中設(shè)計(jì)的關(guān)鍵方面,尤其是那些有望承受更長使用壽命和可能的惡劣操作環(huán)境的產(chǎn)品,例如汽車電子系統(tǒng)、高性能計(jì)算 (HPC)
    的頭像 發(fā)表于 07-15 09:56 ?291次閱讀
    基于<b class='flag-5'>可靠性</b>設(shè)計(jì)感知的EDA解決<b class='flag-5'>方案</b>

    汽車功能安全與可靠性的關(guān)系

    當(dāng)前,隨著汽車領(lǐng)域的飛速發(fā)展,汽車也被重新定義。汽車電子電氣系統(tǒng)設(shè)計(jì)時(shí),離不開對(duì)功能安全和可靠性設(shè)計(jì)的考慮。正確理解兩者之間的關(guān)系,有助于更好地分析問題和解決問題。什么是汽車可靠性汽車可靠性
    的頭像 發(fā)表于 07-13 08:28 ?3117次閱讀
    汽車功能安全與<b class='flag-5'>可靠性</b>的關(guān)系

    半導(dǎo)體封裝技術(shù)的可靠性挑戰(zhàn)與解決方案

    隨著半導(dǎo)體技術(shù)的飛速發(fā)展,先進(jìn)封裝技術(shù)已成為提升芯片性能、實(shí)現(xiàn)系統(tǒng)高效集成的關(guān)鍵環(huán)節(jié)。本文將從生態(tài)系統(tǒng)和可靠性兩個(gè)方面,深入探討半導(dǎo)體先進(jìn)封裝技術(shù)的內(nèi)涵、發(fā)展趨勢及其面臨的挑戰(zhàn)。
    的頭像 發(fā)表于 05-14 11:41 ?839次閱讀
    半導(dǎo)體封裝技術(shù)的<b class='flag-5'>可靠性</b>挑戰(zhàn)與解決<b class='flag-5'>方案</b>

    數(shù)倉中搭建細(xì)粒度災(zāi)應(yīng)用的主要步驟

    對(duì)于MPPDB集群的災(zāi)而言,目前業(yè)界的常見方案要么是部署兩套規(guī)格配置同等的集群,要么通過邏輯雙加載方式去實(shí)現(xiàn),這兩個(gè)方案缺點(diǎn)比較明顯,存在架構(gòu)復(fù)雜、建設(shè)成本高等問題,不僅使得
    的頭像 發(fā)表于 02-22 11:19 ?363次閱讀
    數(shù)倉中搭建細(xì)粒度<b class='flag-5'>容</b><b class='flag-5'>災(zāi)</b>應(yīng)用的主要步驟

    線路板變形對(duì)電路性能可靠性有影響嗎?

    線路板變形對(duì)電路性能可靠性有影響嗎? 線路板是連接和組織電子元件的重要組成部分。線路板的設(shè)計(jì)和制造對(duì)電路性能可靠性有著重要的影響。線路板的變形可能會(huì)導(dǎo)致電路的信號(hào)傳輸受損、電子元件
    的頭像 發(fā)表于 01-29 13:58 ?571次閱讀

    安森美IGBT常規(guī)進(jìn)行的可靠性測試方案

    用于確定漏電流的穩(wěn)定性,這與IGBT的場畸變有關(guān)。HTRB 通過高溫反向偏置測試來增強(qiáng)故障機(jī)制,因此是器件質(zhì)量和可靠性的良好指標(biāo),也可以驗(yàn)證過程控制的有效。
    發(fā)表于 01-17 09:57 ?571次閱讀
    安森美IGBT常規(guī)進(jìn)行的<b class='flag-5'>可靠性</b>測試<b class='flag-5'>方案</b>

    IGBT的可靠性測試方案

    在當(dāng)今的半導(dǎo)體市場,公司成功的兩個(gè)重要因素是產(chǎn)品質(zhì)量和可靠性。而這兩者是相互關(guān)聯(lián)的,可靠性體現(xiàn)為在產(chǎn)品預(yù)期壽命內(nèi)的長期質(zhì)量表現(xiàn)。任何制造商要想維續(xù)經(jīng)營,必須確保產(chǎn)品達(dá)到或超過基本的質(zhì)量標(biāo)準(zhǔn)和可靠性
    的頭像 發(fā)表于 01-17 09:56 ?1226次閱讀
    IGBT的<b class='flag-5'>可靠性</b>測試<b class='flag-5'>方案</b>

    半導(dǎo)體可靠性測試項(xiàng)目有哪些

    半導(dǎo)體可靠性測試主要是為了評(píng)估半導(dǎo)體器件實(shí)際使用過程中的可靠性和穩(wěn)定性。這些測試項(xiàng)目包括多種測試方法和技術(shù),以確保產(chǎn)品的性能、質(zhì)量和可靠性
    的頭像 發(fā)表于 12-20 17:09 ?2062次閱讀

    SD NAND?可靠性驗(yàn)證測試

    SDNAND可靠性驗(yàn)證測試的重要SDNAND可靠性驗(yàn)證測試至關(guān)重要。通過檢驗(yàn)數(shù)據(jù)完整、設(shè)備壽
    的頭像 發(fā)表于 12-14 14:29 ?592次閱讀
    SD NAND?<b class='flag-5'>可靠性</b><b class='flag-5'>驗(yàn)證</b>測試

    NVSRAM通信設(shè)備中的性能可靠性方面的考慮因素

    NVSRAM通信設(shè)備中具有良好的性能可靠性,使其成為一種受歡迎的數(shù)據(jù)存儲(chǔ)解決方案
    的頭像 發(fā)表于 12-05 16:02 ?748次閱讀

    提高PCB設(shè)備可靠性的技術(shù)措施

    提高PCB設(shè)備可靠性的技術(shù)措施:方案選擇、電路設(shè)計(jì)、電路板設(shè)計(jì)、結(jié)構(gòu)設(shè)計(jì)、元器件選用、制作工藝等多方面著手,具體措施如下: (1)簡化方案設(shè)計(jì)。
    發(fā)表于 11-22 06:29

    如何提升基于DC-DC模塊的電源系統(tǒng)的可靠性?

    如何提升基于DC-DC模塊的電源系統(tǒng)的可靠性? 基于DC-DC模塊的電源系統(tǒng)可靠性是關(guān)乎設(shè)備穩(wěn)定運(yùn)行的重要因素。為了提高可靠性,我們可以從設(shè)計(jì)、選型、制造、測試和維護(hù)等
    的頭像 發(fā)表于 11-17 14:35 ?571次閱讀

    可靠性試驗(yàn)(HALT)及可靠性評(píng)估技術(shù)

    國家電網(wǎng):就地化保護(hù)入網(wǎng)檢測中,首次引入可靠性試驗(yàn),驗(yàn)證產(chǎn)品可靠性設(shè)計(jì)水平和壽命指標(biāo)。關(guān)于新型一、二次設(shè)備(例如:電子式互感器)的科研項(xiàng)
    的頭像 發(fā)表于 11-13 16:32 ?1267次閱讀
    <b class='flag-5'>可靠性</b>試驗(yàn)(HALT)及<b class='flag-5'>可靠性</b>評(píng)估技術(shù)

    請(qǐng)問機(jī)械溫控開關(guān)的可靠性有多少?

    機(jī)械溫控開關(guān)的可靠性有多少?我看溫控開關(guān)的體積很小,價(jià)格便宜,可以用于一些溫度控制方面,不過可靠性有多少呢?
    發(fā)表于 10-31 06:37