0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

簡(jiǎn)述圖文存儲(chǔ)常識(shí):?jiǎn)螜C(jī)、集中、分布式、云、云原生存儲(chǔ)

存儲(chǔ)加速器 ? 來(lái)源: 阿里云云棲號(hào) ? 作者: 阿里云云棲號(hào) ? 2021-05-26 10:05 ? 次閱讀

背景

本文主要對(duì)楊傳輝(日照)《大規(guī)模分布式存儲(chǔ)系統(tǒng)原理解析與架構(gòu)實(shí)戰(zhàn)》、大話存儲(chǔ)、網(wǎng)絡(luò)資源(具體參考文末鏈接)及個(gè)人理解進(jìn)行整理,意在構(gòu)建出存儲(chǔ)發(fā)展基本軌跡和一些基本常識(shí),讓更多像我一樣的初入者有個(gè)宏觀上的認(rèn)知。

存儲(chǔ)發(fā)展史

從單機(jī)到互聯(lián)網(wǎng),存儲(chǔ)作為的基礎(chǔ)設(shè)施,主要發(fā)展都是圍繞構(gòu)建 低成本、高性能、可擴(kuò)展、易用的目標(biāo)進(jìn)行演進(jìn),時(shí)至今日,在形態(tài)上存儲(chǔ)分為單機(jī)存儲(chǔ)、集中存儲(chǔ)、分布式存儲(chǔ)、云存儲(chǔ)、云原生存儲(chǔ)

007b4ca6-bd41-11eb-9e57-12bb97331649.jpg

各階段存儲(chǔ)的基本形態(tài)如下

008de56e-bd41-11eb-9e57-12bb97331649.jpg

各階段基本形態(tài)

存儲(chǔ)數(shù)據(jù)分類(lèi) & 模型

無(wú)論單機(jī)存儲(chǔ)、分布式存儲(chǔ)、云存儲(chǔ)都是基于特定應(yīng)用場(chǎng)景下,對(duì)指定數(shù)據(jù)類(lèi)型構(gòu)建對(duì)應(yīng)的存儲(chǔ)數(shù)據(jù)模型

數(shù)據(jù)分類(lèi)

009812c8-bd41-11eb-9e57-12bb97331649.jpg

數(shù)據(jù)模型

00a22e66-bd41-11eb-9e57-12bb97331649.jpg

存儲(chǔ)類(lèi)型

常見(jiàn)三種存儲(chǔ)類(lèi)型:塊存儲(chǔ)、文件存儲(chǔ)、對(duì)象存儲(chǔ)

00bc0c00-bd41-11eb-9e57-12bb97331649.jpg

塊存儲(chǔ)

基于Block塊的存儲(chǔ)模式,兩種常見(jiàn)存儲(chǔ)方式:

DAS(Direct Attch Storage), 直連主機(jī)存儲(chǔ)方式

SAN (Storage Area Netowrk),高速網(wǎng)絡(luò)鏈接主機(jī)存儲(chǔ)方式

文件存儲(chǔ)

依附網(wǎng)絡(luò)提供文件存儲(chǔ)服務(wù)

對(duì)象存儲(chǔ)

構(gòu)建于鍵值存儲(chǔ),核心是將數(shù)據(jù)通路(data)和控制通路(meta)分離,并且基于對(duì)象存儲(chǔ)設(shè)備(Object-based Storage Device,OSD)構(gòu)建存儲(chǔ)系統(tǒng),對(duì)外以RSETful API形式服務(wù)

單機(jī)存儲(chǔ)

基本概念

單機(jī)存儲(chǔ)系統(tǒng)是單機(jī)存儲(chǔ)引擎(數(shù)據(jù)結(jié)構(gòu)在機(jī)械磁盤(pán)、SSD等持久化介質(zhì)上的實(shí)現(xiàn))的一種封裝,對(duì)外提供文件、鍵值、表格或者關(guān)系模型的存儲(chǔ)服務(wù)。

存儲(chǔ)引擎

存儲(chǔ)引擎是存儲(chǔ)系統(tǒng)的發(fā)動(dòng)機(jī),決定了存儲(chǔ)系統(tǒng)能夠提供的功能和性能, 提供功能包含:

增加(Create)

讀?。≧etrieve),隨機(jī)讀取和順序掃描

更新(Update)

刪除(Delete

引擎間差異如下:

00d736c4-bd41-11eb-9e57-12bb97331649.jpg

集中式存儲(chǔ)

基本概念

集中式存儲(chǔ)相對(duì)與單機(jī)存儲(chǔ)而言,存儲(chǔ)系統(tǒng)中包含了更多組件,除了機(jī)頭(控制器)、磁盤(pán)陣列(JBOD)和交換機(jī)等設(shè)備外,還有管理設(shè)備等輔助設(shè)備。

00eea020-bd41-11eb-9e57-12bb97331649.jpg

參考:集中式存儲(chǔ)的基本邏輯示意圖

系統(tǒng)構(gòu)成

機(jī)頭,整個(gè)存儲(chǔ)系統(tǒng)的核心部件,通常由控制器、前后端口組成,

控制器,通常有二,實(shí)現(xiàn)互備高可用,控制器中的軟件實(shí)現(xiàn)對(duì)磁盤(pán)的管理,將磁盤(pán)抽象化為存儲(chǔ)資源池,然后劃分為L(zhǎng)UN提供給服務(wù)器使用。

前后端口,前端端口用戶為服務(wù)器提供存儲(chǔ)服務(wù),后端端口用于擴(kuò)充存儲(chǔ)系統(tǒng)的容量(連接更多的存儲(chǔ)設(shè)備)

磁盤(pán)柜(Just a Bound Of Disk , JBOD),磁盤(pán)掛在服務(wù)器外的專(zhuān)用柜里,有獨(dú)立電源、散熱、接口等,內(nèi)部線纜相連(SCSI),對(duì)機(jī)頭后端端口統(tǒng)一掛載

分布式存儲(chǔ)

基本概念

分布式存儲(chǔ)系統(tǒng),是將分散獨(dú)立的存儲(chǔ)設(shè)備通過(guò)網(wǎng)絡(luò)互聯(lián),系統(tǒng)關(guān)聯(lián),對(duì)外作為一個(gè)整體提供存儲(chǔ)服務(wù)。

系統(tǒng)分類(lèi)

分布式文件系統(tǒng)

分布式鍵值系統(tǒng)

分布式表格系統(tǒng)

分布式數(shù)據(jù)庫(kù)

設(shè)計(jì)原則

參考CAP

云存儲(chǔ)

基本概念

云存儲(chǔ),是一種云計(jì)算領(lǐng)域存儲(chǔ)服務(wù)方式,底層構(gòu)建在分布式存儲(chǔ)基礎(chǔ)之上,上層通過(guò)Internet形式提供存儲(chǔ)服務(wù),除具備分布式存儲(chǔ)基礎(chǔ)特性外,更兼具靈活性,通常由云廠商提供

參考產(chǎn)品

0120da7c-bd41-11eb-9e57-12bb97331649.jpg

云原生存儲(chǔ)

基本概念

云原生存儲(chǔ)脫胎于云存儲(chǔ),除具備云存儲(chǔ)的特性外、須滿足具備云原生生態(tài)系統(tǒng)中其他所有組件具備相同的動(dòng)態(tài)(公共云/專(zhuān)有云/混合云等場(chǎng)景)構(gòu)建可擴(kuò)展應(yīng)用、S3 API 驅(qū)動(dòng)、K8S友好等

參考示例

Rook

CNCF首個(gè)云原生存儲(chǔ)項(xiàng)目Rook,是將文件、數(shù)據(jù)塊和對(duì)象存儲(chǔ)系統(tǒng)引入到Kubernetes集群,與其他正在使用存儲(chǔ)的應(yīng)用程序和服務(wù)一起無(wú)縫運(yùn)行。通過(guò)這種方式,云原生集群可以在公有云和本地部署中自給自足并且具備可移植性。該項(xiàng)目的開(kāi)發(fā)目的是使企業(yè)能夠通過(guò)動(dòng)態(tài)應(yīng)用編排,為在本地和公有云環(huán)境中運(yùn)行的分布式存儲(chǔ)系統(tǒng)實(shí)現(xiàn)數(shù)據(jù)中心現(xiàn)代化。

013bf500-bd41-11eb-9e57-12bb97331649.jpg

Rook Architecure

01493774-bd41-11eb-9e57-12bb97331649.jpg

Ceph Rook integrates with Kubernetes

MinIO

MinIO是一款高性能、軟件定義的,對(duì)象存儲(chǔ)套件,幫助客戶構(gòu)建云原生數(shù)據(jù)基礎(chǔ)設(shè)施。可與 Kubernetes 集成,允許操作員使用 Kubernetes 界面管理存儲(chǔ),而 Kubernetes 可以處理從存儲(chǔ)提供到卷放置的所有事務(wù)。

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 控制器
    +關(guān)注

    關(guān)注

    112

    文章

    16028

    瀏覽量

    176639
  • 交換機(jī)
    +關(guān)注

    關(guān)注

    20

    文章

    2598

    瀏覽量

    98874
  • JBOD
    +關(guān)注

    關(guān)注

    0

    文章

    3

    瀏覽量

    8983
  • 單機(jī)
    +關(guān)注

    關(guān)注

    0

    文章

    15

    瀏覽量

    6267

原文標(biāo)題:圖文存儲(chǔ)常識(shí):?jiǎn)螜C(jī)、集中、分布式、云、云原生存儲(chǔ)

文章出處:【微信號(hào):TopStorage,微信公眾號(hào):存儲(chǔ)加速器】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

收藏 人收藏

    評(píng)論

    相關(guān)推薦

    某證券公司智能投資交易云集群高性能分布式存儲(chǔ)應(yīng)用

    某證券公司智能投資交易云集群高性能分布式存儲(chǔ)應(yīng)用
    的頭像 發(fā)表于 09-27 09:57 ?197次閱讀
    某證券公司智能<b class='flag-5'>云</b>投資交易云集群高性能<b class='flag-5'>分布式</b><b class='flag-5'>存儲(chǔ)</b>應(yīng)用

    分布式存儲(chǔ)費(fèi)用高嗎?大概需要多少錢(qián)

    分布式存儲(chǔ)的費(fèi)用是否高,取決于多個(gè)因素,包括存儲(chǔ)容量、性能要求、服務(wù)提供商、計(jì)費(fèi)模式等。因此,無(wú)法簡(jiǎn)單地給出一個(gè)“高”或“不高”的答案。通常分布式
    的頭像 發(fā)表于 09-24 10:41 ?148次閱讀

    計(jì)算廠家使用WDS分布式存儲(chǔ)構(gòu)建其高性能超融合一體機(jī)

    計(jì)算廠家使用WDS分布式存儲(chǔ)構(gòu)建其高性能超融合一體機(jī)
    的頭像 發(fā)表于 09-23 09:57 ?123次閱讀
    <b class='flag-5'>云</b>計(jì)算廠家使用WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲(chǔ)</b>構(gòu)建其高性能超融合一體機(jī)

    基于分布式存儲(chǔ)系統(tǒng)醫(yī)療影像數(shù)據(jù)存儲(chǔ)解決方案

    基于分布式存儲(chǔ)系統(tǒng)醫(yī)療影像數(shù)據(jù)存儲(chǔ)解決方案
    的頭像 發(fā)表于 09-14 09:53 ?201次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲(chǔ)</b>系統(tǒng)醫(yī)療影像數(shù)據(jù)<b class='flag-5'>存儲(chǔ)</b>解決方案

    基于分布式對(duì)象存儲(chǔ)WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺(tái)

    基于分布式對(duì)象存儲(chǔ)WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺(tái)
    的頭像 發(fā)表于 08-28 09:56 ?193次閱讀
    基于<b class='flag-5'>分布式</b>對(duì)象<b class='flag-5'>存儲(chǔ)</b>WDS的信托非結(jié)構(gòu)化數(shù)據(jù)整合平臺(tái)

    基于分布式存儲(chǔ)WDS的金融信創(chuàng)承載數(shù)據(jù)庫(kù)類(lèi)關(guān)鍵應(yīng)用

    基于分布式存儲(chǔ)WDS的金融信創(chuàng)承載數(shù)據(jù)庫(kù)類(lèi)關(guān)鍵應(yīng)用
    的頭像 發(fā)表于 08-16 09:42 ?188次閱讀
    基于<b class='flag-5'>分布式</b><b class='flag-5'>存儲(chǔ)</b>WDS的金融信創(chuàng)<b class='flag-5'>云</b>承載數(shù)據(jù)庫(kù)類(lèi)關(guān)鍵應(yīng)用

    從積木到裝配云原生安全

    從這兩個(gè)方面分別進(jìn)行分析和解決。 新技術(shù)帶來(lái)新的安全風(fēng)險(xiǎn) 云原生的概念定義本身就比較抽象,從誕生到現(xiàn)在也經(jīng)歷了多次變化。2018年CNCF對(duì)云原生的概念進(jìn)行了重定義:云原生技術(shù)有利于各組織在公有
    的頭像 發(fā)表于 07-26 10:35 ?220次閱讀
    從積木<b class='flag-5'>式</b>到裝配<b class='flag-5'>式</b><b class='flag-5'>云原生</b>安全

    基于WDS的保險(xiǎn)公司極速分布式存儲(chǔ)建設(shè)高速混合方案

    基于WDS的保險(xiǎn)公司極速分布式存儲(chǔ)建設(shè)高速混合方案
    的頭像 發(fā)表于 07-08 09:52 ?223次閱讀
    基于WDS的保險(xiǎn)公司極速<b class='flag-5'>分布式</b><b class='flag-5'>存儲(chǔ)</b>建設(shè)高速混合<b class='flag-5'>云</b>方案

    黑龍江電力高性能WDS分布式存儲(chǔ)系統(tǒng)解決方案

    黑龍江電力高性能WDS分布式存儲(chǔ)系統(tǒng)解決方案
    的頭像 發(fā)表于 07-01 09:54 ?274次閱讀
    黑龍江電力高性能WDS<b class='flag-5'>分布式</b><b class='flag-5'>存儲(chǔ)</b>系統(tǒng)解決方案

    大數(shù)據(jù)時(shí)代的存儲(chǔ)革命:理解分布式存儲(chǔ)系統(tǒng)

    數(shù)據(jù)管理的效率極低。因此,分布式存儲(chǔ)系統(tǒng)應(yīng)運(yùn)而生。 分布式存儲(chǔ)就是將數(shù)據(jù)存儲(chǔ)在眾多的服務(wù)器或網(wǎng)絡(luò)節(jié)點(diǎn)上,而不是
    的頭像 發(fā)表于 03-07 15:40 ?360次閱讀

    分布式存儲(chǔ)與計(jì)算:大數(shù)據(jù)時(shí)代的解決方案

    分布式存儲(chǔ)和計(jì)算技術(shù)應(yīng)運(yùn)而生,并迅速成為處理大數(shù)據(jù)的首選方案。本文將深入探討分布式存儲(chǔ)和計(jì)算的概念、優(yōu)勢(shì)及其在各個(gè)領(lǐng)域的應(yīng)用情況。 1.分布式
    的頭像 發(fā)表于 03-07 14:42 ?620次閱讀

    高性能存儲(chǔ)實(shí)現(xiàn)新突破的英特爾至強(qiáng)處理器

    基于第四代英特爾 至強(qiáng) 可擴(kuò)展處理器的 Curve 高性能分布式存儲(chǔ)方案在吞吐、時(shí)延、TCO 等方面具備出色優(yōu)勢(shì),能夠?yàn)榻鹑?、互?lián)網(wǎng)、交通、能源等各行業(yè)提供高效的云原生存儲(chǔ)解決方案。
    發(fā)表于 02-26 14:01 ?409次閱讀
    高性能<b class='flag-5'>存儲(chǔ)</b>實(shí)現(xiàn)新突破的英特爾至強(qiáng)處理器

    【Vsan數(shù)據(jù)恢復(fù)】Vsan分布式存儲(chǔ)虛擬磁盤(pán)文件丟失的數(shù)據(jù)恢復(fù)案例

    一套vsan分布式存儲(chǔ)架構(gòu)有數(shù)臺(tái)服務(wù)器節(jié)點(diǎn),該vsan分布式存儲(chǔ)架構(gòu)配置了固態(tài)硬盤(pán)和機(jī)械硬盤(pán),固態(tài)硬盤(pán)作為緩存盤(pán)使用,機(jī)械硬盤(pán)作為容量盤(pán)使用。 機(jī)房供電異常導(dǎo)致服務(wù)器異常關(guān)機(jī),工作人
    的頭像 發(fā)表于 01-03 16:39 ?553次閱讀

    一圖讀懂《分布式融合存儲(chǔ)研究報(bào)告(2023)》

    轉(zhuǎn)自:存儲(chǔ)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟 2023年11月30日, 存 儲(chǔ)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟、中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院聯(lián)合發(fā)布《分布式融合存儲(chǔ)研究報(bào)告(2023)》,詳細(xì)闡釋分布式融合
    的頭像 發(fā)表于 12-21 18:05 ?584次閱讀
    一圖讀懂《<b class='flag-5'>分布式</b>融合<b class='flag-5'>存儲(chǔ)</b>研究報(bào)告(2023)》

    云原生數(shù)據(jù)庫(kù)GaiaDB架構(gòu)設(shè)計(jì)解析

    目前,云原生數(shù)據(jù)庫(kù)已經(jīng)被各行各業(yè)大規(guī)模投入到實(shí)際生產(chǎn)中,最終的目標(biāo)都是「單機(jī) + 分布式一體化」。但在演進(jìn)路線上,當(dāng)前主要有兩個(gè)略有不同的路徑。
    的頭像 發(fā)表于 12-14 14:48 ?496次閱讀
    <b class='flag-5'>云原生</b>數(shù)據(jù)庫(kù)GaiaDB架構(gòu)設(shè)計(jì)解析