如何基于分布式存儲來構建大數據時代的云服務

（文章來源：智會社）

云+AI的智能時代，傳統(tǒng)的大數據架構已經很難滿足數據分析的需求，存儲逐步從計算中分離出來，以統(tǒng)一的云化存儲池來支持海量、多樣性數據的存儲和分析需求。那么，大數據時代為什么需要云化存儲池，云化存儲池又需要具備什么樣的能力呢？下面，我們就來一探究竟。

為什么需要云化存儲池？現有的大數據系統(tǒng)多以計算存儲融合、煙囪式的方式部署，一種大數據應用部署一套獨立的大數據集群，這種部署方式在實際應用中遇到了一系列的問題：

首先是不同集群的計算、存儲利用率差異較大，資源無法高效利用。大數據場景下，各個大數據集群業(yè)務模型不一致，有的是計算密集型，有的是存儲密集型，這樣就會造成有的集群計算成為瓶頸而存儲空閑，有的集群存儲成為瓶頸而計算空閑；云化存儲池能夠很好的解決該問題，實現資源的動態(tài)調配。

其次是不同集群間數據無法共享，整體分析效率降低。煙囪化部署方式下，一個大數據集群分析的結果要想被另一個集群使用，只能把數據再拷貝一份，既降低了分析效率，又浪費了存儲空間；云化存儲池可以實現多個大數據集群的數據共享，大幅提升多個大數據集群間協(xié)同分析的效率。最后是業(yè)務無法快速上線，不能滿足日益多樣化的服務需求。煙囪化部署方式下，各種業(yè)務相對獨立，新業(yè)務上線需要采購新的大數據集群，上線周期經常以周甚至月計；云化架構下，計算資源和存儲資源都可以隨時發(fā)放，可以把新業(yè)務的上線周期縮短到分鐘級。

云化存儲池應該具備哪些能力？自從華為推出大數據存算分離方案，以OceanStor分布式存儲作為云化存儲池支撐多種大數據應用后，隨著以Ceph為代表的開源分布式存儲的發(fā)展，市面上如雨后春筍般出現了各色的分布式存儲產品，那么是否每款分布式存儲產品都能作為云化存儲池使用呢？

結論肯定不是的，分布式存儲只是冰山露出在海面上的一角，要想成為大數據的云化存儲池，這款分布式存儲還要具備多方面的內涵。下面，我們就來一探“云化存儲池”號冰山的內部構成。

一套云化存儲池對接多個計算集群，不同的計算集群由于部門歸屬不同、處理的業(yè)務不同，勢必要求使用獨立的命名空間和鑒權，從而實現數據訪問的邏輯隔離，這就要求云化存儲池具備多命名空間的能力；計算和存儲分離，這就要求存儲具備和計算集群統(tǒng)一鑒權的能力。

OceanStor分布式存儲支持創(chuàng)建多個命名空間，并支持跟計算集群的統(tǒng)一鑒權。物理空間共享的基礎上，每個命名空間跟對應的計算集群采用統(tǒng)一的kerberos、LADP鑒權服務器，同時各命名空間之間的鑒權和數據訪問又可以做到邏輯隔離，從而有效支撐多種大數據業(yè)務共用云化存儲池。

一套云化存儲池對接多個計算集群，除鑒權和訪問隔離外，還要考慮不同計算集群的資源搶占問題。一個計算集群占用的存儲空間過高，或者消耗的性能過高，必然影響到其他計算集群的正常運行，這就要求云化存儲池具備一定的配額和Qos能力。OceanStor分布式存儲支持租戶級和命名空間級配額，可以有效控制不同層級用戶的空間占用；同時支持精細化控制的Qos能力，可以針對不同優(yōu)先級的租戶和命名空間提供差異化的服務，從而保障高優(yōu)先級的業(yè)務能夠獲得最優(yōu)的服務質量。

一套云化存儲池對接多個計算集群，不同大數據計算集群使用的Hadoop組件可能是不同的，這就要求云化存儲池不僅能提供HDFS接口，還要保證對不同Hadoop組件的兼容性。以Ceph為代表的開源分布式存儲，多使用S3A接口來實現HDFS協(xié)議的對接，但S3A不支持append、flush（）、hflush（）等接口，這就導致很多Hadoop組件對接上均存在重要限制。

OceanStor分布式存儲對外可提供原生HDFS接口，無縫兼容FusionInsight、Cloudra、HortonWorks等主流大數據平臺的不同組件，為對接不同計算集群的多樣化組件奠定了堅實基礎。
? ? ? （責任編輯：fqj）