波音噴氣發(fā)動(dòng)機(jī)每運(yùn)行 30 分鐘,就會(huì)產(chǎn)生 10 TB 的數(shù)據(jù)。那是 1 萬(wàn)億字節(jié),或相當(dāng)于美國(guó)國(guó)會(huì)圖書(shū)館整個(gè)印刷館藏的數(shù)字化等價(jià)物。將其乘以每天在美國(guó)上空推動(dòng)超過(guò) 87,000 次航班的噴氣發(fā)動(dòng)機(jī)數(shù)量,您就會(huì)獲得大量數(shù)據(jù)。
盡管一些人猜測(cè)大數(shù)據(jù)不會(huì)轉(zhuǎn)化為分析療法,但它仍然與物聯(lián)網(wǎng) (IoT) 密不可分。如果思科等公司的預(yù)測(cè)是正確的,那么到 2020 年,我們將有大約 500 億個(gè)支持互聯(lián)網(wǎng)的“事物”不斷地啁啾,雖然它們可能不會(huì)都在噴氣發(fā)動(dòng)機(jī)剪輯上生成數(shù)據(jù),但這絕對(duì)構(gòu)成了數(shù)據(jù)海嘯。
那么,我們將如何處理所有這些數(shù)據(jù)?收獲的信息必須在某種程度上具有價(jià)值,否則它一開(kāi)始就不會(huì)被收獲。另一方面,并??非所有數(shù)據(jù)都是平等的。收集到的絕大多數(shù)數(shù)據(jù)可能會(huì)被存檔和遺忘,直到偶爾報(bào)告需要它,訪問(wèn)一次或兩次,然后再次被遺忘。根據(jù) Enterprise Strategy Group 的研究,這種“不經(jīng)常訪問(wèn)”的信息(也稱(chēng)為第 3 層或“冷”數(shù)據(jù))占記錄數(shù)據(jù)的 80%。而且,盡管這些年來(lái)內(nèi)存的平均成本急劇下降,但在大數(shù)據(jù)規(guī)模上,每 GB 幾美分的成本可以很快加起來(lái)。
這種信息過(guò)載的明顯答案是冷數(shù)據(jù)存儲(chǔ)替代方案,它們比用于定期訪問(wèn)的數(shù)據(jù)更便宜且容量更大。因此,公司通常選擇以下兩種解決方案之一:歷史悠久的磁帶庫(kù),或者最近的云。
磁帶庫(kù)已經(jīng)使用了幾十年,非常適合以極低的成本存儲(chǔ)大量數(shù)據(jù)。它們也可以被認(rèn)為是“綠色的”,因?yàn)榇艓?qū)動(dòng)器僅在使用時(shí)旋轉(zhuǎn)(這可以節(jié)省電力),并且位于內(nèi)部可以相對(duì)快速地訪問(wèn)冷數(shù)據(jù)。然而,磁帶庫(kù)也有一些缺點(diǎn),包括大中型存儲(chǔ)系統(tǒng)的前期費(fèi)用高昂、遠(yuǎn)程訪問(wèn)困難、磁帶退化的可能性以及在單個(gè)現(xiàn)場(chǎng)位置維護(hù)檔案的漏洞。而不是“數(shù)據(jù)海嘯”想想“數(shù)據(jù)”和“海嘯”)。
公司探索云存儲(chǔ)的可能性,通過(guò)提供無(wú)限的存儲(chǔ)空間、低成本以及防止盜竊、自然災(zāi)害等的遠(yuǎn)程容量,彌補(bǔ)了磁帶庫(kù)的一些疑慮。然而,云解決方案的主要特點(diǎn)是檢索數(shù)據(jù)通常非常耗時(shí),并且可能會(huì)變得昂貴,具體取決于檢索的數(shù)據(jù)量。例如,Amazon Glacier 之類(lèi)的服務(wù)至少需要 3-5 小時(shí)來(lái)檢索數(shù)據(jù)集(可在 24 小時(shí)內(nèi)下載),如果在給定的數(shù)據(jù)中檢索到超過(guò) 5% 的數(shù)據(jù),則按千兆字節(jié)收費(fèi)月。
兩者的交叉點(diǎn)似乎會(huì)有所改進(jìn),并包含優(yōu)化訪問(wèn)的硬件和軟件元素,同時(shí)確保每 GB 存儲(chǔ)的成本盡可能低。
冷藏:冰上的大數(shù)據(jù)
軟件定義存儲(chǔ) (SDS) 是一個(gè)新術(shù)語(yǔ),但從技術(shù)角度來(lái)看,它類(lèi)似于軟件定義網(wǎng)絡(luò) (SDN),因?yàn)橛布壿嫳怀橄鬄楣芾泶鎯?chǔ)基礎(chǔ)設(shè)施的軟件層。從本質(zhì)上講,這意味著可以虛擬化存儲(chǔ)功能或服務(wù)(如重復(fù)數(shù)據(jù)刪除、復(fù)制、快照和精簡(jiǎn)配置),從而實(shí)現(xiàn)在商用硬件上運(yùn)行的融合存儲(chǔ)架構(gòu)。因此,可以實(shí)施具有成本效益的存儲(chǔ)策略,將磁帶庫(kù)的可訪問(wèn)性和效率與云的可擴(kuò)展性和遠(yuǎn)程功能相結(jié)合。
例如,由 Storiant 提供支持的 RGS Cold Storage 是針對(duì)第 3 層數(shù)據(jù)的本地存儲(chǔ)解決方案,它基于 Avnet, Inc. 的業(yè)務(wù)部門(mén) RGS 的現(xiàn)成硬件。機(jī)柜級(jí)設(shè)備與 60 個(gè)提供 PB 級(jí)容量的 HDD 托架完全集成,并利用基于 OpenZFS 的 Storiant 軟件(以前稱(chēng)為 SageCloud)與私有云接口。Storiant 數(shù)據(jù)管理軟件還提高了訪問(wèn)性能,將處于停滯狀態(tài)的數(shù)據(jù)的檢索時(shí)間縮短至 30 秒,同時(shí)允許 HDD 在不使用時(shí)減速以顯著降低功耗??蓴U(kuò)展的 RGS 冷存儲(chǔ)架構(gòu)每月每 GB 存儲(chǔ) 0.01 美元,針對(duì)大多數(shù)大數(shù)據(jù)部署進(jìn)行了成本優(yōu)化。
雖然 SDS 等存儲(chǔ)管理技術(shù)有助于為有價(jià)值的業(yè)務(wù)分析奠定基礎(chǔ),但它們還確保財(cái)務(wù)和計(jì)算資源可用于定期執(zhí)行的“第 1 層”數(shù)據(jù)。在一個(gè)過(guò)多的信息實(shí)際上會(huì)變成一件壞事的環(huán)境中,將其中的一些信息保持在深度凍結(jié)狀態(tài)是很重要的。
審核編輯:郭婷
-
發(fā)動(dòng)機(jī)
+關(guān)注
關(guān)注
33文章
2421瀏覽量
69017 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2899文章
43837瀏覽量
369418 -
SDS
+關(guān)注
關(guān)注
0文章
48瀏覽量
15660
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論