海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)難題 ，杉巖數(shù)據(jù)對(duì)象存儲(chǔ)完美解決

“過去幾年，大數(shù)據(jù)產(chǎn)業(yè)更多關(guān)注的是如何處理海量、多源和異構(gòu)的數(shù)據(jù)，但我們必須承認(rèn)這些只是冰山一角。目前，結(jié)構(gòu)化數(shù)據(jù)僅占到全部數(shù)據(jù)量的20%，其余80%都是以文件形式存在的非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)。伴隨非結(jié)構(gòu)化數(shù)據(jù)呈現(xiàn)爆發(fā)之勢(shì)，對(duì)象存儲(chǔ)市場(chǎng)近兩年保持強(qiáng)勁增長(zhǎng)，IDC預(yù)計(jì)，軟件定義存儲(chǔ)（SDS）市場(chǎng)未來五年復(fù)合增長(zhǎng)率將達(dá)到28.8%。”

?

傳統(tǒng)IT架構(gòu)漸成“過去式” 非結(jié)構(gòu)化數(shù)據(jù)倒逼存儲(chǔ)變革

今天，許多企業(yè)已經(jīng)意識(shí)到，結(jié)構(gòu)化數(shù)據(jù)僅僅是企業(yè)所擁有數(shù)據(jù)的一小部分。與業(yè)務(wù)信息系統(tǒng)中大量用于交易記錄、流程控制和統(tǒng)計(jì)分析的結(jié)構(gòu)化數(shù)據(jù)相比，非結(jié)構(gòu)化數(shù)據(jù)具有某種特定和持續(xù)的價(jià)值，這種價(jià)值在共享、檢索、分析等使用過程中得以產(chǎn)生和放大，并最終對(duì)企業(yè)業(yè)務(wù)和戰(zhàn)略產(chǎn)生影響。

多年來，杉巖數(shù)據(jù)通過對(duì)金融、教育、醫(yī)療、制造等行業(yè)的百余家知名客戶的IT信息化研究發(fā)現(xiàn)，非結(jié)構(gòu)化數(shù)據(jù)的容量、文件的數(shù)量已經(jīng)大大超越了傳統(tǒng)NAS存儲(chǔ)的處理能力，企業(yè)級(jí)存儲(chǔ)從需求到產(chǎn)品形態(tài)的“自我變革”也變得更加急迫。
同時(shí)，IDC數(shù)據(jù)顯示，到2020年，企業(yè)數(shù)據(jù)總體將達(dá)到44ZB，其中80%的數(shù)據(jù)將會(huì)是非結(jié)構(gòu)化數(shù)據(jù)(圖片、視頻、歸檔以及企業(yè)級(jí)備份等數(shù)據(jù))，對(duì)象存儲(chǔ)市場(chǎng)規(guī)模將達(dá)198億美元，這也從側(cè)面印證了杉巖對(duì)于對(duì)象存儲(chǔ)未來發(fā)展的趨勢(shì)判斷。
在杉巖看來，軟件定義存儲(chǔ)將給金融、教育、醫(yī)療等傳統(tǒng)行業(yè)的IT架構(gòu)帶來革命性改進(jìn)，特別是對(duì)文件數(shù)量過多、非結(jié)構(gòu)化數(shù)據(jù)歸集檢索調(diào)取效率低、傳統(tǒng)架構(gòu)無法按需彈性配置存儲(chǔ)空間等問題將發(fā)生徹底改變。

在服務(wù)深圳某三甲醫(yī)院的過程中，杉巖發(fā)現(xiàn)電子病歷、臨床影像文件（如CT 、X光、彩超、高精動(dòng)態(tài)影像等）、非核心系統(tǒng)的數(shù)據(jù)歸集、查詢和調(diào)閱等問題成為傳統(tǒng)架構(gòu)面臨的最大挑戰(zhàn)。
比如，在進(jìn)行影像數(shù)據(jù)調(diào)閱時(shí)，數(shù)據(jù)歸檔離線后，沒有任何元數(shù)據(jù)的管理描述，憑文件系統(tǒng)的目錄結(jié)構(gòu)進(jìn)行數(shù)據(jù)查找，非常費(fèi)時(shí)費(fèi)力。

當(dāng)病歷文件數(shù)量到達(dá)百萬級(jí)近千萬以后，存儲(chǔ)性能會(huì)出現(xiàn)大幅下降；而醫(yī)院服務(wù)器上的數(shù)據(jù)仍然是孤島狀態(tài)，服務(wù)器之間的存儲(chǔ)資源和數(shù)據(jù)并沒有實(shí)現(xiàn)共享。
當(dāng)然，這些問題不止出現(xiàn)在醫(yī)療行業(yè)，在教育行業(yè)傳統(tǒng)存儲(chǔ)架構(gòu)遭遇的問題也十分突出。杉巖在為某高校搭建對(duì)象存儲(chǔ)架構(gòu)時(shí)發(fā)現(xiàn)，大學(xué)各職能機(jī)構(gòu)以及二級(jí)學(xué)院之間信息系統(tǒng)相對(duì)割裂，因此在系統(tǒng)安全性和可維護(hù)性方面十分困難。
而建筑學(xué)院、傳媒學(xué)院、電影學(xué)院、服裝學(xué)院等專業(yè)性學(xué)院會(huì)產(chǎn)生大量的非結(jié)構(gòu)化數(shù)據(jù)作業(yè)，如CAD制圖、影視作品、圖片設(shè)計(jì)、服裝樣片等等，這些數(shù)據(jù)對(duì)存儲(chǔ)空間的擴(kuò)展性和存儲(chǔ)安全性提出了更高的要求，既要能夠滿足在教學(xué)、科研等場(chǎng)景下數(shù)據(jù)存放的要求，同時(shí)還要滿足作業(yè)提交、班級(jí)數(shù)據(jù)共享、科研數(shù)據(jù)分析調(diào)取等多元化需求。
此外，在銀行、證券行業(yè)的日常業(yè)務(wù)中，客戶證件、遠(yuǎn)程開戶錄像、合同掃描件、客服中心語音、企業(yè)相關(guān)電子文檔資料等是最常見的非結(jié)構(gòu)化數(shù)據(jù)。
這些文件平均大小從KB到MB甚至GB級(jí)別不等，近兩年文件量呈現(xiàn)高速增長(zhǎng)狀態(tài)。從存儲(chǔ)容量上看，這些小文件甚至占據(jù)了金融機(jī)構(gòu)數(shù)據(jù)總?cè)萘康?0%以上。
根據(jù)監(jiān)管部門要求，銀行、證券、保險(xiǎn)等金融機(jī)構(gòu)需實(shí)施專區(qū)“雙錄”，即對(duì)自有理財(cái)產(chǎn)品及代銷產(chǎn)品的銷售過程同步錄音錄像，“雙錄”規(guī)定的實(shí)施會(huì)帶來海量非結(jié)構(gòu)化數(shù)據(jù)。以上這些問題都讓僵化的傳統(tǒng)IT架構(gòu)有一種深深的無力感。

對(duì)象存儲(chǔ)走向舞臺(tái)中央 杉巖重新定義企業(yè)存儲(chǔ)新標(biāo)準(zhǔn)

隨著傳統(tǒng)IT架構(gòu)的弊端日漸凸顯，以杉巖為代表的一批創(chuàng)新型存儲(chǔ)廠商開始重新定義企業(yè)級(jí)存儲(chǔ)的標(biāo)準(zhǔn)。從2014年創(chuàng)立伊始，杉巖便早早瞄準(zhǔn)對(duì)象存儲(chǔ)市場(chǎng)并持續(xù)深耕。

經(jīng)過四年的快速發(fā)展，杉巖目前在全國(guó)范圍內(nèi)擁有近百家合作伙伴，業(yè)務(wù)范圍覆蓋政府、金融、運(yùn)營(yíng)商、教育、醫(yī)療、電力和制造等十余個(gè)行業(yè)，用戶數(shù)據(jù)量部署總和超過100PB。

其研發(fā)的杉巖海量對(duì)象存儲(chǔ)（SandStone MOS）已成為海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)的主流解決方案，其在廣發(fā)證券檔案中心、武漢大學(xué)智慧校園云存儲(chǔ)平臺(tái)的成功應(yīng)用得到了行業(yè)用戶的廣泛好評(píng)。

對(duì)于海量數(shù)據(jù)的存儲(chǔ)問題，杉巖海量對(duì)象存儲(chǔ)（SandStone MOS）解決方案采用去中心化分布式架構(gòu)，同時(shí)利用軟件定義的方式實(shí)現(xiàn)了單一名字空間條件下數(shù)百PB級(jí)規(guī)模的容量擴(kuò)展，業(yè)務(wù)可以隨時(shí)隨地訪問而不受數(shù)據(jù)存儲(chǔ)位置的限制。

在提升海量小文件訪問性能方面，SandStone MOS利用哈希計(jì)算實(shí)現(xiàn)了數(shù)億級(jí)文件的高效訪問。針對(duì)文件檢索困難，SandStone MOS支持標(biāo)簽功能，文件存儲(chǔ)時(shí)會(huì)自動(dòng)設(shè)置標(biāo)簽，從而更好地與業(yè)務(wù)結(jié)合，滿足高效檢索。
比如，在銀行業(yè)務(wù)場(chǎng)景下，當(dāng)業(yè)務(wù)人員想要提取相關(guān)視頻音頻文件時(shí)，可以根據(jù)文件標(biāo)簽進(jìn)行檢索調(diào)閱。
此外，SandStone MOS在易用性與可維護(hù)性方面也超越了同級(jí)別產(chǎn)品，其采用“x86通用服務(wù)器+存儲(chǔ)軟件”的分布式解耦架構(gòu)，將底層存儲(chǔ)空間與上層業(yè)務(wù)邏輯空間進(jìn)行分離，軟硬件的升級(jí)不會(huì)影響到整個(gè)系統(tǒng)的正常運(yùn)行。

即使系統(tǒng)有再多應(yīng)用更新，也不會(huì)影響存儲(chǔ)空間的使用。值得一提的是，SandStone MOS首創(chuàng)的分布式存儲(chǔ)數(shù)據(jù)盤漫游功能，可以幫助企業(yè)用戶漸進(jìn)式的進(jìn)行老舊硬件設(shè)備更換，不影響業(yè)務(wù)的正常運(yùn)行。
在對(duì)象存儲(chǔ)領(lǐng)域的專注與持續(xù)創(chuàng)新，換來的是行業(yè)的高度認(rèn)可。去年8月，杉巖數(shù)據(jù)成為首家通過Intel中國(guó)云計(jì)算創(chuàng)新中心測(cè)試并發(fā)布報(bào)告的軟件定義存儲(chǔ)廠商。

與此同時(shí)，杉巖數(shù)據(jù)作為國(guó)家信息化標(biāo)準(zhǔn)委員會(huì)云計(jì)算標(biāo)準(zhǔn)工作組成員單位及中國(guó)開源云聯(lián)盟理事單位，先后參與了分布式存儲(chǔ)國(guó)家標(biāo)準(zhǔn)的制定工作及Ceph行業(yè)白皮書的編寫工作。
如今，對(duì)象存儲(chǔ)正煥發(fā)出更大的生命力，一場(chǎng)存儲(chǔ)革命也已開啟。以杉巖數(shù)據(jù)為代表的創(chuàng)新型存儲(chǔ)廠商，正通過不斷深耕對(duì)象存儲(chǔ)領(lǐng)域，幫助企業(yè)構(gòu)建更加智慧的IT基礎(chǔ)設(shè)施，推動(dòng)傳統(tǒng)存儲(chǔ)朝著更高效、更集約、更易用的方向全面演進(jìn)。