杉巖海量對象存儲系統(tǒng)完美替代Documentum

自2006年至今十余年來，金融行業(yè)內(nèi)容管理系統(tǒng)通常采用Documentum+DB+NAS的整體解決方案，如下圖1所示，Documentum結合DB的索引能力和NAS的存儲能力，向上為影像平臺等業(yè)務提供文檔數(shù)據(jù)的存儲和檢索讀取服務。

近年來隨著非結構化數(shù)據(jù)的爆發(fā)性增長，由于Documentum系統(tǒng)架構問題，此套解決方案出現(xiàn)了明顯性能瓶頸，杉巖海量對象存儲系統(tǒng)（SandStone MOS）采用全分布式架構，針對海量文件場景提供可線性擴展的持續(xù)快速訪問性能，同時提供全方位的海量數(shù)據(jù)保護支持和數(shù)據(jù)生命周期管理功能，能夠完美替代Documentum。作為金融行業(yè)內(nèi)容管理系統(tǒng)的未來核心模塊，不僅要提供現(xiàn)在和未來的服務保障，更要能夠完美接納客戶現(xiàn)有數(shù)據(jù)，所以需要提供平滑友好的Documentum遷移方案。

Documentum應用架構

基于Documentum的應用平臺如圖2所示，存儲倉庫（Repository）作為數(shù)據(jù)及元數(shù)據(jù)的最終存放位置，包含內(nèi)容存儲系統(tǒng)（Content Store）及元數(shù)據(jù)存儲系統(tǒng)（Metadata Store）; 內(nèi)容服務器（Content Server）位于存儲倉庫之上，通過封裝好的接口給上層應用提供處理文檔數(shù)據(jù)的調(diào)用接口；上層應用（Web Application、Desktop Application等）通過調(diào)用內(nèi)容服務器提供的API接口，給最終用戶提供友好的文檔內(nèi)容管理功能，輕松應對文檔的存檔、搜索、分類、處理、安全保密和歸檔保存等一系列工作。

基于Documentum的應用平臺架構圖

Documentum模塊介紹

存儲倉庫（Repository）

一個存儲倉庫是一個基本的內(nèi)容和元數(shù)據(jù)存儲單元，包含內(nèi)容存儲系統(tǒng)（Content Store）和元數(shù)據(jù)存儲系統(tǒng)(Metadata Store)，如圖3是一個最小的存儲倉庫結構，默認情況下Documentum通過主機本地文件系統(tǒng)存儲內(nèi)容，通過關系數(shù)據(jù)庫（RDBMS，Relational Database Management System）管理元數(shù)據(jù)及其相互關系，另外一個倉庫可以同時包含多個內(nèi)容存儲系統(tǒng)，并且這些內(nèi)容存儲系統(tǒng)可以是不同類型，比如關系數(shù)據(jù)庫、本地文件系統(tǒng)、NAS等。

存儲倉庫

內(nèi)容服務器（Content Server）

內(nèi)容服務器負責內(nèi)容和元數(shù)據(jù)的生命周期管理，用戶無需關心文件和元數(shù)據(jù)具體存在哪里，通過一個接口即可訪問內(nèi)容（content）。一個Content Server只能對應一個Repository，但是一個Repository可以配置多個Content Server，這樣有如下好處：

1. 通過多個Content Server分擔壓力，提高整體性能

2. 通過遠程Content Server為遠端用戶提供優(yōu)質(zhì)服務

3. 通過多Content Server提供高可用和災備恢復支持

杉巖NAS異構特性介紹

傳統(tǒng)NAS設備在已經(jīng)存放了數(shù)千萬級別文件數(shù)量的情況下，性能急劇下降，讀寫延遲可達到5-10秒，在杉巖對象存儲實施的過程中，由于NAS接口性能的瓶頸，導致現(xiàn)有數(shù)據(jù)的遷移周期長達數(shù)月之久，為此我們開發(fā)了NAS異構特性。

如圖5所示，SandStone MOS納管NAS設備的元數(shù)據(jù)，無需立即觸發(fā)數(shù)據(jù)內(nèi)容搬遷，應用統(tǒng)一使用S3接口即可訪問NAS和MOS的數(shù)據(jù)，通過生命周期轉移策略，可以后期平滑遷移NAS文件到SandStone MOS，數(shù)據(jù)內(nèi)容搬遷過程中無需停機，業(yè)務切割時間窗極短。