海量數(shù)據(jù)的傳統(tǒng)存儲(chǔ)存在的挑戰(zhàn)及解決方法

在西方神話里，諾亞建造了一艘方舟，帶著各種生物躲避洪水，安然度過(guò)“世界末日”。2016年，中國(guó)也有一艘這樣“諾亞方舟”啟航——國(guó)家級(jí)基因庫(kù)開(kāi)始運(yùn)營(yíng)，承載人類(lèi)及其他生物的遺傳樣本和密碼。

它的發(fā)展不僅讓我們了解世界萬(wàn)物的過(guò)去，還將影響未來(lái)。在未來(lái)的基因時(shí)代，或許到醫(yī)院看病，只需基因就能作為“身份證”和病歷;或許實(shí)現(xiàn)大熊貓“吸貓”自由;遠(yuǎn)古的恐龍、猛犸象回到現(xiàn)代......

但通向這樣的未來(lái)，需要一些堅(jiān)實(shí)的“磚石”鋪路——生物樣本和數(shù)據(jù)。

如“生命銀行”一般，大量和生命相關(guān)的科學(xué)數(shù)據(jù)，通過(guò)服務(wù)器、數(shù)據(jù)中心進(jìn)行存儲(chǔ)、讀取、合成運(yùn)用和共享，不僅保存生物遺傳資源和物種多樣性，生物遺傳信息數(shù)據(jù)化，還為物種多樣提供新的保障，為精準(zhǔn)醫(yī)學(xué)提供大數(shù)據(jù)支持。

但隨著物種與信息資源的數(shù)據(jù)爆炸性增長(zhǎng)，傳統(tǒng)存儲(chǔ)，面對(duì)海量的數(shù)據(jù)，存在著諸多挑戰(zhàn)。主要有以下幾方面：

第一，成本高。傳統(tǒng)存儲(chǔ)設(shè)備通用性較差，隨著業(yè)務(wù)需求的增長(zhǎng)，未來(lái)的設(shè)備投資加上后期的維護(hù)、升級(jí)擴(kuò)容的成本將會(huì)非常高。

第二，性能低。單節(jié)點(diǎn)的I/O性能瓶頸無(wú)法逾越，容量和性能都不容易進(jìn)行擴(kuò)展，難以支撐海量數(shù)據(jù)的高并發(fā)、低延時(shí)的場(chǎng)景。

第三，安全隱患多。數(shù)據(jù)傳輸過(guò)程中存在泄露、篡改、被數(shù)據(jù)流攻擊等風(fēng)險(xiǎn)隱患。

根據(jù)面臨挑戰(zhàn)問(wèn)題，融科聯(lián)創(chuàng)與東芝傾力合作，為國(guó)家級(jí)基因庫(kù)推出了低成本、高速穩(wěn)定性能，且兼具安全以及充足儲(chǔ)存空間的分布式存儲(chǔ)方案。

方案使用了融科聯(lián)創(chuàng)的超大存儲(chǔ)產(chǎn)品946SE2C-R1K66JBOD(4U60盤(pán)位)服務(wù)器，配套2U12盤(pán)位平臺(tái)作為管理節(jié)點(diǎn)，包含了高速穩(wěn)定的東芝企業(yè)級(jí)硬盤(pán)，完美替代了原系統(tǒng)存在的高成本、低帶寬、高風(fēng)險(xiǎn)的存儲(chǔ)方式。

高性能、低功耗的東芝全新16TB SATA硬盤(pán)，與融科聯(lián)創(chuàng)具備智能優(yōu)化引擎的分布式文件存儲(chǔ)系統(tǒng)雙管齊下，在消除協(xié)議處理和轉(zhuǎn)換的“瓶頸”的同時(shí)，顯著提升數(shù)據(jù)流轉(zhuǎn)全鏈路速度，單節(jié)點(diǎn)大于3GB/s，實(shí)現(xiàn)業(yè)界少有的分布式存儲(chǔ)微秒級(jí)延時(shí)的極速性能。

而對(duì)于存儲(chǔ)空間，采用了全對(duì)稱(chēng)分布式存儲(chǔ)架構(gòu)，在線擴(kuò)展至EB級(jí)別存儲(chǔ)容量，并且支持多節(jié)點(diǎn)在線平滑擴(kuò)展，I/O的客戶端數(shù)目、I/O帶寬和存儲(chǔ)容量根據(jù)用戶需求實(shí)現(xiàn)了高可擴(kuò)展性，規(guī)模具有很強(qiáng)的伸縮性。

當(dāng)然，為了應(yīng)對(duì)高并發(fā)場(chǎng)景，在存儲(chǔ)架構(gòu)、存儲(chǔ)管理軟件及存儲(chǔ)核心算法等方面的核心技術(shù)，采用特有的共享鎖機(jī)制，實(shí)現(xiàn)對(duì)數(shù)據(jù)進(jìn)行寫(xiě)入或讀取時(shí)可以獲得最大程度上的I/O并發(fā)能力，輕松承載“數(shù)千個(gè)超高并發(fā)訪問(wèn)+上萬(wàn)個(gè)超高并發(fā)節(jié)點(diǎn)+百億級(jí)超高文件存儲(chǔ)”。

基于“硬件+軟件+體系結(jié)構(gòu)+網(wǎng)絡(luò)”于一體的高可靠存儲(chǔ)平臺(tái)，具備自我調(diào)優(yōu)能力，實(shí)現(xiàn)無(wú)論復(fù)雜性如何，無(wú)論大文件、小文件還是混合負(fù)載場(chǎng)景下，都提供始終如一的快速存儲(chǔ)，保障數(shù)據(jù)零丟失、業(yè)務(wù)零中斷。

上述提及的東芝企業(yè)級(jí)容量型硬盤(pán)，擁有超大容量，適用于有著海量存儲(chǔ)需求的存儲(chǔ)系統(tǒng)與數(shù)據(jù)中心。其中MG系列包含業(yè)界首款9碟存儲(chǔ)設(shè)備，提供高達(dá)18TB的傳統(tǒng)磁記錄容量，目前更是在全力攻克30TB大關(guān)!

其氦密封設(shè)計(jì)還可提升存儲(chǔ)密度，降低氣動(dòng)阻力，從而降低運(yùn)行功耗，有助實(shí)現(xiàn)總體擁有成本(TCO)的優(yōu)化，滿足基因庫(kù)對(duì)存儲(chǔ)系統(tǒng)性能高速、穩(wěn)定、安全以及未來(lái)儲(chǔ)存空間充足的要求。

東芝與融科聯(lián)創(chuàng)也將保持長(zhǎng)期且密切的合作關(guān)系，未來(lái)將共同精研更多創(chuàng)新存儲(chǔ)技術(shù)，助力國(guó)家基因庫(kù)貫穿Data To Value(從數(shù)據(jù)到價(jià)值)的價(jià)值鏈，提供更智慧、更高效、更便捷的存儲(chǔ)技術(shù)支撐。

原文標(biāo)題：福利 | 東芝攜手融科聯(lián)創(chuàng)，助力國(guó)家級(jí)基因庫(kù)存儲(chǔ)升級(jí)!

文章出處：【微信公眾號(hào)：東芝硬盤(pán)】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。

審核編輯：湯梓紅