每日一課 | 智慧燈桿中之大數(shù)據(jù)存儲及管理技術(shù)

3．大數(shù)據(jù)存儲及管理技術(shù)

（1）大數(shù)據(jù)存儲與管理要用存儲器把采集到的數(shù)據(jù)存儲起來，建立相應的數(shù)據(jù)庫，并進行管理和調(diào)用。重點解決復雜結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化大數(shù)據(jù)管理與處理技術(shù)。主要解決大數(shù)據(jù)的可存儲、可表示、可處理、可靠性及有效傳輸?shù)汝P(guān)鍵問題。開發(fā)可靠的分布式文件系統(tǒng)（DFS）、能效優(yōu)化的存儲、計算融入存儲、大數(shù)據(jù)的去冗余及高效低成本的大數(shù)據(jù)存儲技術(shù)；突破分布式非關(guān)系型大數(shù)據(jù)管理與處理技術(shù)，異構(gòu)數(shù)據(jù)的數(shù)據(jù)融合技術(shù)，數(shù)據(jù)組織技術(shù)，研究大數(shù)據(jù)建模技術(shù)；突破大數(shù)據(jù)索引技術(shù)；突破大數(shù)據(jù)移動、備份、復制等技術(shù)；開發(fā)大數(shù)據(jù)可視化技術(shù)。

（2）開發(fā)新型數(shù)據(jù)庫技術(shù)。數(shù)據(jù)庫分為關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫及數(shù)據(jù)庫緩存系統(tǒng)。其中，非關(guān)系型數(shù)據(jù)庫主要指的是NoSQL數(shù)據(jù)庫，分為鍵值數(shù)據(jù)庫、列存數(shù)據(jù)庫、圖存數(shù)據(jù)庫及文檔數(shù)據(jù)庫等。關(guān)系型數(shù)據(jù)庫包含傳統(tǒng)關(guān)系數(shù)據(jù)庫系統(tǒng)及NewSQL數(shù)據(jù)庫。

（3）開發(fā)大數(shù)據(jù)安全技術(shù)。改進數(shù)據(jù)銷毀、透明加解密、分布式訪問控制、數(shù)據(jù)審計等技術(shù)；突破隱私保護和推理控制、數(shù)據(jù)真?zhèn)巫R別和取證、數(shù)據(jù)持有完整性驗證等技術(shù)。