如何定義大數(shù)據(jù)，大數(shù)據(jù)的特點及主流平臺

一、大數(shù)據(jù)定義

大數(shù)據(jù)尚未形成統(tǒng)一的定義，主流的定義包括三種：

（1）高德納咨詢公司（Gartner Group）對大數(shù)據(jù)的定義：大數(shù)據(jù)又可被稱為巨量資料，是指需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力、流程優(yōu)化能力的海量、高增長率、多樣化的信息資產(chǎn)。

（2）維克托·邁爾·舍恩伯格和肯尼斯·庫克耶編寫的《大數(shù)據(jù)時代》對大數(shù)據(jù)的定義：相較于隨機分析法中的抽樣調(diào)查數(shù)據(jù)，大數(shù)據(jù)指所有數(shù)據(jù)（含個人理解）。

（3）著云臺（根據(jù)百度百科：一家中國云服務(wù)企業(yè)）的分析師團隊對大數(shù)據(jù)的定義：通常形容一個公司創(chuàng)造的大量非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)，此類數(shù)據(jù)在下載至關(guān)系型數(shù)據(jù)庫用于分析時會花費較多時間和金錢。

圖片來源：學(xué)堂在線《大數(shù)據(jù)導(dǎo)論》

二、大數(shù)據(jù)的特點

大數(shù)據(jù)的特點也被稱為大數(shù)據(jù)的4個“V”，具體如下： （1）數(shù)據(jù)量大（Volume），集中存儲和集中計算已無法處理其數(shù)據(jù)量。 數(shù)據(jù)量大舉例：tumblr（全球最大輕博客網(wǎng)站）每日產(chǎn)出9500萬條信息，F(xiàn)acebook每日產(chǎn)出25TB日志數(shù)據(jù)，YouTube每日新增視頻數(shù)據(jù)量168TB。 （2）數(shù)據(jù)種類和來源多樣（Variety）。大數(shù)據(jù)的數(shù)據(jù)種類包括：結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)占比為80%，且非結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)量以63%的年增長率增長（非結(jié)構(gòu)化數(shù)據(jù)沒有統(tǒng)一的數(shù)據(jù)處理技術(shù)）。大數(shù)據(jù)的數(shù)據(jù)來源包括：日志、圖片、視頻、文檔、地理位置等。 （3）需要較快的分析處理速度（Velocity）。因為大數(shù)據(jù)產(chǎn)生速度快，所以也需要較快的分析處理速度。 （4）價值密度較低，但商業(yè)價值高（Value）。因為大數(shù)據(jù)數(shù)據(jù)量大，所以價值密度相對較低。但通過大數(shù)據(jù)分析，可以為企業(yè)創(chuàng)造高的價值。

三、大數(shù)據(jù)平臺

目前，大數(shù)據(jù)主流技術(shù)平臺是Hadoop。Hadoop被公認(rèn)為大數(shù)據(jù)標(biāo)準(zhǔn)開源軟件。Hadoop創(chuàng)立于2002年，創(chuàng)始人是Doug Cutting，Hadoop名稱來源于Doug Cutting兒子的一頭黃色大象玩具。 Hadoop的發(fā)展歷程如圖一所示。Hadoop項目于2006年2月被單獨立項（根據(jù)百度百科：此前為Apache Lucene的子項目之一），2008年打破1TB數(shù)據(jù)排序紀(jì)錄，2017年Hadoop3.0版本發(fā)布。

圖片來源：學(xué)堂在線《大數(shù)據(jù)導(dǎo)論》 Hadoop的主流版本包括：Apache Hadoop、CDH。

（1）Apache Hadoop Apache Hadoop的優(yōu)點包括： 1）完全開源免費。 2）社區(qū)活躍。 3）文檔資料詳實。 Apache Hadoop的缺點包括： 1）版本管理比較混亂。 2）選擇生態(tài)組件時需要考慮兼容性問題。 3）集群的部署安裝配置復(fù)雜，集群運維復(fù)雜。

（2）CDH CDH由CLOUDERA維護。

CDH的優(yōu)點包括： 1）基于Apache協(xié)議，100%開源。 2）版本管理清晰，相比于Apache Hadoop在兼容性、安全性、穩(wěn)定性方面更優(yōu)。 3）提供了部署、安裝、配置工具，大大提高了集群部署的效率。 4）提供了管理、監(jiān)控、診斷、配置修改的工具，管理配置方便。 CDH的缺點是設(shè)計廠商鎖定問題。如果某公司選用CDH，當(dāng)公司需要改用其他平臺的服務(wù)時，可能對該公司生產(chǎn)環(huán)境產(chǎn)生較大影響，即該公司被CDH廠商鎖定。

編輯：黃飛