分析大數(shù)據(jù)技術(shù)與當(dāng)前時(shí)代下的應(yīng)用

從某種程度上說，大數(shù)據(jù)是數(shù)據(jù)分析的前沿技術(shù)。簡言之，從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力，就是大數(shù)據(jù)技術(shù)。明白這一點(diǎn)至關(guān)重要，也正是這一點(diǎn)促使該技術(shù)具備走向眾多企業(yè)的潛力。

大數(shù)據(jù)給互聯(lián)網(wǎng)帶來的是空前的信息大爆炸，它不僅改變了互聯(lián)網(wǎng)的數(shù)據(jù)應(yīng)用模式，還將深深影響著人們的生產(chǎn)生活。深處在大數(shù)據(jù)時(shí)代中的人們，已經(jīng)認(rèn)識(shí)到大數(shù)據(jù)已經(jīng)將數(shù)據(jù)分析的認(rèn)識(shí)從“向后分析”變成“向前分析”，改變了人們的思維模式，但同時(shí)大數(shù)據(jù)也向我們提出了數(shù)據(jù)采集、分析和使用等難題。在解決了這些難題的同時(shí)，也意味著大數(shù)據(jù)開始向縱深方向發(fā)展。

什么是大數(shù)據(jù)

大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)技術(shù)，是指從各種各樣類型的數(shù)據(jù)中，快速獲得有價(jià)值信息的能力。適用于大數(shù)據(jù)的技術(shù)，包括大規(guī)模并行處理數(shù)據(jù)庫，數(shù)據(jù)挖掘電網(wǎng)，分布式文件系統(tǒng)，分布式數(shù)據(jù)庫，云計(jì)算平臺(tái)，互聯(lián)網(wǎng)，和可擴(kuò)展的存儲(chǔ)系統(tǒng)。

大數(shù)據(jù)可分成大數(shù)據(jù)技術(shù)、大數(shù)據(jù)工程、大數(shù)據(jù)科學(xué)和大數(shù)據(jù)應(yīng)用等領(lǐng)域。目前人們談?wù)撟疃嗟氖谴髷?shù)據(jù)技術(shù)和大數(shù)據(jù)應(yīng)用。工程和科學(xué)問題尚未被重視。大數(shù)據(jù)工程指大數(shù)據(jù)的規(guī)劃建設(shè)運(yùn)營管理的系統(tǒng)工程；大數(shù)據(jù)科學(xué)關(guān)注大數(shù)據(jù)網(wǎng)絡(luò)發(fā)展和運(yùn)營過程中發(fā)現(xiàn)和驗(yàn)證大數(shù)據(jù)的規(guī)律及其與自然和社會(huì)活動(dòng)之間的關(guān)系。

大數(shù)據(jù)統(tǒng)計(jì)分析的意義

近年來，包括互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、云計(jì)算等信息技術(shù)在內(nèi)的IT通信業(yè)迅速發(fā)展，數(shù)據(jù)的快速增長成了許多行業(yè)共同面對(duì)的嚴(yán)峻挑戰(zhàn)和寶貴機(jī)遇，因此現(xiàn)代信息社會(huì)已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。事實(shí)上，大數(shù)據(jù)改變的不只是人們的日常生活和工作模式、企業(yè)運(yùn)作和經(jīng)營模式，甚至還引起科學(xué)研究模式的根本性改變。

一般意義上，大數(shù)據(jù)是指無法在一定時(shí)間內(nèi)用常規(guī)機(jī)器和軟硬件工具對(duì)其進(jìn)行感知、獲取、管理、處理和服務(wù)的數(shù)據(jù)集合。網(wǎng)絡(luò)大數(shù)據(jù)是指“人、機(jī)、物”三元世界在網(wǎng)絡(luò)空間中彼此交互與融合所產(chǎn)生并在互聯(lián)網(wǎng)上可獲得的大數(shù)據(jù)。將數(shù)據(jù)應(yīng)用到生活生產(chǎn)中，可以有效地幫助人們或企業(yè)對(duì)信息作出比較準(zhǔn)確的判斷，以便采取適當(dāng)行動(dòng)。數(shù)據(jù)分析是組織有目的地收集數(shù)據(jù)、分析數(shù)據(jù)，并使之成為信息的過程。也就是指個(gè)人或者企業(yè)為了解決生活生產(chǎn)中的決策或者營銷等問題，運(yùn)用分析方法對(duì)數(shù)據(jù)進(jìn)行處理的過程。

對(duì)大數(shù)據(jù)的處理分析正成為新一代信息技術(shù)融合應(yīng)用的結(jié)點(diǎn)。移動(dòng)互聯(lián)網(wǎng)、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、數(shù)字家庭、電子商務(wù)等是新一代信息技術(shù)的應(yīng)用形態(tài)，這些應(yīng)用不斷產(chǎn)生大數(shù)據(jù)。云計(jì)算為這些海量、多樣化的大數(shù)據(jù)提供存儲(chǔ)和運(yùn)算平臺(tái)。通過對(duì)不同來源數(shù)據(jù)的管理、處理、分析與優(yōu)化，將結(jié)果反饋到上述應(yīng)用中，將創(chuàng)造出巨大的經(jīng)濟(jì)和社會(huì)價(jià)值。

大數(shù)據(jù)利用將成為提高核心競爭力的關(guān)鍵因素。各行各業(yè)的決策正在從“業(yè)務(wù)驅(qū)動(dòng)” 轉(zhuǎn)變“數(shù)據(jù)驅(qū)動(dòng)”。對(duì)大數(shù)據(jù)的分析可以使零售商實(shí)時(shí)掌握市場動(dòng)態(tài)并迅速做出應(yīng)對(duì)；可以為商家制定更加精準(zhǔn)有效的營銷策略提供決策支持；可以幫助企業(yè)為消費(fèi)者提供更加及時(shí)和個(gè)性化的服務(wù)；在醫(yī)療領(lǐng)域，可提高診斷準(zhǔn)確性和藥物有效性；在公共事業(yè)領(lǐng)域，大數(shù)據(jù)也開始發(fā)揮促進(jìn)經(jīng)濟(jì)發(fā)展、維護(hù)社會(huì)穩(wěn)定等方面的重要作用。

大數(shù)據(jù)時(shí)代科學(xué)研究的方法手段將發(fā)生重大改變。例如，抽樣調(diào)查是社會(huì)科學(xué)的基本研究方法。在大數(shù)據(jù)時(shí)代，可通過實(shí)時(shí)監(jiān)測、跟蹤研究對(duì)象在互聯(lián)網(wǎng)上產(chǎn)生的海量行為數(shù)據(jù)，進(jìn)行挖掘分析，揭示出規(guī)律性的東西，提出研究結(jié)論和對(duì)策。

大數(shù)據(jù)的可視化分析

數(shù)據(jù)是結(jié)構(gòu)化的，包括原始數(shù)據(jù)中的關(guān)系數(shù)據(jù)庫，其數(shù)據(jù)就是半結(jié)構(gòu)化的，譬如我們熟知的文本、圖形、圖像數(shù)據(jù)，同時(shí)也包括了網(wǎng)絡(luò)的不同構(gòu)型的數(shù)據(jù)。通過對(duì)各種數(shù)據(jù)的分析，就可以清晰的發(fā)現(xiàn)不同類型的知識(shí)結(jié)構(gòu)和內(nèi)容，包括反映表征的、帶有普遍性的廣義型知識(shí)；用于反映數(shù)據(jù)的匯聚模式或根據(jù)對(duì)象的屬性區(qū)分其所屬類別的特征型知識(shí)；差異和極端特例進(jìn)行描述的差異型知識(shí)；反映一個(gè)事件和其他事件之間依賴或關(guān)聯(lián)的關(guān)聯(lián)型知識(shí)。

大數(shù)據(jù)分析的使用者有大數(shù)據(jù)分析專家，同時(shí)還有普通用戶，但是他們二者對(duì)于大數(shù)據(jù)分析最基本的要求就是可視化分析，因?yàn)榭梢暬治瞿軌蛑庇^的呈現(xiàn)大數(shù)據(jù)特點(diǎn)，同時(shí)能夠非常容易被讀者所接受，就如同看圖說話一樣簡單明了。

預(yù)測性分析

大數(shù)據(jù)分析最終要的應(yīng)用領(lǐng)域之一就是預(yù)測性分析，從大數(shù)據(jù)中挖掘出特點(diǎn)，通過科學(xué)的建立模型，預(yù)測性分析可以讓分析員根據(jù)可視化分析和數(shù)據(jù)挖掘的結(jié)果做出一些預(yù)測性的判斷。大數(shù)據(jù)分析最終要實(shí)現(xiàn)的應(yīng)用領(lǐng)域之一就是預(yù)測性分析，可視化分析和數(shù)據(jù)挖掘都是前期鋪墊工作，只要在大數(shù)據(jù)中挖掘出信息的特點(diǎn)與聯(lián)系，就可以建立科學(xué)的數(shù)據(jù)模型，通過模型帶入新的數(shù)據(jù)，從而預(yù)測未來的數(shù)據(jù)。作為數(shù)據(jù)挖掘的一個(gè)子集，內(nèi)存計(jì)算效率驅(qū)動(dòng)預(yù)測分析，帶來實(shí)時(shí)分析和洞察力，使實(shí)時(shí)事務(wù)數(shù)據(jù)流得到更快速的處理。實(shí)時(shí)事務(wù)的數(shù)據(jù)處理模式能夠加強(qiáng)企業(yè)對(duì)信息的監(jiān)控，也便于企業(yè)的業(yè)務(wù)管理和信息更新流通。

此外，大數(shù)據(jù)的預(yù)測分析能力，能夠幫助企業(yè)分析未來的數(shù)據(jù)信息，有效規(guī)避風(fēng)險(xiǎn)。在通過大數(shù)據(jù)的預(yù)測性分析之后，無論是個(gè)人還是企業(yè)，都可以比之前更好地理解和管理大數(shù)據(jù)。

數(shù)據(jù)挖掘算法

數(shù)據(jù)挖掘是指數(shù)據(jù)庫中的知識(shí)發(fā)現(xiàn)，其歷史可以追溯到1989年美國底特律市召開的第一屆KDD國際學(xué)術(shù)會(huì)議上，而第一屆知識(shí)發(fā)現(xiàn)和數(shù)據(jù)挖掘（Data Mining，DM）國際學(xué)術(shù)會(huì)議是1995年加拿大召開的，會(huì)議上將數(shù)據(jù)庫里存放的數(shù)據(jù)生動(dòng)地比擬成礦床，從而“數(shù)據(jù)挖掘”這個(gè)名詞很快就流傳開來。數(shù)據(jù)挖掘的目的是在雜亂無章的數(shù)據(jù)庫中，從大量數(shù)據(jù)中找到有用的、合適的數(shù)據(jù)，并將其隱含的、不為人知的潛在價(jià)值的信息揭示出來的過程。事實(shí)上，數(shù)據(jù)挖掘只是整個(gè)KDD過程中的一個(gè)步驟。

大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式才能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，也正是因?yàn)檫@些被全世界統(tǒng)計(jì)學(xué)家所公認(rèn)的各種統(tǒng)計(jì)方法（可以稱之為真理）才能深入數(shù)據(jù)內(nèi)部，挖掘出公認(rèn)的價(jià)值。另外一個(gè)方面也是因?yàn)橛羞@些數(shù)據(jù)挖掘的算法才能更快速的處理大數(shù)據(jù)，如果一個(gè)算法得花上好幾年才能得出結(jié)論，那大數(shù)據(jù)的價(jià)值也就無從說起了。

數(shù)據(jù)挖掘的定義沒有統(tǒng)一的說法，其中“數(shù)據(jù)挖掘是一個(gè)從不完整的、不明確的、大量的并且包含噪聲的具有很大隨機(jī)性的實(shí)際應(yīng)用數(shù)據(jù)中，提取出隱含其中、事先未被人們獲知、卻潛在有用的知識(shí)或模式的過程”是被廣泛接受的定義。

大數(shù)據(jù)分析是商業(yè)智能的演進(jìn)。當(dāng)今，傳感器、GPS系統(tǒng)、QR碼、社交網(wǎng)絡(luò)等正在創(chuàng)建新的數(shù)據(jù)流。所有這些都可以得到發(fā)掘，正是這種真正廣度和深度的信息在創(chuàng)造不勝枚舉的機(jī)會(huì)。要使大數(shù)據(jù)言之有物，以便讓大中小企業(yè)都能通過更加貼近客戶的方式取得競爭優(yōu)勢，數(shù)據(jù)集成和數(shù)據(jù)管理是核心所在。

大數(shù)據(jù)無處不在，大數(shù)據(jù)應(yīng)用于各個(gè)行業(yè)，已然，我們就是大數(shù)據(jù)，我們每天的衣食住行都是大數(shù)據(jù)。