大數(shù)據(jù)發(fā)展困難重重 未來(lái)之路何去何從？

短短幾年之內(nèi)，大數(shù)據(jù)已經(jīng)徹底改變了企業(yè)運(yùn)營(yíng)業(yè)務(wù)的方式——但截至目前，我們才剛剛初窺其門徑。隨著企業(yè)開始有意識(shí)到收集各類數(shù)據(jù)信息，其亦開始發(fā)現(xiàn)對(duì)這部分?jǐn)?shù)據(jù)加以正確利用所能夠帶來(lái)的巨大潛力。

?

　
大數(shù)據(jù)發(fā)展困難重重 未來(lái)之路何去何從？

　　一些積極迎接變革的企業(yè)發(fā)現(xiàn)，他們的數(shù)據(jù)實(shí)際上可能正是其掌握的最大資產(chǎn)。除了數(shù)據(jù)本身之外，精明的企業(yè)還能夠通過(guò)分析數(shù)據(jù)內(nèi)容以了解并更好地服務(wù)于自身客戶，甚至能夠?qū)⑵渲幸恍╆P(guān)鍵性數(shù)據(jù)出售給合作伙伴及下游廠商以賺取額外利潤(rùn)。舉例來(lái)說(shuō)，優(yōu)步與Lyft等服務(wù)就能夠非常準(zhǔn)確地把握與客戶出行習(xí)慣相關(guān)的數(shù)據(jù)，并將其交付至Airbnb、VRBO等其它網(wǎng)站。與此同時(shí)，F(xiàn)itbit及其它廠商提供的健身追蹤器亦能夠利用用戶的健康活動(dòng)數(shù)據(jù)實(shí)現(xiàn)巨大價(jià)值。即使是與醫(yī)療衛(wèi)生業(yè)務(wù)毫不沾邊的蘋果公司，也能夠以前所未有的洞察能力審視其原生健康應(yīng)用數(shù)據(jù)。

　　
　　在理論層面講，如此龐大的數(shù)據(jù)寶庫(kù)將能夠?yàn)锽2B及B2C企業(yè)帶來(lái)集中且立足實(shí)踐行為的洞察結(jié)論，進(jìn)而以前所未有的方式開啟新的機(jī)遇大門。然而，面對(duì)著一系列重大的技術(shù)性與財(cái)務(wù)性障礙，很多企業(yè)實(shí)際上并不清楚自己的下一步大數(shù)據(jù)戰(zhàn)略該走向何處。其已經(jīng)開始在數(shù)據(jù)挖掘領(lǐng)域試水，但尚未制定出一套能夠順利邁進(jìn)的堅(jiān)實(shí)戰(zhàn)略思路。
　　
　　為何存在挑戰(zhàn)
　　
　　截至目前，實(shí)現(xiàn)大數(shù)據(jù)技術(shù)承諾的最大障礙之一在于龐大的資金投入要求。從當(dāng)下的情況來(lái)看，最為成功的項(xiàng)目往往需要耗資數(shù)百萬(wàn)美元，例如沃爾瑪?shù)膶Ｓ脭?shù)據(jù)創(chuàng)新實(shí)驗(yàn)室WalmartLabs。然而，這種項(xiàng)目只適用于那些世界上最為龐大的企業(yè)，其具備極為雄厚的財(cái)力與幾乎無(wú)窮無(wú)盡的資源。很明顯，這樣的標(biāo)準(zhǔn)對(duì)于其它公司而言并不適用，或者說(shuō)毫無(wú)實(shí)現(xiàn)的可能。
　　
　　為何利用大數(shù)據(jù)技術(shù)會(huì)呈現(xiàn)出如此明確的資源密集型傾向？答案主要分為以下三個(gè)方面：
　　
　　數(shù)據(jù)的輸入速度極快，且數(shù)據(jù)來(lái)源數(shù)量亦急劇增加：移動(dòng)、云應(yīng)用、物聯(lián)網(wǎng)——從用于追蹤庫(kù)存與設(shè)備的RF標(biāo)簽到一切接入網(wǎng)絡(luò)的家用電器——當(dāng)然，社交媒體亦是一大不容忽視的實(shí)時(shí)數(shù)據(jù)來(lái)源。
　　
　　此類新型來(lái)源幾乎全部在以非結(jié)構(gòu)化或者半結(jié)構(gòu)化格式交付數(shù)據(jù)，這使得傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)管理方案——即SQL以及幾乎一切現(xiàn)代數(shù)據(jù)庫(kù)系統(tǒng)的實(shí)現(xiàn)基礎(chǔ)——毫無(wú)用武之地。除了收集及存儲(chǔ)方面的挑戰(zhàn)之外，合規(guī)性要求中的隱私與監(jiān)管要求亦會(huì)帶來(lái)新的復(fù)雜性層。不斷發(fā)展的標(biāo)準(zhǔn)要求需要完整團(tuán)隊(duì)配合先進(jìn)的技術(shù)、管理與維護(hù)手段方可實(shí)現(xiàn)。
　　
　　隨著在數(shù)據(jù)復(fù)雜度的日益提高，用于管理數(shù)據(jù)的具體技術(shù)方案亦變得更難于使用。Hadoop、Kafka、Hive、Drill、Storm、MongoDB以及Cassandra等開源工具外加一系列專有方案共同構(gòu)成了獨(dú)立且相互競(jìng)爭(zhēng)的方案生態(tài)系統(tǒng)，只有具備深厚的技術(shù)操作知識(shí)方可將其真正應(yīng)用在商業(yè)環(huán)境當(dāng)中。事實(shí)上，此類人才資源非常稀缺，大多數(shù)非財(cái)富五百?gòu)?qiáng)企業(yè)都無(wú)力承擔(dān)由此帶來(lái)的高昂開支。
　　
　　缺失之處何在
　　
　　可以看到，絕大多數(shù)企業(yè)僅僅是在努力管理并挖掘自己的存儲(chǔ)數(shù)據(jù)集，而很難實(shí)際利用數(shù)據(jù)中的信息建立自身競(jìng)爭(zhēng)優(yōu)勢(shì)。在實(shí)踐性、實(shí)用性及可行性方面，企業(yè)還無(wú)法充分運(yùn)用現(xiàn)有工具發(fā)揮數(shù)據(jù)中的可觀潛能。需要明確的是，目前我們并不缺乏良好的大數(shù)據(jù)工具，事實(shí)上我們?nèi)狈Φ氖钦嬲邆湫逝c有效性的解決方案，這種能夠解決數(shù)據(jù)孤島及高度依賴性難題的手段既匱乏又難于維護(hù)。
　　
　　為什么？因?yàn)榻刂聊壳埃覀兊闹攸c(diǎn)一直放在整合應(yīng)用程序并建立各類獨(dú)立工具與平臺(tái)之間的連接機(jī)制，缺少這種橋梁它們將根本無(wú)法協(xié)作。舉例來(lái)說(shuō)，我們需要想辦法對(duì)接CROM與ERP，或者將銷售工具與市場(chǎng)營(yíng)銷自動(dòng)化機(jī)制相整合。
　　
　　這種應(yīng)用到應(yīng)用型方案的問題在于，其完全忽略了數(shù)據(jù)本身——這意味著數(shù)據(jù)仍然可能以分裂化、孤立化或者碎片化形式存在。即使應(yīng)用程序能夠彼此連接，如果其各自擁有自己的數(shù)據(jù)存儲(chǔ)形式，那么數(shù)據(jù)亦無(wú)法實(shí)現(xiàn)通用。這意味著我們將面對(duì)大量不完整或者重復(fù)的數(shù)據(jù)記錄，即通常所謂的“臟”數(shù)據(jù)。任何分析方法都無(wú)法利用這樣的數(shù)據(jù)素材提供可靠的結(jié)論——因?yàn)閿?shù)據(jù)本身就不夠可靠。