大數(shù)據無處不在 企業(yè)實踐指南有哪些？

在我們身處的時代，數(shù)據無處不在。據IBM公司估算，人類每天產生約2.5萬ZB的數(shù)據，這意味著世界上90%數(shù)據都是過去的兩年中產生的。Gartner公司分析報告顯示，在2015年財富500強的公司中百分之八十五的企業(yè)無法利用大數(shù)據來獲取競爭優(yōu)勢。

大數(shù)據無處不在 企業(yè)實踐指南有哪些？

　　數(shù)據無處不在

　　到2020年，全世界將有上百萬大數(shù)據相關的就業(yè)機會產生。這些龐大的數(shù)據蘊藏了寶貴財富，企業(yè)可以使用最先進的分析技術，利用這些數(shù)據更好地了解客戶的行為，識別商業(yè)機會，制定運營戰(zhàn)略。
　　
　　讓我們舉幾個例子，金融機構每天通過信用評分模型，了解他們的客戶在未來12個月內每種信貸產品(抵押貸款、信用卡、分期貸款)上的信用。他們以該信用評分為基礎來進行壞帳準備，計算巴塞爾協(xié)議II/III規(guī)定所需資本金數(shù)量，或是制定營銷方案(例如根據信用評分調整信用卡額度)。
　　
　　電信運營商使用最近通話行為數(shù)據建立流失模型，估計客戶在未來一到三個月流失的可能性。運營商會根據模型得分來制定營銷活動，避免有價值的客戶流失。Facebook和Twitter會使用社交媒體分析技術進行內容分析和情感語義分析，以便更好地了解品牌認知度，進一步調整產品服務設計。
　　
　　亞馬遜和Netflix等在線零售商不斷地分析顧客的購買行為，以決定產品捆綁銷售策略，并利用推薦系統(tǒng)為客戶下一次購買推薦產品。信用卡公司使用欺詐檢測模型，檢測付款是否具有欺騙性，是否發(fā)生了信用卡盜刷。政府采用數(shù)據分析技術來預測逃稅行為，優(yōu)化公共預算分配，分析交通數(shù)據提高公共交通效率，分析預測恐怖襲擊保障國家安全。
　　
　　化數(shù)據為價值
　　
　　數(shù)據是任何分析模型成功的基礎。當啟動分析項目時，有必要詳細列出企業(yè)內所有可用于分析的數(shù)據。這里的原則就是數(shù)據越多越好！因為很多分析模型都能自動決定哪些數(shù)據對當前分析很重要，哪些數(shù)據可以排除在下一步分析之外。
　　
　　我們的研究不斷印證了這樣一個觀點：改善分析模型最好的辦法，就是投資于你的數(shù)據！這可以通過數(shù)量和質量兩個維度的提升來完成。對于前者，一個關鍵點是如何整合結構化數(shù)據(例如關系數(shù)據庫)和非結構化數(shù)據(如文本)，提供全方位綜合視角進行客戶行為分析，另一個關鍵點則是在線數(shù)據和離線數(shù)據的整合，很多企業(yè)為這個問題所困擾。
　　
　　此外企業(yè)還可以超越其內部邊界，考慮從外部數(shù)據供應商那里購買外部數(shù)據，以彌補其內部數(shù)據的不足。大量的研究表明采用外部數(shù)據，對比較和完善分析模型非常有用。雖然數(shù)據常常體量巨大，但是數(shù)據質量經常是一個痛點。GIGO(garbage in garbage out)的原則在這里非常適用，爛數(shù)據只會生成爛模型。
　　
　　聽起來顯而易見，然而實踐中數(shù)據質量往往成為許多分析項目的“阿喀琉斯之踵”。數(shù)據質量可以分解成很多維度：準確性、完整性、新近度、一致性等。在大數(shù)據分析中，企業(yè)必須專門制定數(shù)據質量管理方案，設立數(shù)據審核員、數(shù)據管家或數(shù)據質量經理等職位，持續(xù)監(jiān)測數(shù)據質量。
　　
　　數(shù)據分析應該從商業(yè)問題開始，而不是從具體的技術解決方案開始。但是這帶有一絲“雞生蛋，蛋生雞”的意味。要解決商業(yè)問題、識別商業(yè)機會，需要對潛在的技術解決方案有了解。以社交媒體分析為例，只有首先了解分析技術后，公司才能開始思考如何利用它們研究在線品牌認知度，進行趨勢監(jiān)測。為了跨越分析技術和業(yè)務之間的鴻溝，持續(xù)性培訓和學習是關鍵，它能使企業(yè)始終屹立在分析技術的潮頭，保持競爭優(yōu)勢。在這一點上，學術界應該深刻檢討，因為現(xiàn)有的很多大數(shù)據分析(或數(shù)據科學)碩士課程無法滿足上述的要求。
　　
　　將數(shù)據轉化為洞察力和提升價值的另一個關鍵點是分析模型的驗證。分析模型需要適當?shù)臋C制和工具來進行審核和驗證，越來越多的公司將分析團隊拆分成模型開發(fā)和模型驗證兩個團隊。良好的公司治理能夠在兩個團隊之間筑起一道防火墻，使得由前一小組開發(fā)的模型可以客觀和獨立地被后者團隊評估。
　　
　　公司甚至可以考慮由外部合作伙伴進行模型驗證。通過建立分析基礎信息設施，公司能夠不斷基于現(xiàn)有狀況對模型進行評估和驗證，提升分析模型性能，抓住更多目標客戶。
　　
　　數(shù)據分析往往不是一蹴而就的事情。事實上，當分析模型投入使用時就已經過時了！分析模型總是落后于現(xiàn)實，我們能做的只是保持這種滯后性盡可能小。分析模型所使用的數(shù)據，都是在一個特定的時間點和特定的內外部環(huán)境條件下采集得到的。
　　
　　這一特定環(huán)境不是靜態(tài)的，而是隨著內部因素(如新戰(zhàn)略，不斷變化的客戶行為)和外部因素(新宏觀經濟環(huán)境和法律法規(guī))不斷變化而變化。例如，欺詐檢測分析中，欺詐者總是試圖不斷逃避模型的偵測，以騙取更多的錢財。另一個例子是信用評分模型在很大程度上依賴于當前的宏觀經濟狀況(復蘇或是衰退)。因此，分析模型要取得成功創(chuàng)造價值，就必須對內外部環(huán)境進行監(jiān)測，以及時調整或重建模型。
　　
　　構建底層基礎
　　
　　為了建立一個分析環(huán)境，企業(yè)需要就所采納的硬件和軟件技術進行選擇。
　　
　　硬件方面，需要專門的基礎設施(如Hadoop和相關的軟件棧)來清理、整合、存儲和管理數(shù)據。為了減少支出，企業(yè)可能選擇云存儲，并將大數(shù)據作為一種服務。公司在同外部進行數(shù)據傳輸和交換時，應采取適當?shù)闹斏鞔胧ＷC數(shù)據私密性。
　　
　　軟件方面，很多廠商提供了大數(shù)據分析的商業(yè)解決方案。目前市場還有很多的開源分析軟件(R、weka、Rapidminer)，雖然這些開源軟件解決方案變得非常流行，但是他們還不夠成熟，還不足以很好的處理具有大體量、多樣性等特性的大數(shù)據。
　　
　　大數(shù)據分析成為越來越多公司的DNA 組成部分，但是政府、金融、醫(yī)藥，每個行業(yè)都有自己發(fā)展足跡，數(shù)據、業(yè)務和監(jiān)管都具有特異性，需要針對不同的基因組成進行不同的設置。因此企業(yè)需要的是能提供綜合全面垂直業(yè)務解決方案的軟件，而不是一個跨行業(yè)的橫向通用軟件。
　　
　　鑒于建立數(shù)據分析構架環(huán)境的復雜性，公司可能會考慮外包。然而，公司內部數(shù)據及其蘊藏的信息是公司最寶貴的戰(zhàn)略資產，因此不宜讓第三方完全擁有數(shù)據訪問權。相反，企業(yè)應該建立內部分析中心和培養(yǎng)公司人員的分析技能，以服務公司廣泛的分析需求，這是公司在管理中應該考慮的問題。
　　
　　同樣公司董事會和高級管理人員都應該參與到分析環(huán)境構建中。很多企業(yè)還嘗試設立首席分析官(CAO)這樣的職位，專門負責建立企業(yè)范圍內的分析環(huán)境和基礎設施，管理各業(yè)務單位分析模型的研發(fā)、審核及部署。
　　
　　最后一點，我們現(xiàn)在看到越來越多的中小型企業(yè)開始借助大數(shù)據分析。這些公司通常預算有限，因此它們比較中意那些現(xiàn)成的可以直接用于數(shù)據分析的現(xiàn)成軟件解決方案。比如利用在線分析工具來研究網站的使用現(xiàn)狀，優(yōu)化網站設置、改善網站在搜索引擎排名，并購買付費引擎營銷方案。
　　
　　總結與展望
　　
　　在文章的結尾之處，我們想再次重申企業(yè)進行大數(shù)據分析所必須注意的幾個問題：
　　
　　從公司管理的角度來看：
　　
　　(1)公司應同時關注數(shù)據體量和數(shù)據質量;
　　
　　(2)持續(xù)學習和培訓能填平新分析技術和新商機之間的鴻溝;
　　
　　(3)分析開發(fā)團隊應該包括獨立的模型開發(fā)團隊和模型驗證團隊;
　　
　　(4)分析并不僅僅是模型開發(fā)和驗證，還包括模型的監(jiān)測和回溯測試。
　　
　　從技術的角度企業(yè)應該：
　　
　　(1)考慮使用云服務來進行大數(shù)據分析;
　　
　　(2)應該關注垂直式行業(yè)解決方案，謹慎選擇開源軟件;
　　
　　(3)對待外包分析要慎之又慎，最好能在企業(yè)內部建立分析環(huán)境，并置于高層的管理之下。