還在數(shù)據(jù)中臺與傳統(tǒng)大數(shù)據(jù)平臺之間傻傻分不清？

作者：彭鋒 宋文欣 孫浩峰

來源：大數(shù)據(jù)DT（ID：hzdashuju），本文經(jīng)授權(quán)轉(zhuǎn)載

導(dǎo)讀：我們可以這樣理解，傳統(tǒng)大數(shù)據(jù)平臺和數(shù)據(jù)倉庫是數(shù)據(jù)中臺的數(shù)據(jù)來源，建設(shè)數(shù)據(jù)中臺是為了更好地服務(wù)于業(yè)務(wù)部門。

圖1-1顯示了信息化系統(tǒng)、數(shù)據(jù)倉庫、傳統(tǒng)大數(shù)據(jù)平臺、數(shù)據(jù)中臺之間的關(guān)系，其中的箭頭表示數(shù)據(jù)的主要流向。

數(shù)據(jù)中臺與傳統(tǒng)大數(shù)據(jù)平臺到底有什么區(qū)別？為了敘述方便，我們先給出傳統(tǒng)大數(shù)據(jù)平臺的架構(gòu)。

大數(shù)據(jù)基礎(chǔ)能力層：Hadoop、Spark、Hive、HBase、Flume、Sqoop、Kafka、 Elasticsearch等。

在大數(shù)據(jù)組件上搭建的 ETL流水線，包括數(shù)據(jù)分析、機(jī)器學(xué)習(xí)程序。

數(shù)據(jù)治理系統(tǒng)。

數(shù)據(jù)倉庫系統(tǒng)。

數(shù)據(jù)可視化系統(tǒng)。

可以看到，這些是傳統(tǒng)大數(shù)據(jù)平臺的核心功能。在很多大數(shù)據(jù)項(xiàng)目里，只要把這些系統(tǒng)搭起來，每天可以生成業(yè)務(wù)報(bào)表（包括實(shí)時(shí)大屏），就算大數(shù)據(jù)平臺搭建成功了。

但數(shù)據(jù)中臺應(yīng)該是大數(shù)據(jù)平臺的一個(gè)超集。我們認(rèn)為，在大數(shù)據(jù)平臺的基礎(chǔ)之上，數(shù)據(jù)中臺還應(yīng)該提供下面的系統(tǒng)功能。

1. 全局的數(shù)據(jù)應(yīng)用資產(chǎn)管理

這里所說的數(shù)據(jù)應(yīng)用資產(chǎn)管理包括整個(gè)生態(tài)系統(tǒng)中的數(shù)據(jù)和應(yīng)用。傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理絕大部分只包括關(guān)系型數(shù)據(jù)庫中的資產(chǎn)（包括Hive），而一個(gè)數(shù)據(jù)中臺應(yīng)該管理所有結(jié)構(gòu)化、非結(jié)構(gòu)化的數(shù)據(jù)資產(chǎn)，以及使用這些數(shù)據(jù)資產(chǎn)的應(yīng)用。

如果傳統(tǒng)的數(shù)據(jù)資產(chǎn)管理提供的是數(shù)據(jù)目錄，那么數(shù)據(jù)中臺提供的應(yīng)該是擴(kuò)展的數(shù)據(jù)及應(yīng)用目錄。要避免重復(fù)造輪子，首先要知道系統(tǒng)中有哪些輪子，因此維護(hù)一個(gè)系統(tǒng)中數(shù)據(jù)及數(shù)據(jù)應(yīng)用的列表是很關(guān)鍵的。

2. 全局的數(shù)據(jù)治理機(jī)制

與傳統(tǒng)的數(shù)據(jù)治理不一樣，數(shù)據(jù)中臺必須提供針對全局的數(shù)據(jù)治理工具和機(jī)制。傳統(tǒng)數(shù)據(jù)倉庫中的數(shù)據(jù)建模和數(shù)據(jù)治理大多針對一個(gè)特定部門的業(yè)務(wù)，部分原因是全局?jǐn)?shù)據(jù)建模和治理周期太長，由于存在部門之間的協(xié)調(diào)問題，往往難度很大。

數(shù)據(jù)中臺提供的數(shù)據(jù)治理機(jī)制必須允許各個(gè)業(yè)務(wù)部門自主迭代，但前提是要有全局一致的標(biāo)準(zhǔn)。阿里提出的OneID強(qiáng)調(diào)全局統(tǒng)一的對象ID（例如用戶ID），就屬于這個(gè)機(jī)制。

3. 自助的、多租戶的數(shù)據(jù)應(yīng)用開發(fā)及發(fā)布

現(xiàn)有的絕大部分大數(shù)據(jù)平臺要求使用者具備一定的編程能力。數(shù)據(jù)中臺強(qiáng)調(diào)的是為業(yè)務(wù)部門賦能，而業(yè)務(wù)人員需要有一個(gè)自助的、可適應(yīng)不同水平和能力要求的開發(fā)平臺。這個(gè)開發(fā)平臺要能夠保證數(shù)據(jù)隔離和資源隔離，這樣任何一個(gè)使用系統(tǒng)的人都不用擔(dān)心自己會對系統(tǒng)造成損害。

4. 數(shù)據(jù)應(yīng)用運(yùn)維

用戶應(yīng)該可以很方便地將自己開發(fā)的數(shù)據(jù)應(yīng)用自助發(fā)布到生產(chǎn)系統(tǒng)中，而無須經(jīng)過專門的數(shù)據(jù)團(tuán)隊(duì)。因?yàn)槲覀冃枰蚕磉@些應(yīng)用及其產(chǎn)生的數(shù)據(jù)，所以需要有類似于CI/CD的專門系統(tǒng)來管理應(yīng)用的代碼質(zhì)量和進(jìn)行版本控制。

在數(shù)據(jù)應(yīng)用運(yùn)行過程中產(chǎn)生的數(shù)據(jù)也需要全程監(jiān)控，以保證數(shù)據(jù)的完整性、正確性和實(shí)時(shí)性。

5. 數(shù)據(jù)應(yīng)用集成

應(yīng)該可以隨時(shí)集成新的數(shù)據(jù)應(yīng)用。新的大數(shù)據(jù)應(yīng)用、人工智能工具不斷涌現(xiàn)，我們的系統(tǒng)應(yīng)該能夠隨時(shí)支持這些新應(yīng)用。如果數(shù)據(jù)中臺不能支持這些應(yīng)用，各個(gè)業(yè)務(wù)部門可能又會打造自己的小集群，造成新的數(shù)據(jù)孤島及應(yīng)用孤島。

6. 數(shù)據(jù)即服務(wù)，模型即服務(wù)

數(shù)據(jù)分析的結(jié)果，不管是統(tǒng)計(jì)分析的結(jié)果，還是機(jī)器學(xué)習(xí)生成的模型，應(yīng)該能夠很快地使用無代碼的方式發(fā)布，并供全機(jī)構(gòu)使用。

7. 數(shù)據(jù)能力共享管理

大部分?jǐn)?shù)據(jù)能力應(yīng)當(dāng)具有完善的共享管理機(jī)制、方便安全的共享機(jī)制以及靈活的反饋機(jī)制。最后決定數(shù)據(jù)如何使用的是獨(dú)立的個(gè)人，他們需要一套獲取信息的機(jī)制，因此在機(jī)構(gòu)內(nèi)部必須要有這樣的共享機(jī)制，才能真正讓數(shù)據(jù)用起來。

8. 完善的運(yùn)營指標(biāo)

數(shù)據(jù)中臺強(qiáng)調(diào)的是可衡量的數(shù)據(jù)價(jià)值，因此，對于數(shù)據(jù)在系統(tǒng)中的使用方式、被使用的頻率、最后產(chǎn)生的效果，必須要有一定的運(yùn)營指標(biāo)，才能驗(yàn)證數(shù)據(jù)的價(jià)值和數(shù)據(jù)中臺項(xiàng)目的效率。

綜合上面的討論，除了阿里巴巴提出的OneID、OneModel、OneService之外，我們認(rèn)為數(shù)據(jù)中臺還應(yīng)該滿足以下兩個(gè)要求。

1. TotalPlatform

所有中臺數(shù)據(jù)及相關(guān)的應(yīng)用應(yīng)該在統(tǒng)一平臺中統(tǒng)一管理。如果有數(shù)據(jù)存儲在中臺管理不到的地方，或者有人在中臺未知的情況下使用數(shù)據(jù)，我們就無法真正實(shí)現(xiàn)對數(shù)據(jù)的全局管理。這要求數(shù)據(jù)中臺能快速支持新的數(shù)據(jù)格式和數(shù)據(jù)應(yīng)用，便于數(shù)據(jù)工具的共享，而無須建立一個(gè)分離的系統(tǒng)。

2. TotalInsight

數(shù)據(jù)中臺應(yīng)該能夠理解并管理系統(tǒng)中數(shù)據(jù)的流動，提供數(shù)據(jù)價(jià)值的定量衡量，明確各個(gè)部門的花費(fèi)和產(chǎn)出。整個(gè)中臺的運(yùn)營是有序可控的，而不是一個(gè)黑盒子，用戶可以輕松理解全局的數(shù)據(jù)資產(chǎn)和能力，從系統(tǒng)中快速實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)。

如圖1-3所示，數(shù)據(jù)中臺可以說是按照一定的規(guī)范要求建設(shè)的數(shù)據(jù)能力平臺，在數(shù)據(jù)倉庫、大數(shù)據(jù)平臺、數(shù)據(jù)服務(wù)、數(shù)據(jù)應(yīng)用的建設(shè)中實(shí)現(xiàn)了符合OneID、OneModel、OneService的數(shù)據(jù)層。

這個(gè)數(shù)據(jù)層，加上在其上建立的業(yè)務(wù)能力層以及運(yùn)營這個(gè)數(shù)據(jù)中臺需要的TotalPlatform、TotalInsight，形成我們看到的數(shù)據(jù)中臺。

編輯：jq