數(shù)據(jù)倉庫、數(shù)據(jù)湖以及中心化數(shù)據(jù)所有權(quán)的問題

在數(shù)據(jù)和分析領(lǐng)域中，數(shù)據(jù)網(wǎng)格（Data Mesh）范式是取代數(shù)據(jù)湖、成為主要架構(gòu)模式的強勢候選者。 重要的是，數(shù)據(jù)網(wǎng)格引入了新的組織視角，并且它與特定技術(shù)無關(guān)。 其關(guān)鍵思想是將領(lǐng)域驅(qū)動設(shè)計（DDD）和產(chǎn)品思維，應(yīng)用到數(shù)據(jù)和分析領(lǐng)域的難題中。與引入DevOps文化相比，建立數(shù)據(jù)網(wǎng)格文化包含人與人的連接，同理心，以及聯(lián)合責(zé)任結(jié)構(gòu)的建立。 通過這種方式，從數(shù)據(jù)中產(chǎn)生業(yè)務(wù)價值能夠?qū)崿F(xiàn)可持續(xù)的規(guī)?；?/p>

隨著各個公司在關(guān)鍵業(yè)務(wù)領(lǐng)域進行數(shù)字化，他們收集了越來越多的有關(guān)其自身流程和客戶的數(shù)據(jù)。 因此，他們希望使用這些數(shù)據(jù)來推動基于事實的決策，以便更好地滿足客戶的需求。 在某些行業(yè)中，數(shù)據(jù)驅(qū)動的水平，即公司能夠基于數(shù)據(jù)而不是憑直覺做出決策的速度，已經(jīng)成為決定性的競爭優(yōu)勢。

數(shù)據(jù)倉庫、數(shù)據(jù)湖以及關(guān)于中心化數(shù)據(jù)所有權(quán)的問題

在傳統(tǒng)的商業(yè)智能（BI）中，集中維護的數(shù)據(jù)倉庫是許多商業(yè)決策的基礎(chǔ)，例如：通過最新的報表來支持這些商業(yè)決策。 隨著大數(shù)據(jù)技術(shù)的成熟以及數(shù)據(jù)科學(xué)的日益普及，許多公司投資建設(shè)了中央數(shù)據(jù)湖——有些是為了替代數(shù)據(jù)倉庫，但更多情況下是對現(xiàn)有數(shù)據(jù)倉庫的補充。 二者的主要區(qū)別在于集展和建模的不同：通過數(shù)據(jù)倉庫的方式，數(shù)據(jù)在攝取時，已經(jīng)根據(jù)特定的應(yīng)用進行了轉(zhuǎn)換； 對于數(shù)據(jù)湖，這種轉(zhuǎn)換僅在數(shù)據(jù)用于消費時發(fā)生。 但是，這兩種方法的共同特點是中心化。 而正是這種中心化導(dǎo)致了問題的反復(fù)出現(xiàn)。

我一次又一次看到，一個模式是不堪重負(fù)、壓力重重的中央“數(shù)據(jù)團隊”。 這個團隊維護著中央數(shù)據(jù)基礎(chǔ)設(shè)施，無論是數(shù)據(jù)倉庫還是數(shù)據(jù)湖。然而，更重要的是，該團隊孤立地負(fù)責(zé)向利益相關(guān)者，產(chǎn)品團隊和數(shù)據(jù)科學(xué)家提供及時可靠的數(shù)據(jù)集或報表。 我故意稱其為數(shù)據(jù)團隊，而不是更具體地稱為數(shù)據(jù)工程或數(shù)據(jù)洞察團隊，是因為它反映了這個團隊經(jīng)常要處理的不明確的責(zé)任組合。

因此，該數(shù)據(jù)團隊的成員經(jīng)常會陷入困境。 他們花費大量時間進行“消防員”式的救急工作，也修復(fù)數(shù)據(jù)生產(chǎn)團隊引入的問題，但也很難使數(shù)據(jù)的消費者滿意。 尤其令人悲傷的是，這些團隊成員通常是公司中最精通數(shù)據(jù)的人。并且經(jīng)?？梢钥吹降氖牵哼@種長期的壓力會導(dǎo)致生產(chǎn)力下降，工作場所滿意度降低，甚至員工流失率增加。

如今有能力的工程師為什么無法解決這種問題？ 原因在于這不是技術(shù)問題，而是組織問題。 主要問題之一是參與各方的職責(zé)劃分不當(dāng)。

數(shù)據(jù)生產(chǎn)者一方，具有領(lǐng)域?qū)I(yè)知識，即他們了解數(shù)據(jù)的含義，并且可以直接更改數(shù)據(jù)的形式； 而數(shù)據(jù)使用者一方，是數(shù)據(jù)的既得利益者，了解數(shù)據(jù)的業(yè)務(wù)潛力，因此可以清楚地描述需求，包括數(shù)據(jù)質(zhì)量的相關(guān)需求。 數(shù)據(jù)團隊的成員夾于這兩方之間：他們有責(zé)任交付可靠和高質(zhì)量的數(shù)據(jù)，但他們既沒有領(lǐng)域?qū)I(yè)知識，也無法直接影響數(shù)據(jù)如何產(chǎn)生。 此外，他們并不是最終使用數(shù)據(jù)的決策者。 這意味著利益，責(zé)任和能力分布在三個不同的方面，這導(dǎo)致了摩擦，沮喪和誤解。

圖一，處理數(shù)據(jù)的傳統(tǒng)方式切斷了數(shù)據(jù)負(fù)責(zé)人與數(shù)據(jù)使用者的關(guān)系

Data Mesh：去中心化的領(lǐng)域所有權(quán)，共享的基礎(chǔ)設(shè)施

相反，數(shù)據(jù)網(wǎng)格的目標(biāo)狀態(tài)是讓數(shù)據(jù)生產(chǎn)者和數(shù)據(jù)使用者盡可能緊密地合作。從組織的角度來看，理想的情況是同一團隊同時生產(chǎn)和使用相同的數(shù)據(jù)，以便能夠在同一個團隊中考量利益，責(zé)任和能力。在實踐中，這通常是不可行的，因為數(shù)據(jù)生產(chǎn)團隊已經(jīng)在其特定領(lǐng)域承擔(dān)了太多責(zé)任，以至于他們也無法完全負(fù)責(zé)數(shù)據(jù)消費應(yīng)用。因此，將這些角色分成兩個直接溝通無需中間人的團隊，已經(jīng)是向前邁出了一大步。數(shù)據(jù)生產(chǎn)團隊的目標(biāo)應(yīng)該是提供數(shù)據(jù)，以便其他人可以在不需要詳細(xì)領(lǐng)域知識的前提下就能從該數(shù)據(jù)中獲得價值，即數(shù)據(jù)產(chǎn)生者應(yīng)隱藏“實施細(xì)節(jié)”。當(dāng)然，這樣的數(shù)據(jù)生產(chǎn)團隊也可以同時處于數(shù)據(jù)消費者的位置。有一些面向消費者的數(shù)據(jù)領(lǐng)域非常復(fù)雜，足以證明整個領(lǐng)域?qū)＜覉F隊的價值，但是這些專家自己使用的數(shù)據(jù)與數(shù)據(jù)源對齊。

單純從組織角度來看，這種數(shù)據(jù)生產(chǎn)者和消費者的雙邊關(guān)系結(jié)構(gòu)將特定領(lǐng)域的一切交給了一個團隊，有利于減少摩擦，增加了所有權(quán)，從而能夠高質(zhì)量地擴展。如果我們接受這個前提，那為什么有著集中所有權(quán)的中央數(shù)據(jù)團隊的模式如此普遍？以我的經(jīng)驗，有三個主要的關(guān)注點，它們在很大程度上驅(qū)動了企業(yè)中不幸的中心化數(shù)據(jù)所有權(quán)模式：

擔(dān)心團隊中沒有足夠的數(shù)據(jù)工程師和數(shù)據(jù)科學(xué)專家來組成多個團隊。相反，中央團隊被認(rèn)為可以更有效地利用那些稀缺的專家，并可以更平等地支持多個團隊。

擔(dān)心失去對數(shù)據(jù)質(zhì)量的控制，例如建立去中心化所有權(quán)的全局標(biāo)準(zhǔn)似乎很困難。

擔(dān)心重復(fù)的基礎(chǔ)設(shè)施投資，因為每個團隊都需要創(chuàng)建和維護類似的基礎(chǔ)設(shè)施，例如管道，服務(wù)和存儲。

通常，中心化數(shù)據(jù)所有權(quán)和中心化數(shù)據(jù)基礎(chǔ)設(shè)施之間缺乏概念上的分離， 阻礙了去中心化數(shù)據(jù)所有權(quán)的優(yōu)勢。 實際上，在上述所有三種情況下，創(chuàng)建專注于自助服務(wù)工具的共享數(shù)據(jù)基礎(chǔ)設(shè)施平臺可以幫助緩解此類擔(dān)憂。但是，至關(guān)重要的是，與領(lǐng)域無關(guān)的自助服務(wù)工具要能夠使該數(shù)據(jù)架構(gòu)平臺脫離中心化的領(lǐng)域數(shù)據(jù)所有權(quán)。 然而，通過使用領(lǐng)域無關(guān)的自助服務(wù)工具，能夠與讓數(shù)據(jù)基礎(chǔ)設(shè)施平臺脫離中心化的領(lǐng)域數(shù)據(jù)所有權(quán)。否則，數(shù)據(jù)基礎(chǔ)設(shè)施平臺將存在迅速成為具有中心化數(shù)據(jù)所有權(quán)的中央數(shù)據(jù)平臺的風(fēng)險，這正是我們首先要擺脫的境況。 最后，此方法還需要與建立針對數(shù)據(jù)的產(chǎn)品思維相結(jié)合，以確保去中心化的數(shù)據(jù)所有權(quán)是可持續(xù)的。

圖2：與領(lǐng)域無關(guān)的數(shù)據(jù)平臺

領(lǐng)域無關(guān)基礎(chǔ)架構(gòu)以及產(chǎn)品思維

為什么說數(shù)據(jù)基礎(chǔ)設(shè)施平臺確實是領(lǐng)域無關(guān)且專注于自助服務(wù)的呢？一個標(biāo)志是，無需聯(lián)系數(shù)據(jù)基礎(chǔ)設(shè)施平臺團隊，團隊即可通過提供領(lǐng)域數(shù)據(jù)來共享其專業(yè)知識。這意味著，那些數(shù)據(jù)基礎(chǔ)設(shè)施平臺的開發(fā)人員在完成本職工作時，并不需要詳細(xì)的領(lǐng)域知識。

另一方面，該平臺必須提供工具，讓領(lǐng)域數(shù)據(jù)專家在無需深厚的數(shù)據(jù)工程專業(yè)知識的情況下管理其數(shù)據(jù)交付物的整個生命周期。這意味著必須使他們能夠創(chuàng)建數(shù)據(jù)領(lǐng)域產(chǎn)品，對其進行描述和演進升級，觀察其使用情況以及適時銷毀數(shù)據(jù)。

創(chuàng)建提供這種使能水平的自助服務(wù)平臺是一項巨大的技術(shù)和產(chǎn)品開發(fā)挑戰(zhàn)。不過，它的核心是傳統(tǒng)的內(nèi)部軟件產(chǎn)品開發(fā)可以從實現(xiàn)最常見的用例開始，再逐步地擴展平臺的功能。

這樣，可以避免了構(gòu)建重復(fù)的基礎(chǔ)設(shè)施，因為沒有將基礎(chǔ)設(shè)施平臺團隊拉入中心化的數(shù)據(jù)所有權(quán)中。這樣一個與領(lǐng)域無關(guān)的平臺團隊可以更好地進行擴展，因為其成員不需要跟進特定領(lǐng)域的難題和所有業(yè)務(wù)領(lǐng)域的需求。相反，那些領(lǐng)域數(shù)據(jù)團隊?wèi)?yīng)該積極地培養(yǎng)和維護這些詳盡的領(lǐng)域知識。因此，如果能夠正確地關(guān)注重點，一個中型團隊就能夠可持續(xù)地開發(fā)和維護共享的數(shù)據(jù)基礎(chǔ)設(shè)施平臺。

共享的自助服務(wù)數(shù)據(jù)基礎(chǔ)設(shè)施平臺的另一個重要優(yōu)點是，除了避免重復(fù)工作外，還關(guān)乎數(shù)據(jù)治理和標(biāo)準(zhǔn)化。如果對于領(lǐng)域數(shù)據(jù)團隊而言，使用平臺的工具提供數(shù)據(jù)要比通過構(gòu)建自己的基礎(chǔ)設(shè)施還方便，那么通過這些平臺工具來實施某些標(biāo)準(zhǔn)將變得很容易。這樣，標(biāo)準(zhǔn)化和一定程度上的治理就會由便利性驅(qū)動。

因此，在上面概述的關(guān)于去中心化數(shù)據(jù)所有權(quán)的三個問題中，僅剩下一個數(shù)據(jù)質(zhì)量的相關(guān)問題?，F(xiàn)在，中心化團隊無法承擔(dān)數(shù)據(jù)質(zhì)量的責(zé)任。如今，數(shù)據(jù)質(zhì)量的責(zé)任無論如何也不能由一個中心化的團隊以可擴展和可持續(xù)的方式來承擔(dān)。沒有任何一個團隊可以針對所有業(yè)務(wù)領(lǐng)域建立足夠的領(lǐng)域?qū)I(yè)知識來確保數(shù)據(jù)質(zhì)量。這就是數(shù)據(jù)質(zhì)量的意義：它不是對數(shù)據(jù)形態(tài)的普遍保證，而是與數(shù)據(jù)的具體內(nèi)容，語義和演進的息息相關(guān)。

但是，單純以去中心化的責(zé)任制還不能解決這一挑戰(zhàn)。為此，產(chǎn)品思維開始發(fā)揮作用。需要激勵領(lǐng)域數(shù)據(jù)團隊以可靠的方式提供高質(zhì)量的數(shù)據(jù)，例如通過使預(yù)算與數(shù)據(jù)消費者的數(shù)量和消費滿意度相匹配。這樣，領(lǐng)域數(shù)據(jù)團隊將嘗試提高其數(shù)據(jù)的價值，并嘗試滿足其數(shù)據(jù)消費者的需求。

最后總結(jié)一下，我們需要建立三種方法，以實現(xiàn)具有去中心化數(shù)據(jù)所有權(quán)的可擴展和可持續(xù)的數(shù)據(jù)格局：

使用領(lǐng)域驅(qū)動設(shè)計作為主要手段構(gòu)建數(shù)據(jù)，并將領(lǐng)域（或子域）的完整端到端所有權(quán)分配給一個能夠滿足其職責(zé)所需的跨職能團隊。

利用平臺思維，投資創(chuàng)建共享且與領(lǐng)域無關(guān)的自助數(shù)據(jù)基礎(chǔ)設(shè)施平臺。該平臺沒有中心化的數(shù)據(jù)所有權(quán)，而是專注于支持和促進數(shù)據(jù)生產(chǎn)者和消費者者之間的直接協(xié)作。

利用產(chǎn)品思維，激勵領(lǐng)域數(shù)據(jù)團隊提高高質(zhì)量的數(shù)據(jù)以滿足數(shù)據(jù)消費團隊的需求。

fqj