前沿開源技術領域的開源大數(shù)據(jù)一一解讀

近日，OSCHINA 和 Gitee 聯(lián)合發(fā)布了《2022 中國開源開發(fā)者報告》。

其中“前沿開源技術領域解讀” 部分，多位在其領域有所建樹的一線開發(fā)者和開源商業(yè)化公司創(chuàng)始人，對目前國內(nèi)外流行的前沿開源技術領域過去的發(fā)展和未來的趨勢進行了深入的洞察，覆蓋開源云原生、開源 AI、開源大前端、開源大數(shù)據(jù)、開源 DevOps、RISC-V、開源操作系統(tǒng)、開源數(shù)據(jù)庫、編程語言九大領域。

本篇為開源大數(shù)據(jù)領域的解讀。

近幾年，數(shù)據(jù)技術快速發(fā)展，技術棧逐漸成熟，從新一代數(shù)據(jù)源體系到數(shù)據(jù)處理體系，再到數(shù)據(jù)分析、AI 算法體系，數(shù)據(jù)技術逐步相互融合、相互支持形成有機整體。OLAP、數(shù)據(jù)湖、數(shù)據(jù)集成、DataOps、MLOps 等領域變得更加火熱。未來，大數(shù)據(jù)技術會沿著異構計算、批流融合、云化、兼容AI、內(nèi)存計算等方向持續(xù)更迭。

新一代數(shù)據(jù)棧將逐步替代國內(nèi)單一“數(shù)據(jù)中臺”

2021 年，美國硅谷最火爆的詞匯就是現(xiàn)代數(shù)據(jù)棧（Modern Data Stack，簡稱 MDS），它們是以云原生、開源為背景的一系列全新數(shù)據(jù)技術引擎。相對于傳統(tǒng)的閉源、私有化的數(shù)據(jù)技術來講，現(xiàn)代數(shù)據(jù)棧憑借其開放性及公有云的 SaaS 服務快速得到了大量企業(yè)用戶的認可。

現(xiàn)代數(shù)據(jù)棧分為若干層次，每個層次相互支持，相互協(xié)助，形成一個有機的整體。企業(yè)使用的時候，很容易就能利用 SaaS 模式將其整合到一起解決企業(yè)數(shù)據(jù)問題。而開源模式，又給 MDS 生態(tài)加入了新的活力，快速發(fā)展社區(qū)的同時讓上下游快速出現(xiàn)新的合作。

近幾年，國內(nèi)出現(xiàn)了大量的開源數(shù)據(jù)技術。2022 年，這些技術形成了具有上下游的有機集合體，從新一代數(shù)據(jù)源體系到數(shù)據(jù)處理體系，再到數(shù)據(jù)分析、AI 算法體系，逐步相互融合、相互支持形成有機整體?？梢钥吹剑瑖鴥?nèi)新一代的數(shù)據(jù)棧在支持云原生技術基礎上，還支持私有云/公有云部署，用新一代的計算引擎、算法、調(diào)度、同步機制來支持新一代的數(shù)據(jù)基礎建設。

這些新一代技術棧的流行和商業(yè)工具生態(tài)的整合，將逐步替代國內(nèi)單一“數(shù)據(jù)中臺”服務四五個領域的局面。這變得跟美國類似——若干家各自領域的專業(yè)企業(yè)相互集成，最終給用戶提供高效且靈活的專業(yè)解決方案。

同時，我也高興看到，這些開源現(xiàn)代數(shù)據(jù)棧中很多的商業(yè)公司，正在美國、歐洲快速建立社區(qū)、SaaS 和相關的商業(yè)服務，也有一些公司已經(jīng)和全球的開源現(xiàn)代技術棧公司進行競爭。整體上，來自國內(nèi)的新一代的開源現(xiàn)代數(shù)據(jù)棧（Open-source MDS）現(xiàn)在剛剛興起。我相信，國內(nèi)具有大量優(yōu)秀的開發(fā)者、豐富的場景和大量的數(shù)據(jù)基礎，一定會有若干家卓越的開源商業(yè)公司出現(xiàn)，最終在全球開源現(xiàn)代數(shù)據(jù)棧中有一席之地！

郭煒

Apache 基金會成員，Apache 孵化器導師，ClickHouse 華人社區(qū)創(chuàng)始人， Apache Dolphin Scheduler PMC，Apache SeaTunnel(incubating) 導師。郭煒先生畢業(yè)于北京大學，曾任易觀 CTO，聯(lián)想研究院大數(shù)據(jù)總監(jiān)，萬達電商數(shù)據(jù)部總經(jīng)理，先后在中金、IBM、Teradata 任大數(shù)據(jù)方重要職位，對大數(shù)據(jù)前沿研究做出卓越貢獻。同時郭先生參與多個技術社區(qū)工作，Presto、 Alluxio、Hbase 等，是國內(nèi)開源社區(qū)領軍人物。

數(shù)據(jù)湖與 LakeHouse 依然炙手可熱

2022 年，數(shù)據(jù)湖與 LakeHouse 依然是炙手可熱的話題。一方面，在 Apache Iceberg、Apache Hudi、Delta 等知名開源項目的帶動下，國內(nèi)的一些基礎軟件公司也開始在數(shù)據(jù)湖開源領域積極布局，代表有網(wǎng)易數(shù)帆開源的湖倉管理系統(tǒng) Arctic，阿里云開源的流式數(shù)倉 Flink Tablestore；另一方面，一些傳統(tǒng)架構的開源數(shù)倉軟件，以及閉源的數(shù)據(jù)分析引擎，也開始積極擁抱開放的數(shù)據(jù)湖格式，標志性事件如 Snowfake 可以對接 Delta 和 Iceberg，Doris 系的開源數(shù)倉可以查詢 Iceberg 數(shù)據(jù)。

在眾多開源項目與頭部企業(yè)的帶動下，行業(yè)和市場相比去年對 LakeHouse 的價值認知有了長足進步。

目前，用戶切入 LakeHouse 主要有兩點：一是數(shù)據(jù)湖上云，公有云的對象存儲與私有化的 Hadoop 在一些功能上有較大不同，比如 list 和 rename 接口的性能缺陷，導致用戶在把圍繞 Hadoop 構建的數(shù)倉體系遷往云端時需要應對各種問題，而以 Iceberg 為代表的新型表格式在使用上天然不依賴這些接口，并且提供了 ACID、模式演進等高階特性，為用戶提供了更好的上云方案；二是數(shù)據(jù)處理的流批一體，新型數(shù)據(jù)湖格式的快照機制對流更加友好，可以將數(shù)據(jù)湖拓展到更多流計算場景，甚至演進到流式湖倉的場景，實現(xiàn)實時數(shù)倉和離線數(shù)倉在湖倉上的統(tǒng)一。

但需要承認的是，LakeHouse 這項技術還沒有瓜熟蒂落，尤其在流批一體方面，依然有很多想象空間。在 Gartner 技術成熟度曲線中，LakeHouse 處于期望膨脹期的臨界點，距離主流市場采納還需要 2-5 年的時間。得益于數(shù)據(jù)湖天然的體量和成本優(yōu)勢，可以預見當 LakeHouse 成為標準技術方案時，它將給企業(yè)的數(shù)字化轉型帶來極具意義的變革。

馬進

網(wǎng)易數(shù)帆大數(shù)據(jù)實時計算技術專家、湖倉一體項目負責人，負責網(wǎng)易集團分布式數(shù)據(jù)庫、數(shù)據(jù)傳輸平臺、實時計算平臺、實時數(shù)據(jù)湖等項目，長期從事中間件、大數(shù)據(jù)基礎設施方面的研究和實踐，目前帶領團隊聚焦于流批一體、湖倉一體的平臺方案和技術演進，及流式湖倉服務 Arctic 項目開源。

數(shù)據(jù)技術快速更迭， DataOps 應運而生

今年的大數(shù)據(jù)發(fā)展如火如荼，OLAP、數(shù)據(jù)湖、數(shù)據(jù)集成、DataOps、MLOps 等領域非?；馃?，企業(yè)數(shù)字化、數(shù)智化發(fā)展十分蓬勃，開源原生公司發(fā)展迅速，數(shù)據(jù)湖三劍客 Apache Iceberg、Apache Hudi 加上 DataBricks 主導的 Delta Lake 都已經(jīng)有商業(yè)化公司的助力。數(shù)據(jù)領域的估值愈發(fā)突起，比如 DBT Labs 估值已經(jīng)達到 40 多億美金，Airbyte 估值已經(jīng) 15 億美金。國內(nèi)以天謀科技、思斐、SelectDB、白鯨開源為代表的大數(shù)據(jù)開源原生公司開始展露頭角。

數(shù)據(jù)技術正在快速迭代，且迭代速度比以往任何時候都更快，每年新誕生的技術多達幾十種，在此的背景下，DataOps 應運而生。DataOps 圍繞云原生、敏捷智能化、多云能力等方向重構現(xiàn)代數(shù)據(jù)技術棧，涵蓋了現(xiàn)代數(shù)據(jù)處理的整個生命周期，包括數(shù)據(jù)采集、數(shù)據(jù)加工(ELT/ETL)、數(shù)據(jù)集成、數(shù)據(jù)安全、數(shù)據(jù)治理等多個方面，利用 DataOps 可以高效打造現(xiàn)代數(shù)據(jù)智能高速公路。

根據(jù) Gartner 的總結，我們來看一下 DataOps 在數(shù)據(jù)運營體系關鍵要素中的作用:

（1）流程控制：在 DataOps 中，自動化測試和統(tǒng)計流程控制在數(shù)據(jù)管道的每一步運行，過濾和消除數(shù)據(jù)錯誤，這些數(shù)據(jù)錯誤會破壞分析，并產(chǎn)生大量計劃外工作影響生產(chǎn)效率。

（2）變更管理：DataOps 關注的是跟蹤、更新、同步、集成和維護驅動數(shù)據(jù)分析管道的代碼、文件和功能組件。

（3）并行開發(fā)：DataOps 組織并劃分數(shù)據(jù)開發(fā)各個階段，以便團隊成員可以高效地協(xié)同工作，而不會發(fā)生資源沖突。

（4）虛擬化技術環(huán)境：DataOps 會虛擬化技術環(huán)境，以便將開發(fā)與生產(chǎn)隔離。虛擬化可以讓業(yè)務創(chuàng)新更輕松地通過開發(fā)流程，并快速流向生產(chǎn)環(huán)境。當需要時，數(shù)據(jù)分析師可以快速啟動一個開發(fā)環(huán)境，其中包括所需的工具、安全訪問、數(shù)據(jù)、代碼。

（5）復用：DataOps 支持復用模型，標準化被廣泛使用的功能和分析組件，并簡化虛擬環(huán)境之間的遷移。

（6）響應能力和靈活性：DataOps 設計數(shù)據(jù)分析管道以適應不同的運行時情況。這種靈活性使分析能夠更好地響應組織的需求和不斷變化的優(yōu)先級。

（7）快速變化：DataOps 將構建技術環(huán)境，以實現(xiàn)盡可能短的開發(fā)周期時間，同時滿足數(shù)據(jù)使用者的要求。DataOps 的設計理念就是基于變革，DataOps 體系結構將動態(tài)數(shù)據(jù)處理能力視為 “核心思想”，而不是 “亡羊補牢”，做事后的更改。

（8）團隊協(xié)同：DataOps 協(xié)調(diào)任務、角色和工作流，以打破不同數(shù)據(jù)團隊和業(yè)務團隊之間的障礙，以便更好地協(xié)同工作。

可以說，DataOps 是快速實踐數(shù)字化轉型的理論指導，貫穿于現(xiàn)代數(shù)據(jù)技術棧的始末，DataOps 也是降本提效的最佳路徑，實踐 DataOps 路徑的收益立竿見影。

代立冬

白鯨開源聯(lián)合創(chuàng)始人，Apache DolphinScheduler PMC 主席，Apache SeaTunnel PPMC，Apache 基金會正式成員，Apache 孵化器導師，ApacheCon Asia 大數(shù)據(jù)論壇主席。

更多內(nèi)容請查看《2022 中國開源開發(fā)者報告》