開源“摩爾定律”即將打破《2022開源大數(shù)據(jù)熱力報(bào)告》云棲大會(huì)上發(fā)布

11月5日，在2022云棲大會(huì)一體化大數(shù)據(jù)智能峰會(huì)上，由開放原子開源基金會(huì)、X-lab開放實(shí)驗(yàn)室和阿里巴巴開源委員會(huì)聯(lián)合出品的《2022年開源大數(shù)據(jù)熱力報(bào)告》重磅發(fā)布。 開放原子開源基金會(huì)副秘書長劉京娟女士對(duì)報(bào)告進(jìn)行了深度解讀。報(bào)告基于公開數(shù)據(jù)研究最活躍的102個(gè)開源大數(shù)據(jù)項(xiàng)目，探尋出開源大數(shù)據(jù)技術(shù)發(fā)展背后的“摩爾定律”：每隔40個(gè)月，開源項(xiàng)目熱力值就會(huì)翻一倍，技術(shù)完成一輪更新迭代。在過去8年里，發(fā)生了5次較大規(guī)模的技術(shù)熱力躍遷，多元化、一體化、云原生成為當(dāng)前開源大數(shù)據(jù)發(fā)展趨勢的最顯著特征。

定量分析“后Hadoop時(shí)代”開源趨勢

Hadoop 作為開源大數(shù)據(jù)技術(shù)的起源，興起于2006年，至今已有16年歷史。我們收集了從Hadoop 發(fā)展第10年（即2015年）至今的相關(guān)公開數(shù)據(jù)，并進(jìn)行了關(guān)聯(lián)分析，定義了開源項(xiàng)目熱力值研究模型，使用量化指標(biāo)，來刻畫開源項(xiàng)目的開發(fā)迭代活躍度和受開發(fā)者歡迎程度。 報(bào)告所呈現(xiàn)的開源大數(shù)據(jù)熱力圖，從技術(shù)全景、技術(shù)棧分類以及項(xiàng)目維度對(duì)入圍項(xiàng)目的熱力表現(xiàn)進(jìn)行洞察，將項(xiàng)目進(jìn)程中的關(guān)鍵事件與熱力表現(xiàn)關(guān)聯(lián)分析，并訪談了開源基金會(huì)、知名開源項(xiàng)目等領(lǐng)域?qū)＜?，嘗試找到項(xiàng)目健康發(fā)展一般規(guī)律，并對(duì)有效提升項(xiàng)目影響力的方法論進(jìn)行了歸納總結(jié)。

開源大數(shù)據(jù)技術(shù)的“摩爾定律”即將打破

報(bào)告發(fā)現(xiàn)，每隔40個(gè)月，熱力值會(huì)提升1倍，開源大數(shù)據(jù)完成一輪技術(shù)迭代升級(jí)，而且技術(shù)周期在加速縮短。在8年時(shí)間內(nèi)，發(fā)生了多輪熱力變遷，反映出背后技術(shù)的更新?lián)Q代趨勢。開發(fā)者對(duì)「數(shù)據(jù)查詢與分析」保持了長期的開發(fā)熱情，這一技術(shù)棧連續(xù)8年位于熱力值榜首。2017年，「流處理」熱力值超過「批處理」，大數(shù)據(jù)處理進(jìn)入實(shí)時(shí)階段。隨著數(shù)據(jù)規(guī)模越來越大，數(shù)據(jù)結(jié)構(gòu)更多樣化，「數(shù)據(jù)集成」從2020年開始爆發(fā)式增長。

三大熱力趨勢：多元化、一體化和云原生

用戶需求多樣化推動(dòng)技術(shù)多元化?！笖?shù)據(jù)湖」以34%的熱力值年均復(fù)合增長率高居熱力值增速第一位，「交互式分析」、「DataOps」緊隨其后，分列第二、三位。而原有Hadoop體系的產(chǎn)品迭代則趨于穩(wěn)定，熱力值年均復(fù)合增長率為1%。 從2015年開始，計(jì)算部分率先進(jìn)入「一體化」演進(jìn)歷程，其中的典型代表「流批一體」在2019年出現(xiàn)第一個(gè)熱力峰值。以數(shù)據(jù)湖存儲(chǔ)為代表的存儲(chǔ)一體化從2019年起進(jìn)入了一個(gè)新的發(fā)展階段，涌現(xiàn)了Delta Lake、 Iceberg和Hudi等熱點(diǎn)項(xiàng)目。 云原生大規(guī)模重構(gòu)開源技術(shù)棧。誕生于云原生時(shí)代的開源項(xiàng)目如雨后春筍般破土成長?！笖?shù)據(jù)集成」、「數(shù)據(jù)存儲(chǔ)」、「數(shù)據(jù)開發(fā)與管理」等領(lǐng)域都發(fā)生了非常大的項(xiàng)目更迭，新項(xiàng)目熱力值占比已經(jīng)超過了80%。

開源大數(shù)據(jù)熱力榜單TOP30

本報(bào)告從102個(gè)入圍項(xiàng)目中，評(píng)選出了TOP30熱力榜單。Kibana以989.40的熱力值高居榜首。ClickHouse（數(shù)據(jù)查詢與分析）、Airflow（數(shù)據(jù)調(diào)度與編排）、Flink（流處理）、Airbyte（數(shù)據(jù)集成）分別摘得各自細(xì)分領(lǐng)域的TOP1。Pulsar、Doris、StarRocks、DolphinScheduler、SeaTunnel等一眾中國開源項(xiàng)目也表現(xiàn)出高熱力趨勢。把解決用戶痛點(diǎn)作為核心競爭力，是這些優(yōu)秀開源項(xiàng)目的共同特征，這一特征保證它們與時(shí)俱進(jìn)，成為熱力趨勢中的“常青樹”。

感謝開源中國、InfoQ和阿里云開發(fā)者社區(qū)的戰(zhàn)略支持，感謝對(duì)本報(bào)告內(nèi)容產(chǎn)出做出重要貢獻(xiàn)的32位專家和貢獻(xiàn)者。感謝CSDN、DataFun、Segmentfault思否、開源社等社區(qū)合作。