分析型數(shù)據(jù)庫如何創(chuàng)新

在群雄逐鹿的 OLAP 數(shù)據(jù)庫市場，開源引擎 ClickHouse 憑借其出色的性能成為公認(rèn)的黑馬。官方稱其性能超過了市場上同類的列式數(shù)據(jù)庫，每臺服務(wù)器每秒可處理數(shù)億到超過十億行、體積達(dá)數(shù)十 GB 的數(shù)據(jù)，運(yùn)行速度比傳統(tǒng)數(shù)據(jù)庫快 100-1000 倍。
高效運(yùn)行速度的另一面，還隱含著成本、性能、容量等諸多問題，比如不支持事務(wù)，不能夠保證數(shù)據(jù)的一致性和完整性，不存在隔離級別，不支持高并發(fā)等等。這導(dǎo)致 2016 年開源的 ClickHouse 難以應(yīng)對當(dāng)下更加復(fù)雜，數(shù)據(jù)規(guī)模更加巨大的場景需求。

比如在字節(jié)內(nèi)部，從 2018 年引入 ClickHouse，因為業(yè)務(wù)的發(fā)展，要服務(wù)于大量的用戶，數(shù)據(jù)規(guī)模變得越來越巨大。由于 ClickHouse 是 Shared-Nothing 的架構(gòu)，每個節(jié)點(diǎn)是獨(dú)立的，不會共享存儲資源等，因而計算資源和存儲資源是緊耦合的。這導(dǎo)致擴(kuò)縮容成本變高，且會涉及到數(shù)據(jù)遷移，不能實時按需的擴(kuò)縮容，從而導(dǎo)致資源的浪費(fèi)。此外，ClickHouse 的緊耦合的架構(gòu)會導(dǎo)致多租戶在共享集群相互影響，另外由于讀寫在一個節(jié)點(diǎn)完成，導(dǎo)致讀寫受到影響，最后 ClickHouse 在復(fù)雜查詢上例如多表 join 等的性能支持并不是很好。
字節(jié) ClickHouse 使用情況 為了解決這些痛點(diǎn)，字節(jié)在 ClickHouse 架構(gòu)基礎(chǔ)上進(jìn)行了升級，于 2020 年在內(nèi)部啟動了 ByConity 項目，并于 2023 年 1 月發(fā)布 Beta 版本，將于 5 月底正式對外開源。

ByConity 是一個開源的云原生數(shù)據(jù)倉庫，采用存儲 - 計算分離的架構(gòu)。它支持多個關(guān)鍵功能特性，如存儲計算分離、彈性擴(kuò)縮容、租戶資源隔離和數(shù)據(jù)讀寫的強(qiáng)一致性等。通過利用主流的 OLAP 引擎優(yōu)化，如列存儲、向量化執(zhí)行、MPP 執(zhí)行、查詢優(yōu)化等，ByConity 可以提供優(yōu)異的讀寫性能。

ByConity 的架構(gòu)分為三層，如下圖所示，服務(wù)接入層包含負(fù)責(zé)客戶端數(shù)據(jù)和服務(wù)的接入，也就是 ByConity Server；計算組為 ByConity 的計算資源層，每個 Virtual Warehouse 是一個計算組；數(shù)據(jù)存儲層由分布式文件系統(tǒng)，如 HDFS、S3 等構(gòu)成。
ByConity 三層技術(shù)架構(gòu)圖 除了兼?zhèn)?ClickHouse 的一些優(yōu)點(diǎn)外，ByConity 還實現(xiàn)了了諸多新的功能。

ByConity 的一個重要優(yōu)勢是存儲 - 計算分離的架構(gòu)，它實現(xiàn)了讀寫分離和彈性擴(kuò)縮容。它的優(yōu)勢是高彈性和高擴(kuò)展性。這種架構(gòu)確保讀操作和寫操作不會相互影響，使得計算資源和存儲資源解耦，兩者可以按需的且獨(dú)立的擴(kuò)縮容，確保資源高效利用。此外，ByConity 支持多租戶資源隔離功能，保證不同租戶之間不會互相影響，使 ByConity 適用于多租戶環(huán)境，如圖 2。
ByConity 存儲 - 計算分離，實現(xiàn)多租戶隔離 ByConity 支持?彈性的擴(kuò)縮容，能夠?qū)崟r、按需的對計算資源進(jìn)行擴(kuò)縮容，保證資源的高效利用。并且它能對不同的租戶進(jìn)行?資源的隔離，租戶之間不會受到相互影響。其另一個重要功能是?數(shù)據(jù)讀寫的強(qiáng)一致性?，確保數(shù)據(jù)始終是最新的，讀寫之間沒有不一致。此外，ByConity 采用了主流的 OLAP 引擎優(yōu)化，例如列存、向量化執(zhí)行、MPP 執(zhí)行、查詢優(yōu)化等，來保證提供了?優(yōu)異的讀寫性能。

之所以采用開源的模式，ByConity 項目組是希望能夠把項目回饋給社區(qū)，同時也希望通過社區(qū)的力量加強(qiáng)和完善 ByConity。接下來，ByConity 在 2023 開源社區(qū)發(fā)展規(guī)劃中，希望增強(qiáng) ByConity 的功能、性能和易用性，重點(diǎn)關(guān)注開發(fā)新的存儲引擎、支持更多的數(shù)據(jù)類型和與其他數(shù)據(jù)管理工具的集成領(lǐng)域。

責(zé)任編輯：彭菁