AI時代數(shù)據(jù)存儲管理新挑戰(zhàn)分論壇圓滿舉辦
?12月16日，AI時代數(shù)據(jù)存儲管理新挑戰(zhàn)分論壇在無錫成功召開，會上來自螞蟻集團(tuán)、SphereEx、平凱星辰、九章云極DataCanvas、StreamNative、騰訊云和華為的技術(shù)專家，共同分享了AI時代下數(shù)據(jù)庫技術(shù)最新發(fā)展與實踐。
螞蟻集團(tuán)開發(fā)工程師、HoraeDB 核心開發(fā)者 曹瑞秋
曹瑞秋在《時序數(shù)據(jù)庫HoraeDB 技術(shù)揭秘》的主題分享中表示，近期已將CeresDB內(nèi)核捐獻(xiàn)到Apache基金會，捐獻(xiàn)的內(nèi)核即為HoraeDB（CeresDB現(xiàn)已更名為HoraeDB）。目前主流的InfluxDB、Prometheus、VictoriaMetrics等時序數(shù)據(jù)庫仍存在時間線高基數(shù)問題和社區(qū)分布式方案不夠完備等問題。而HoraeDB采用倒排索引支持多維查詢，時間線少，適配度高的場景，倒排索引能直接全量存放在內(nèi)存中。HoraeDB的高基數(shù)解決方案的核心是摒棄時間線概念，去除對倒排索引的強(qiáng)依賴，針對不同tag靈活選擇索引。此外，曹瑞秋還詳細(xì)介紹了HoraeDB分布式查詢優(yōu)化、Memtable/SST read等優(yōu)化設(shè)計思路。
?SphereEx創(chuàng)始人 張亮
張亮發(fā)表了《數(shù)據(jù)庫增強(qiáng)計算引擎：數(shù)據(jù)庫架構(gòu)革新新思路》主題演講。他認(rèn)為在海量數(shù)據(jù)急速擴(kuò)張，OLTP、OLAP、HTAP等多種數(shù)據(jù)應(yīng)用場景，數(shù)據(jù)庫技術(shù)棧碎片化等情勢下，數(shù)據(jù)系統(tǒng)應(yīng)對上應(yīng)用層零入侵，數(shù)據(jù)庫本身工具化，因此中間加速引擎則具有創(chuàng)新性、可插拔、平臺化。SphereEx公司是由Apache頂級開源項目ShardingSphere核心團(tuán)隊創(chuàng)立，致力于為企業(yè)提供面向新一代數(shù)據(jù)架構(gòu)的數(shù)據(jù)庫增強(qiáng)引擎（DBPlusEngine），提供企業(yè)級、云原生的輕量級分布式數(shù)據(jù)庫解決方案、數(shù)據(jù)安全合規(guī)及信創(chuàng)平滑替換產(chǎn)品和服務(wù)，解決了企業(yè)海量數(shù)據(jù)的存儲與計算、數(shù)據(jù)安全合規(guī)等問題，幫助企業(yè)實現(xiàn)數(shù)據(jù)架構(gòu)的轉(zhuǎn)型升級。
?平凱星辰TiDB Serverless生態(tài)負(fù)責(zé)人 張翔
張翔發(fā)表了《TiDB Serverless：構(gòu)建一個云原生的Serverless數(shù)據(jù)庫》主題演講。他首先介紹了TiDB 是開源、兼容MySQL、具有分布式，可保障業(yè)務(wù)連續(xù)性的真正的內(nèi)核級HTAP分布式混合負(fù)載數(shù)據(jù)處理平臺，在此之后的TiDB Serverless是在去年由PingCAP推出的一款云原生的Serverless數(shù)據(jù)服務(wù)演進(jìn)而來，已經(jīng)由經(jīng)典分布式HTAP改造為下一代Cloud Native架構(gòu)。因此可以實現(xiàn)如支持多租戶的統(tǒng)一接入網(wǎng)關(guān)、TiFlash計算存儲分離、計算資源池化、TiKV Keyspace，以及Scale to Zero、實時喚醒、自動擴(kuò)縮容等按需分配，可以利用云上的海量資源、高達(dá)11個9的持久性、微服務(wù)化，更高效地使用云上資源，降低爆炸半徑等真正的原生性能，以此實現(xiàn)全量數(shù)據(jù)的彈性，以及簡單易用，降低AI時代的數(shù)據(jù)成本。
?九章云極DataCanvas資深架構(gòu)師 孟圣智
孟圣智發(fā)表了《DingoDB：融合SQL與向量，構(gòu)建功能完整的RAG數(shù)據(jù)庫底座》主題演講，他表示AI時代數(shù)據(jù)需要從更多存儲變?yōu)楦讬z索，九章云極DataCanvas作為AI基礎(chǔ)軟件供應(yīng)商，自主研發(fā)的DingoDB多模向量數(shù)據(jù)庫，實現(xiàn)結(jié)構(gòu)化與非結(jié)構(gòu)化的聯(lián)合存儲、分析和查詢。DingoDB既是關(guān)系數(shù)據(jù)庫，支持SQL、支持事務(wù)，符合用戶使用關(guān)系型數(shù)據(jù)庫的習(xí)慣。同時，DingoDB也是向量數(shù)據(jù)庫，支持Python和Java SDK，可以像使用大多數(shù)純向量數(shù)據(jù)庫一樣，無縫對接LLM App，可以實現(xiàn)企業(yè)知識庫、大模型記憶體、實時決策指標(biāo)計算能力、非結(jié)構(gòu)化數(shù)據(jù)的檢索、Vector Ocean數(shù)據(jù)支撐平臺、結(jié)構(gòu)化與非結(jié)構(gòu)化的融合分析等多種知識檢索應(yīng)用場景。
?StreamNative聯(lián)合創(chuàng)始人、Apache Pulsar PMC Member 翟佳
翟佳發(fā)表了《云原生批流融合數(shù)據(jù)平臺助力AI/LLM的實時數(shù)據(jù)處理》主題演講，他表示Pulsar從捐贈給Apache軟件基金會后的幾年里一直在高速增長。Pulsar采用存算分離云原生架構(gòu)、支持多種語言，批和流統(tǒng)一視圖，可以與Flink、Spark等批流一體計算引擎有效地結(jié)合，方便管理實時和歷史數(shù)據(jù)，確保數(shù)據(jù)新鮮度，將批流一體的數(shù)據(jù)與向量數(shù)據(jù)庫結(jié)合，確保大模型的數(shù)據(jù)顯現(xiàn)度和準(zhǔn)確性，以提高模型準(zhǔn)確性，降低模型幻覺。
?騰訊開源專家 耿航
耿航發(fā)表了《騰訊云TDSQL平滑去O的機(jī)遇挑戰(zhàn)與開源實踐》主題演講，他表示核心數(shù)據(jù)庫平滑替換，需要從內(nèi)核、性能、使用習(xí)慣三個層面全面兼容，并且是一個完整的系統(tǒng)工程。騰訊云分布式數(shù)據(jù)庫TDSQL PG開源社區(qū)版OpenTenBase是完整去O和兼容O的數(shù)據(jù)庫內(nèi)核，以內(nèi)核兼容為基礎(chǔ)，打造從驅(qū)動、工具、內(nèi)核三個層面的甲骨文兼容能力，填補基于Postgres的開源分布式HTAP系統(tǒng)的空白。OpenTenBase已吸引超過10個國家和地區(qū)的開發(fā)者關(guān)注，希望通過騰訊及上下游伙伴的技術(shù)投入，打造立足中國，面向全球的開放數(shù)字基礎(chǔ)設(shè)施數(shù)據(jù)底座。
?華為openGauss內(nèi)核技術(shù)專家 胡正超
胡正超發(fā)表了《openGauss內(nèi)核架構(gòu)雙引擎，驅(qū)動大規(guī)模數(shù)據(jù)處理》主題演講，并分享了openGauss 5.1版本持續(xù)在高性能、高可用、高安全、高智能內(nèi)核上增強(qiáng)能力，同時在DataPod和DataKit持續(xù)創(chuàng)新，目標(biāo)是實現(xiàn)更高效的大規(guī)模數(shù)據(jù)處理，更豐富的場景支持，更便捷的使用體驗。其中DataPod在5.1版本實現(xiàn)了一些新功能，提升了系統(tǒng)的易用性、可用性和性能。DataKit為openGauss的數(shù)據(jù)全生命周期生產(chǎn)力工具，當(dāng)前持續(xù)在平臺架構(gòu)和功能插件上構(gòu)建新功能，如增加告警中心、數(shù)據(jù)遷移、開發(fā)、運維等插件。
近幾年數(shù)據(jù)庫百花齊放，快速發(fā)展。生成式AI爆發(fā)之后，AI大模型加速普及應(yīng)用，模型訓(xùn)練推理的準(zhǔn)確性，對系統(tǒng)數(shù)據(jù)與信息的存儲、檢索、計算提出了新挑戰(zhàn)。從本次分論壇嘉賓分享的干貨內(nèi)容，我們可以看到，針對AI的數(shù)據(jù)系統(tǒng)可能正在走向殊途同歸的技術(shù)路徑，那就是分布式原生、實時、向量化（時序也可看作一種向量），另外存算分離、并行架構(gòu)，以滿足AI對數(shù)據(jù)的性能、成本等要求。
點擊“閱讀原文”訪問AtomGit
下載經(jīng)嘉賓授權(quán)的演講材料
原文標(biāo)題：AI時代數(shù)據(jù)存儲管理新挑戰(zhàn)分論壇圓滿舉辦
文章出處：【微信公眾號：開放原子】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
OpenHarmony
+關(guān)注
關(guān)注
25文章
3611瀏覽量
15962 -
開放原子基金會
+關(guān)注
關(guān)注
1文章
479瀏覽量
5087
原文標(biāo)題：AI時代數(shù)據(jù)存儲管理新挑戰(zhàn)分論壇圓滿舉辦
文章出處：【微信號：開放原子，微信公眾號：開放原子】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
OpenHarmony城市技術(shù)論壇第8期——廈門站圓滿舉辦
2024年4月20日上午，OpenHarmony城市技術(shù)論壇（以下簡稱“技術(shù)論壇”）第8期——廈門站于廈門大學(xué)翔安校區(qū)信息學(xué)院圓滿舉辦。本次技術(shù)論壇
軟通動力成功舉辦“從數(shù)據(jù)到AI，重構(gòu)生產(chǎn)力”分論壇
3月14日-15日，“華為中國合作伙伴大會2024”在深圳盛大召開。本屆大會不僅匯集了頂尖的思想領(lǐng)袖、商業(yè)精英、技術(shù)專家及優(yōu)秀企業(yè)代表，還帶來了多樣化的主題峰會、分論壇及圓桌討論等。其中，由軟通動力主辦的“從數(shù)據(jù)到
OpenHarmony城市技術(shù)論壇——第6期（武漢站）圓滿舉辦
）于華中科技大學(xué)梧桐語問學(xué)中心明德報告廳圓滿舉辦。本次技術(shù)論壇從“終端操作系統(tǒng)十大技術(shù)挑戰(zhàn)”出發(fā)，將主題聚焦在“大模型時代的系統(tǒng)軟件”，從學(xué)
OpenHarmony城市技術(shù)論壇——第6期（武漢站）圓滿舉辦
2023年12月23日下午，OpenHarmony城市技術(shù)論壇（以下簡稱“技術(shù)論壇”）——第6期（武漢站）于華中科技大學(xué)梧桐語問學(xué)中心明德報告廳圓滿舉辦。本次技術(shù)
AI 時代的前端開發(fā)分論壇圓滿舉辦
的“AI 時代的前端開發(fā)分論壇”成功舉行。 開放原子開源基金會 TOC 導(dǎo)師、資深 Web 開發(fā)專家 賀師俊 賀師俊 擔(dān)任論壇出品人，并與來
信息與數(shù)據(jù)安全前沿分論壇圓滿舉辦
12 月 17 日，作為 2023 開放原子開發(fā)者大會 15 場平行分論壇中唯一的一場數(shù)據(jù)安全論壇，“信息與數(shù)據(jù)安全前沿論道”
AI 時代數(shù)據(jù)存儲管理新挑戰(zhàn)分論壇圓滿舉辦
12 月 16 日，AI 時代數(shù)據(jù)存儲管理新挑戰(zhàn)分論壇
開源治理與開發(fā)者運營分論壇圓滿舉辦
日益受到廣泛關(guān)注。 為深度探討全球開源治理所面對的挑戰(zhàn)，12 月 16 日，2023 開放原子開發(fā)者大會【開源治理與開發(fā)者運營論壇】成功舉辦，論壇聚焦開源項目
誠邀報名 | AI 向量、云原生、開源，今年的數(shù)據(jù)庫熱點技術(shù)都在這里
2023 開放原子開發(fā)者大會 OPEN ATOM DEVELOPERS CONFERENCE AI 時代數(shù)據(jù)庫存儲管理新挑戰(zhàn)分
信息與數(shù)據(jù)安全前沿分論壇圓滿舉辦
12月17日，作為2023開放原子開發(fā)者大會15場平行分論壇中唯一的一場數(shù)據(jù)安全論壇，“信息與數(shù)據(jù)安全前沿論道”
AI時代的前端開發(fā)分論壇圓滿舉辦
的前端開發(fā)分論壇”成功舉行。 開放原子開源基金會TOC導(dǎo)師、資深Web開發(fā)專家 賀師俊 賀師俊 擔(dān)任論壇出品人，并與來自一線企業(yè)的前端開發(fā)者共同探討和分享在AI
開源工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)分論壇圓滿舉辦
，“開源工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)”分論壇在無錫成功召開。論壇以工業(yè)物聯(lián)網(wǎng)大數(shù)據(jù)全生命周期管理為線索，邀請
誠邀報名 | AI 向量、云原生、開源，今年的數(shù)據(jù)庫熱點技術(shù)都在這里
2023開放原子開發(fā)者大會 . OPENATOM DEVELOPERS CONFERENCE AI時代數(shù)據(jù)庫存儲管理新挑戰(zhàn)分
OpenHarmony技術(shù)大會 | OS內(nèi)核及視窗分論壇圓滿舉辦：挖掘潛力，擁抱挑戰(zhàn)
的主題為“技術(shù)筑生態(tài)，智聯(lián)贏未來”，旨在通過技術(shù)手段，為全場景、全連接、全智能時代、基于開源的方式，搭建一個智能終端設(shè)備操作系統(tǒng)的框架和平臺，促進(jìn)萬物互聯(lián)產(chǎn)業(yè)的繁榮發(fā)展。 作為本屆大會最為引人矚目的分論壇之一，OS內(nèi)核及視窗
OpenHarmony技術(shù)大會 | OS安全分論壇圓滿舉辦：構(gòu)建系統(tǒng)安全“堡壘”
量，如何確保系統(tǒng)安全、防止數(shù)據(jù)被竊取，已成為全球用戶關(guān)注的焦點。在這樣的背景下，2023年11月4日舉辦的第二屆開放原子開源基金會OpenHarmony技術(shù)大會OS安全分論壇上，眾多專
工商網(wǎng)監(jiān)
評論