0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

“跨越數(shù)據(jù)邊界:企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)構(gòu)想——2024 DolphinDB 年度峰會(huì)

愛云資訊 ? 2024-09-11 10:01 ? 次閱讀

9 月 6 日,“以實(shí)時(shí),見未來(lái)”2024 DolphinDB 年度峰會(huì)在杭州舉辦。DolphinDB 創(chuàng)始人、CEO 周小華博士為大家?guī)?lái)了主題為“跨越數(shù)據(jù)邊界:企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)構(gòu)想”的精彩演講。

wKgaombg-giAWQ1sAAFUQJzdYNk088.jpg

從最初的一站式大數(shù)據(jù)平臺(tái),到高性能時(shí)序數(shù)據(jù)庫(kù),再到如今的實(shí)時(shí)計(jì)算平臺(tái),DolphinDB 的發(fā)展之路充滿了創(chuàng)新與突破。演講中,周博士回顧了 DolphinDB 如何從時(shí)序數(shù)據(jù)庫(kù),逐步演進(jìn)為一個(gè)涵蓋多模態(tài)存儲(chǔ)、流批計(jì)算、GPU 計(jì)算、豐富的業(yè)務(wù)中間件等等的全方位基礎(chǔ)軟件的歷程。未來(lái),DolphinDB 將致力于構(gòu)建一個(gè)支持多部門協(xié)同作戰(zhàn)的企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)——Orca。這不僅僅是技術(shù)上的進(jìn)化,更是一種全新的開發(fā)模式的探索,可以為金融機(jī)構(gòu)提供更高效、敏捷的解決方案。

以下是周博士在峰會(huì)分享的全文內(nèi)容:

很高興又和大家見面了。再次歡迎各位的到來(lái)。以實(shí)時(shí),見未來(lái)。這是我們這次大會(huì)的主題。也呼應(yīng)了我們對(duì) DolphinDB 的定位。未來(lái)我們希望將 DolphinDB 打造成一個(gè)企業(yè)級(jí)的實(shí)時(shí)計(jì)算平臺(tái)。

01DolphinDB發(fā)展歷程

我記得,DolphinDB 的第一個(gè)商業(yè)化版本剛剛推出的時(shí)候。公司的主要成員都是研發(fā)崗位。我作為公司的研發(fā)兼第一個(gè)銷售,開始了我的路演生涯。那時(shí),每天的兩件核心事情:第一,為下一個(gè)版本繼續(xù)寫代碼。第二,就是不停的向不同的客戶解釋同一個(gè)問題:DolphinDB 是什么。我們最初的定位叫做一站式大數(shù)據(jù)平臺(tái)。試了一段時(shí)間之后發(fā)現(xiàn)不太靈。精準(zhǔn)的踩中了那個(gè)年份產(chǎn)品流行語(yǔ)的每一個(gè)雷點(diǎn)。一站式,大數(shù)據(jù),平臺(tái)。搜索引擎一檢索,能出來(lái)上百個(gè)同類產(chǎn)品。辨識(shí)度非常低。完全不能體現(xiàn)出我們的優(yōu)勢(shì)。

我們就琢磨了一下,要換個(gè)說法。那個(gè)時(shí)候,時(shí)序數(shù)據(jù)庫(kù)的應(yīng)用還不是特別廣泛,基本是國(guó)外的開源產(chǎn)品InfluxDB 占據(jù)市場(chǎng)。所以我們決定用國(guó)產(chǎn)高性能時(shí)序數(shù)據(jù)庫(kù)這個(gè)概念,作為DolphinDB的標(biāo)簽。20 年的時(shí)候,snowflake 在紐交所成功上市,市值超330億美元。緊接著,另一家國(guó)產(chǎn)數(shù)據(jù)庫(kù)廠商 PingCap 完成了創(chuàng)歷史的 2.7 億美元融資。一下子,國(guó)產(chǎn)數(shù)據(jù)庫(kù)這個(gè)概念被點(diǎn)燃了,我們也收獲了很多自然流量的客戶。可能到現(xiàn)在,一小部分客戶還是以一個(gè)數(shù)據(jù)庫(kù)、一個(gè)時(shí)序數(shù)據(jù)庫(kù)的視角,來(lái)理解來(lái)認(rèn)識(shí) DolphinDB。

但是時(shí)序數(shù)據(jù)庫(kù)這個(gè)定位,還是沒法講清楚 DolphinDB。這是6年前,DolphinDB的架構(gòu)圖。

wKgaombf48-AaP9KAACjAG5V0R8169.jpg

6 年前 DolphinDB 架構(gòu)圖

可以看到,DolphinDB 其實(shí)在設(shè)計(jì)之初,就已經(jīng)與傳統(tǒng)的數(shù)據(jù)庫(kù)有了很大的區(qū)別。在分布式存儲(chǔ)之上,我們開發(fā)了自己的腳本語(yǔ)言,豐富的專業(yè)函數(shù)庫(kù)。這些能力融合在一起,形成了一個(gè)非常擅長(zhǎng)實(shí)時(shí)數(shù)據(jù)分析的一站式產(chǎn)品。

這是今天 DolphinDB 的架構(gòu)圖。

wKgaombf48-AWM_tAAD1I0XyU7U525.jpg

現(xiàn)在的DolphinDB 架構(gòu)圖

DolphinDB 在每一個(gè)能力板塊都得到了增強(qiáng)。一個(gè)個(gè)新功能見證了 DolphinDB 向一個(gè)實(shí)時(shí)計(jì)算平臺(tái)不斷演進(jìn)的過程。我們逐漸完善了多模態(tài)存儲(chǔ)的概念,從單一的 olap 引擎擴(kuò)展到現(xiàn)在 olap,tsdb,pkey,imoltp,vector 等5個(gè)引擎。計(jì)算層面增加了流計(jì)算和 GPU 計(jì)算 Shark。業(yè)務(wù)中間件能力得到了極大的提升和擴(kuò)充,函數(shù)個(gè)數(shù)從 600+ 提升到了 2000+,大量的插件,計(jì)算引擎和腳本模塊從無(wú)到有覆蓋了諸多的金融業(yè)務(wù)。

02企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)構(gòu)想

近幾年,隨著 DolphinDB 在金融機(jī)構(gòu)的使用越來(lái)越深入,一個(gè)機(jī)構(gòu)擁有多個(gè) DolphinDB 集群的現(xiàn)象越來(lái)越普遍。多集群的數(shù)據(jù)訪問、計(jì)算、運(yùn)維的需求越來(lái)越迫切。與此同時(shí),用戶的計(jì)算越來(lái)越復(fù)雜,任務(wù)之間的依賴關(guān)系,事件之間的依賴關(guān)系,如何簡(jiǎn)單清晰的表達(dá),越來(lái)越成為一個(gè)瓶頸。一個(gè)企業(yè)級(jí)的實(shí)時(shí)計(jì)算平臺(tái)的呼聲日益高漲。

wKgZombg-gmASzT0AAGdUW4wCRI464.png

企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)——Orca

順便提一下,我們將企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)這個(gè)產(chǎn)品命名為 Orca 虎鯨,這是繼單集群版本 Dolphin 海豚,GPU 版本 Shark 鯊魚,復(fù)雜事件處理引擎 Octopus 章魚之后的又一個(gè)海洋家族 logo?;ⅥL力量大,速度快,聰明,特別擅長(zhǎng)家族協(xié)同作戰(zhàn),這個(gè)跟多集群多部門協(xié)同工作非常類似。我們內(nèi)部在討論命名這個(gè)產(chǎn)品的時(shí)候,說到虎鯨 orca 時(shí),全票一致通過。

大家對(duì)企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái),可能都有自己的看法。深入問題之前,我想分享一下自己樸素的理解。這也是跟我們很多用戶溝通之后形成的概念。企業(yè)級(jí)平臺(tái)首先是能夠協(xié)同支持金融機(jī)構(gòu)多部門的業(yè)務(wù),尤其在表達(dá)復(fù)雜批計(jì)算或流計(jì)算的任務(wù)或數(shù)據(jù)的依賴關(guān)系時(shí),非常簡(jiǎn)單高效。其次,數(shù)據(jù)訪問需要變得非常簡(jiǎn)單,只要給一個(gè)全局唯一的標(biāo)識(shí),就可以得到需要的數(shù)據(jù),用戶不用去操心是不是最新的版本,不用去操心存儲(chǔ)在哪個(gè)集群哪個(gè)服務(wù)器,是不是跟我的計(jì)算服務(wù)器在同一個(gè)集群,不用去操心是不是要避開使用高峰。最后,運(yùn)維監(jiān)控和資源管控也必須是企業(yè)級(jí)的,可以對(duì)整個(gè)機(jī)構(gòu)的全部集群進(jìn)行管理。

03企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)特性

首先實(shí)時(shí)計(jì)算平臺(tái)對(duì)金融業(yè)務(wù)的支持必須有足夠的深度和寬度。

這是傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)不能直接拿過來(lái)作為企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)的重要原因。金融行業(yè),尤其是跟量化投資相關(guān)的領(lǐng)域,對(duì)于數(shù)據(jù)分析的應(yīng)用、數(shù)據(jù)價(jià)值的挖掘,程度之深、維度之廣、投入之大,幾乎可以說是其他所有行業(yè)加起來(lái)的總和。我身為曾經(jīng)的從業(yè)者,現(xiàn)在的服務(wù)者,深以為然。這從側(cè)面反應(yīng)出一個(gè)問題,那就是金融領(lǐng)域的業(yè)務(wù)開發(fā),是專業(yè)性極高,非常復(fù)雜的。

wKgaombg-giAVlNSAAAswgKg7jE706.png

普通策略開發(fā)流程

以普通的策略開發(fā)為例,一個(gè)有效的策略上線,要經(jīng)歷特征工程、因子評(píng)價(jià)、策略回測(cè)、代碼轉(zhuǎn)寫、結(jié)果校驗(yàn)等多個(gè)階段,才能最終上到實(shí)盤去運(yùn)行。這個(gè)實(shí)現(xiàn)的過程,首先業(yè)務(wù)人員要具備較好的數(shù)學(xué)、統(tǒng)計(jì)、金融理論等學(xué)科知識(shí)的儲(chǔ)備。通過這些能力將業(yè)務(wù)邏輯整理出來(lái),通過計(jì)算機(jī)工程來(lái)進(jìn)行落地實(shí)現(xiàn)。而在落地的過程中,為了追求業(yè)務(wù)運(yùn)行的效率,又對(duì)業(yè)務(wù)人員的計(jì)算機(jī)工程能力有較高的要求。計(jì)算平臺(tái)如果在業(yè)務(wù)支持上沒有深度,這項(xiàng)工作的落地會(huì)非常耗時(shí)耗力,失去了平臺(tái)建設(shè)的意義,還不如讓策略研發(fā)人員自己去用Python。

wKgZombg-gmAVq2HAADRHqVLJ_I285.png

DolphinDB 對(duì)金融業(yè)務(wù)的支持

一個(gè)稍具規(guī)模的金融機(jī)構(gòu),業(yè)務(wù)線通常有很多。從權(quán)益到 FICC,從行情、投研、交易、風(fēng)控到合規(guī),每一個(gè)都需要相應(yīng)的 IT 系統(tǒng)支持。雖然,不能要求一個(gè)平臺(tái)十八般武藝樣樣精通,但至少在核心能力上有足夠?qū)挾鹊闹С?。否則各個(gè)業(yè)務(wù)部門的各個(gè)系統(tǒng)極易演變成一個(gè)個(gè)孤立的煙囪系統(tǒng)或信息孤島。

對(duì)金融業(yè)務(wù)的友好支持,一直是 DolphinDB 引以為傲的一個(gè)點(diǎn),也是 DolphinDB 區(qū)別于其它基礎(chǔ)軟件最顯著的一個(gè)點(diǎn)。我想,在座的 DolphinDB 的用戶對(duì)這一點(diǎn)也深有體會(huì)。前面初總也介紹了 DolphinDB 這幾年在不斷拓展金融業(yè)務(wù)的邊界,從最初的權(quán)益量化投研這個(gè)單一場(chǎng)景,到現(xiàn)在已經(jīng)覆蓋十余個(gè)場(chǎng)景。今后,我們會(huì)繼續(xù)堅(jiān)持這個(gè)特色,把底層技術(shù)和金融業(yè)務(wù)融合起來(lái),讓大家落地業(yè)務(wù)更快更方便。

04新型開發(fā)模式--鋸齒模型

現(xiàn)在我們具體來(lái)看一看基于 DolphinDB 的金融業(yè)務(wù)開發(fā)模式。DolphinDB 軟件用一句話概括就是 多模態(tài)存儲(chǔ) + 批計(jì)算 + 流計(jì)算 + 編程語(yǔ)言 + 業(yè)務(wù)中間件。與金融業(yè)務(wù)的融合體現(xiàn)在業(yè)務(wù)中間件這個(gè)模塊上。具體我們可以通過內(nèi)置函數(shù)庫(kù),內(nèi)置引擎,插件和模塊 4 種方式來(lái)實(shí)現(xiàn)業(yè)務(wù)中間件。

這種新的開發(fā)模式與傳統(tǒng)的煙囪模式最大的區(qū)別是不同的業(yè)務(wù)系統(tǒng)共享一個(gè)由存儲(chǔ),計(jì)算和業(yè)務(wù)中間件構(gòu)成的一個(gè)強(qiáng)大的底座。讓真正懂業(yè)務(wù)的人寫腳本或調(diào) API 進(jìn)行快速的二次開發(fā),實(shí)現(xiàn)業(yè)務(wù)快速落地。因?yàn)闃I(yè)務(wù)的開發(fā)非常敏捷,成本占比較小,整個(gè)形狀看起來(lái)像一把鋸子上的鋸齒,我們稱之為鋸齒開發(fā)模型。鋸齒開發(fā)模式可以大大提升金融業(yè)務(wù)的開發(fā)效率,降低投入成本。

wKgaombg-gmAETOMAAFKviXp7yY030.png

DolphinDB 鋸齒開發(fā)模型

談到業(yè)務(wù)中間件,不得不提一下我們客戶的一個(gè)擔(dān)憂。很多客戶表示,開發(fā)業(yè)務(wù)中間件很好,功能很強(qiáng)大,也方便業(yè)務(wù)落地,但會(huì)不會(huì)攤子鋪得太大,造成系統(tǒng)復(fù)雜度增加,最終導(dǎo)致系統(tǒng)失控?我這兒回應(yīng)一下。首先非常感謝我們的客戶對(duì)我們產(chǎn)品的關(guān)切。但是單純從技術(shù)和架構(gòu)的角度來(lái)看,業(yè)務(wù)中間件并非系統(tǒng)的核心,它只是基礎(chǔ)設(shè)施暴露的一個(gè)框架,允許橫向的去拓展業(yè)務(wù)邏輯。不論開發(fā)一個(gè)中間件,還是 100,1000個(gè)中間件,DolphinDB 的基礎(chǔ)架構(gòu)保持不變,也不會(huì)增加系統(tǒng)的復(fù)雜度。另外,業(yè)務(wù)中間件這一塊,我們也會(huì)更加開放,把標(biāo)準(zhǔn)接口暴露出來(lái),更多的中間件將交由我們的客戶或第三方去開發(fā)。

05解決數(shù)據(jù)一致性問題

企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái),第二個(gè)需要解決的核心問題,就是數(shù)據(jù)一致性的問題。

簡(jiǎn)單說,就是一個(gè)金融機(jī)構(gòu)內(nèi)部,在任何一個(gè)時(shí)間點(diǎn)上,有一個(gè)全局的唯一數(shù)據(jù)視圖。我們的核心業(yè)務(wù)部門可以在這個(gè)數(shù)據(jù)視圖上,開展行情,投研,交易,績(jī)效,風(fēng)控,合規(guī)等業(yè)務(wù)的數(shù)據(jù)寫入,查詢和計(jì)算,得到正確可靠的結(jié)果。這與資管領(lǐng)域的 IBOR 數(shù)據(jù)模型一直在倡導(dǎo)的數(shù)據(jù)一致性,或黃金單一數(shù)據(jù)源標(biāo)準(zhǔn),講的是同一個(gè)事情。

那為什么在一個(gè)金融機(jī)構(gòu)中數(shù)據(jù)的一致性這么難?為什么同一份數(shù)據(jù)非得有多個(gè)不同版本的拷貝?這兒有很多因素,有非技術(shù)的原因,譬如某些行業(yè)中的廠商不愿意開放數(shù)據(jù)接口,又譬如因?yàn)楹弦?guī)性的問題部門之間必須有防火墻隔離數(shù)據(jù)。這些非技術(shù)原因,DolphinDB 也無(wú)能為力。還有很多技術(shù)原因?qū)е碌臄?shù)據(jù)不一致的問題,這將會(huì)是我們重點(diǎn)要攻克的目標(biāo)。

wKgaombg-gmAQFXhAABAqP0YVsM408.png

針對(duì)同一個(gè)數(shù)據(jù)節(jié)點(diǎn)上的計(jì)算任務(wù)太重,不得不創(chuàng)建多個(gè)數(shù)據(jù)拷貝來(lái)分擔(dān)計(jì)算壓力的場(chǎng)景,DolphinDB 會(huì)采用存算分離的技術(shù),通過對(duì)用戶無(wú)感的緩存來(lái)解決數(shù)據(jù)不一致的問題,第一個(gè)版本會(huì)在 10 月初發(fā)布。針對(duì)異地距離太遠(yuǎn),不得不創(chuàng)建本地拷貝來(lái)提升性能的問題,可以使用 DolphinDB已發(fā)布的集群間異步數(shù)據(jù)復(fù)制的能力來(lái)解決,或者用 Raft Learner 這樣的分布式復(fù)制協(xié)議來(lái)解決。針對(duì)因跨集群,權(quán)限管理不便導(dǎo)致數(shù)據(jù)拷貝的問題,DolphinDB 會(huì)在年底的版本推出更為全面的單點(diǎn)登錄方案。針對(duì)不能跨集群計(jì)算而導(dǎo)致數(shù)據(jù)拷貝的問題,DolphinDB 正在推出跨集群的 SQL 計(jì)算能力。最后對(duì)于企業(yè)級(jí)的數(shù)據(jù)管理來(lái)說,一個(gè)全局的數(shù)據(jù)目錄至關(guān)重要,可以用全局唯一的地址來(lái)標(biāo)識(shí)每一個(gè)數(shù)據(jù)資源,便于數(shù)據(jù)訪問。DolphinDB 正在推出一個(gè)集群 + 集群內(nèi)目錄的二級(jí)數(shù)據(jù)目錄管理方法。

企業(yè)級(jí)數(shù)據(jù)的一致性建模是一個(gè)非?;A(chǔ),復(fù)雜,但又十分重要問題。這個(gè)問題搞好了,系統(tǒng)的可用性,易用性,正確性就能上來(lái)了。讓大家在用數(shù)據(jù)的時(shí)候,非常的便捷,非常的絲滑,非常的放心,真正做到只需要知道數(shù)據(jù)的唯一標(biāo)識(shí)和數(shù)據(jù)字典,就可以去操作數(shù)據(jù)了。

06解決計(jì)算依賴問題

企業(yè)級(jí)實(shí)時(shí)計(jì)算平臺(tái)另一個(gè)有挑戰(zhàn)性的問題是計(jì)算依賴的問題。

一個(gè)金融機(jī)構(gòu)中各業(yè)務(wù)部門之間,一個(gè)部門里的多個(gè)計(jì)算任務(wù)之間,一個(gè)計(jì)算任務(wù)內(nèi)的各模塊之間,都存在依賴關(guān)系。如果用一幅圖來(lái)表示,我們稱之為計(jì)算依賴圖。譬如我們需要計(jì)算一個(gè)持有各類金融資產(chǎn)的機(jī)構(gòu)的風(fēng)險(xiǎn)指標(biāo),無(wú)論是事后風(fēng)控的批處理計(jì)算,還是事中風(fēng)控的的流式計(jì)算,都會(huì)呈現(xiàn)一幅復(fù)雜的計(jì)算依賴圖。

wKgZombg-gmAFbV2AAFxuelLgXE942.png

計(jì)算依賴圖

在這個(gè)風(fēng)險(xiǎn)計(jì)算的依賴圖中,任何一個(gè)模塊,譬如行情和頭寸的變化,都會(huì)觸發(fā)后續(xù)的模型或計(jì)算指標(biāo)的變化,最終算出整個(gè)機(jī)構(gòu)的風(fēng)險(xiǎn)指標(biāo)。這種鏈?zhǔn)降膶?shí)時(shí)計(jì)算模型正是我們這個(gè)平臺(tái)名稱的由來(lái)。在業(yè)務(wù)上,對(duì)處于高度市場(chǎng)競(jìng)爭(zhēng)的金融機(jī)構(gòu)來(lái)講,企業(yè)級(jí)實(shí)時(shí)計(jì)算模式是非常有價(jià)值的,可以大大提升一家機(jī)構(gòu)對(duì)市場(chǎng)反應(yīng)的靈敏度。

DolphinDB 已經(jīng)具備非常強(qiáng)大靈活的批計(jì)算能力和流計(jì)算能力,我們暴露了大量的引擎,模塊,函數(shù)和算子給最終用戶,可以用這些底層的能力去靈活實(shí)現(xiàn)各類計(jì)算任務(wù)。但是這些底層的 API 接口并不擅長(zhǎng)表達(dá)復(fù)雜的依賴關(guān)系。我們的用戶嘗試用這些底層接口去編寫具有復(fù)雜依賴關(guān)系的任務(wù)時(shí),發(fā)現(xiàn)代碼過于復(fù)雜,并且難以后期維護(hù)和管理。如果再跟分布式計(jì)算和高可用結(jié)合起來(lái),代碼愈加晦澀難懂。

我們已經(jīng)意識(shí)到了這個(gè)問題。我們準(zhǔn)備引入一種新的聲明式的 API來(lái)描述金融業(yè)務(wù)的需求邏輯,來(lái)表達(dá)任務(wù)之間的依賴關(guān)系。后臺(tái)系統(tǒng)負(fù)責(zé)將這些 high level 的業(yè)務(wù)邏輯轉(zhuǎn)化成底層的 API 接口調(diào)用。

這種方式的好處是業(yè)務(wù)描述與具體實(shí)現(xiàn)完全分開。這樣業(yè)務(wù)人員開發(fā)會(huì)更加簡(jiǎn)單,聚焦于業(yè)務(wù)場(chǎng)景的描述,不用陷于實(shí)現(xiàn)的諸多細(xì)節(jié)之中。另一個(gè)好處是便于系統(tǒng)做優(yōu)化。譬如計(jì)算資源怎么分配,任務(wù)怎么調(diào)度安排,狀態(tài)管理怎么實(shí)現(xiàn),數(shù)據(jù)源的副本如何選擇,高可用怎么實(shí)現(xiàn),計(jì)算執(zhí)行的邏輯計(jì)劃和物理計(jì)劃的優(yōu)化,可以做很多工作。當(dāng)系統(tǒng)復(fù)雜時(shí),自動(dòng)的優(yōu)化可能比用戶人為的選擇更有效。

07運(yùn)維、監(jiān)控及資源管控的需求

當(dāng)一個(gè)企業(yè)級(jí)的實(shí)時(shí)計(jì)算平臺(tái)具備的功能有足夠的寬度和深度,能滿足各部門業(yè)務(wù)拓展的需要,具備扎實(shí)的一致性數(shù)據(jù)底座,具備描述和優(yōu)化復(fù)雜的業(yè)務(wù)依賴關(guān)系的能力,自然而然就會(huì)引出對(duì)運(yùn)維,監(jiān)控以及資源管控的強(qiáng)力需求。

DolphinDB 目前只具備單一集群的運(yùn)維能力,而事實(shí)上,已經(jīng)有數(shù)十家金融客戶在運(yùn)行著 2 個(gè)以上的 DolphinDB 集群。我們會(huì)通過幾個(gè)版本的迭代,提供多集群的運(yùn)維能力。DolphinDB 會(huì)增加一種新的節(jié)點(diǎn)類型 Master of Master (MoM)。通過 MoM 類型節(jié)點(diǎn),可以便捷的實(shí)現(xiàn)多集群運(yùn)維。

通過全局的數(shù)據(jù)目錄,計(jì)算依賴圖,Dashboard,我們可以對(duì) DolphinDB 集群以及正在運(yùn)行的計(jì)算任務(wù)提供可視化的監(jiān)控手段。用戶可以層層下鉆,去發(fā)現(xiàn)和診斷問題。

Orca 中的實(shí)時(shí)計(jì)算任務(wù)都做好了狀態(tài)管理,可以非常低的代價(jià)將任務(wù)轉(zhuǎn)移到其它節(jié)點(diǎn)。因此, Orca 的計(jì)算資源將具備較好的彈性伸縮能力。

08結(jié)語(yǔ)

打造一個(gè)企業(yè)級(jí)的實(shí)時(shí)計(jì)算平臺(tái),是一項(xiàng)艱巨的工程。我們已經(jīng)預(yù)估了工程的難度和復(fù)雜性,這將是 DolphinDB 接下來(lái)一年最核心的研發(fā)工作。我們準(zhǔn)備分 4 個(gè)版本來(lái)實(shí)現(xiàn)所有的核心功能,分別是今年的 10 月,明年的 1 月,5 月和 9 月,每個(gè)版本要發(fā)布的內(nèi)容,暫時(shí)保密。

wKgZombg-gmAf_XJAABsz0hUvBE764.png

新版本時(shí)間節(jié)點(diǎn)

做難而正確的事,這個(gè)熟悉的網(wǎng)紅金句,一般用在科技公司年會(huì)或峰會(huì)的結(jié)尾處,彰顯價(jià)值。有點(diǎn)俗套,但我覺得用在我們正在做的這件事情上,平心而論,不過分。打造一個(gè)企業(yè)級(jí)的實(shí)時(shí)計(jì)算平臺(tái),國(guó)內(nèi)國(guó)外的很多金融機(jī)構(gòu)都想做。但據(jù)我所知,至少國(guó)內(nèi)還沒有一家金融機(jī)構(gòu)擁有這樣的計(jì)算平臺(tái)。所以這個(gè)事情的難度肯定比我 2012 年寫 DolphinDB 的第一行代碼時(shí)更大,但是我們現(xiàn)在擁有一個(gè)更強(qiáng)更穩(wěn)定的團(tuán)隊(duì),而且已經(jīng)打下了 12 年的基礎(chǔ),我更有信心。退一萬(wàn)步講,這件事情即便做的不夠好,也可以為后來(lái)的研發(fā)人員提供更多寶貴的經(jīng)驗(yàn)。做好了,則可以大幅提升我們金融乃至其它行業(yè)的生產(chǎn)力。正因?yàn)檫@件事情的價(jià)值很大,即便在如此惡劣的經(jīng)濟(jì)大環(huán)境下,我們?nèi)匀辉敢夥攀忠徊プ鲆患铱苿?chuàng)企業(yè)該做的事情。正因?yàn)殡y,在這個(gè)過程中,也更希望得到大家的支持和呵護(hù)!也歡迎感興趣的朋友會(huì)后做更多技術(shù)上和業(yè)務(wù)上的探討。感謝大家的聆聽,希望大家在今天的會(huì)場(chǎng)有收獲!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 數(shù)據(jù)庫(kù)
    +關(guān)注

    關(guān)注

    7

    文章

    3734

    瀏覽量

    64171
  • 計(jì)算平臺(tái)
    +關(guān)注

    關(guān)注

    0

    文章

    50

    瀏覽量

    9603
  • Dolphin
    +關(guān)注

    關(guān)注

    0

    文章

    6

    瀏覽量

    6908
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    DolphinDB 2024年度峰會(huì)回顧之分論壇:權(quán)益類數(shù)字基建與技術(shù)創(chuàng)新

    在這個(gè)數(shù)字化時(shí)代,金融科技正以前所未有的速度發(fā)展,而權(quán)益類數(shù)字基建作為這一進(jìn)程的核心支撐,正不斷推動(dòng)著金融領(lǐng)域的創(chuàng)新與變革。DolphinDB2024年度峰會(huì)的分論壇A聚焦《權(quán)益類數(shù)字基建與技術(shù)創(chuàng)新
    的頭像 發(fā)表于 10-17 12:28 ?196次閱讀
    <b class='flag-5'>DolphinDB</b> <b class='flag-5'>2024</b><b class='flag-5'>年度</b><b class='flag-5'>峰會(huì)</b>回顧之分論壇:權(quán)益類數(shù)字基建與技術(shù)創(chuàng)新

    第六屆意法半導(dǎo)體工業(yè)峰會(huì)2024

    ~ *活動(dòng)最終解釋權(quán)歸電子發(fā)燒友所有 感興趣的抓緊時(shí)間報(bào)名啦↓:https://url.elecfans.com/u/8292791dd7 掃碼加小編企業(yè)微信領(lǐng)取福利哦小編企業(yè)微信(elecfans波妞)(加好友備注:2024S
    發(fā)表于 10-16 17:18

    得瑞領(lǐng)新亮相2024云棲大會(huì),展現(xiàn)企業(yè)級(jí)NVMe SSD創(chuàng)新實(shí)力

    2024云棲大會(huì)上,得瑞領(lǐng)新展示了企業(yè)級(jí)NVMe SSD解決方案在云計(jì)算、大數(shù)據(jù)和金融等領(lǐng)域的優(yōu)勢(shì),提升數(shù)據(jù)處理效率的同時(shí)優(yōu)化了能耗管理,
    的頭像 發(fā)表于 09-24 15:23 ?194次閱讀
    得瑞領(lǐng)新亮相<b class='flag-5'>2024</b>云棲大會(huì),展現(xiàn)<b class='flag-5'>企業(yè)級(jí)</b>NVMe SSD創(chuàng)新實(shí)力

    實(shí)時(shí),見未來(lái)——DolphinDB 2024 年度峰會(huì)圓滿舉辦

    DolphinDB 還圍繞投研、交易、FICC、數(shù)據(jù)分析、計(jì)算平臺(tái)、AI 前沿等熱門場(chǎng)景,精心設(shè)置了六大路演展臺(tái)。DolphinDB 技術(shù)工
    的頭像 發(fā)表于 09-10 14:14 ?173次閱讀
    以<b class='flag-5'>實(shí)時(shí)</b>,見未來(lái)——<b class='flag-5'>DolphinDB</b> <b class='flag-5'>2024</b> <b class='flag-5'>年度</b><b class='flag-5'>峰會(huì)</b>圓滿舉辦

    NVIDIA IGX平臺(tái)加速實(shí)時(shí)邊緣AI應(yīng)用

    實(shí)時(shí)邊緣 AI 對(duì)于醫(yī)療、工業(yè)和科學(xué)計(jì)算至關(guān)重要,因?yàn)檫@些任務(wù)關(guān)鍵型應(yīng)用需要即時(shí)數(shù)據(jù)處理、低延遲和高可靠性,以確保作出及時(shí)準(zhǔn)確的決策。這些挑戰(zhàn)不僅涉及硬件平臺(tái)上的高帶寬傳感器處理和 A
    的頭像 發(fā)表于 09-09 10:14 ?429次閱讀
    NVIDIA IGX<b class='flag-5'>平臺(tái)</b>加速<b class='flag-5'>實(shí)時(shí)</b>邊緣AI應(yīng)用

    利用NVIDIA RAPIDS加速DolphinDB Shark平臺(tái)提升計(jì)算性能

    DolphinDB 是一家高性能數(shù)據(jù)庫(kù)研發(fā)企業(yè),也是 NVIDIA 初創(chuàng)加速計(jì)劃成員,其開發(fā)的產(chǎn)品基于高性能分布式時(shí)序數(shù)據(jù)庫(kù),是支持復(fù)雜計(jì)算
    的頭像 發(fā)表于 09-09 09:57 ?344次閱讀
    利用NVIDIA RAPIDS加速<b class='flag-5'>DolphinDB</b> Shark<b class='flag-5'>平臺(tái)</b>提升<b class='flag-5'>計(jì)算</b>性能

    ODCC 2024:AI存力挑戰(zhàn),PTM商業(yè)模式助力企業(yè)級(jí)存儲(chǔ)創(chuàng)新實(shí)踐

    9月3日至4日,2024開放數(shù)據(jù)中心大會(huì)(以下簡(jiǎn)稱“ODCC”)在北京召開。江波龍企業(yè)級(jí)存儲(chǔ)事業(yè)部市場(chǎng)總監(jiān)曹潯峰受邀出席,并發(fā)表了題為《大模型AI應(yīng)用對(duì)存力挑戰(zhàn)與創(chuàng)新實(shí)踐》的精彩演講,深入剖析了當(dāng)
    的頭像 發(fā)表于 09-06 08:02 ?404次閱讀
    ODCC <b class='flag-5'>2024</b>:AI存力挑戰(zhàn),PTM商業(yè)模式助力<b class='flag-5'>企業(yè)級(jí)</b>存儲(chǔ)創(chuàng)新實(shí)踐

    2024 RISC-V 中國(guó)峰會(huì):華秋電子助力RISC-V生態(tài)!

    /2460.html 關(guān)于華秋 華秋,成立于2011年,是全球領(lǐng)先的產(chǎn)業(yè)數(shù)字化智造平臺(tái),國(guó)家級(jí)高新技術(shù)企業(yè)。以“客戶為中心,追求極致體驗(yàn)”為經(jīng)營(yíng)理念,布局了電子發(fā)燒友網(wǎng)、方案設(shè)計(jì)、元器件電商、PCB
    發(fā)表于 08-26 16:46

    兆芯攜手智云創(chuàng)新推出高性能NVMe企業(yè)級(jí)存儲(chǔ)系統(tǒng)

    面向持續(xù)增長(zhǎng)的數(shù)字化轉(zhuǎn)型與應(yīng)用創(chuàng)新發(fā)展需求,兆芯攜手智云創(chuàng)新,基于兆芯高性能自主處理器平臺(tái)成功推出多款信創(chuàng)存儲(chǔ)產(chǎn)品,包括高性能NVMe企業(yè)級(jí)存儲(chǔ)系統(tǒng)、HS6000系列企業(yè)級(jí)存儲(chǔ)系統(tǒng)和HS600系列應(yīng)用
    的頭像 發(fā)表于 04-12 14:06 ?470次閱讀

    中航光電將亮相2024線束世界年度峰會(huì)

    2024線束世界年度峰會(huì)(aac 2024)將于3月6-7日在上??鐕?guó)采購(gòu)中心舉辦。
    的頭像 發(fā)表于 02-22 13:47 ?747次閱讀

    江波龍企業(yè)級(jí)存儲(chǔ)正式量產(chǎn)一周年,交出亮眼“成績(jī)單”

    和市場(chǎng)應(yīng)用中取得了顯著成果。拓疆企業(yè)級(jí)存儲(chǔ)屢獲市場(chǎng)認(rèn)可江波龍企業(yè)級(jí)存儲(chǔ)產(chǎn)品憑借其卓越的技術(shù)實(shí)力和性能表現(xiàn),為企業(yè)級(jí)存儲(chǔ)市場(chǎng)注入新鮮活力。截至2024年2月,F(xiàn)ORE
    的頭像 發(fā)表于 02-19 12:56 ?420次閱讀
    江波龍<b class='flag-5'>企業(yè)級(jí)</b>存儲(chǔ)正式量產(chǎn)一周年,交出亮眼“成績(jī)單”

    江波龍企業(yè)級(jí)存儲(chǔ)正式量產(chǎn)一周年,交出亮眼“成績(jī)單”

    中,在技術(shù)研發(fā)和市場(chǎng)應(yīng)用中取得了顯著成果。 ? 拓疆企業(yè)級(jí)存儲(chǔ) 屢獲市場(chǎng)認(rèn)可 江波龍企業(yè)級(jí)存儲(chǔ)產(chǎn)品憑借其卓越的技術(shù)實(shí)力和性能表現(xiàn),為企業(yè)級(jí)存儲(chǔ)市場(chǎng)注入新鮮活力。截至2024年2月,F(xiàn)O
    發(fā)表于 02-06 10:35 ?241次閱讀
    江波龍<b class='flag-5'>企業(yè)級(jí)</b>存儲(chǔ)正式量產(chǎn)一周年,交出亮眼“成績(jī)單”

    阿里云推出企業(yè)級(jí)大模型RAG系統(tǒng)

    在國(guó)際AI大數(shù)據(jù)峰會(huì)上,阿里云重磅推出了企業(yè)級(jí)大模型檢索增強(qiáng)生成(RAG)解決方案。這一解決方案旨在為企業(yè)提供更強(qiáng)大、更智能的大模型應(yīng)用工具,幫助
    的頭像 發(fā)表于 02-05 09:54 ?1041次閱讀

    企業(yè)級(jí)SSD-高性能系列固態(tài)硬盤推薦

    除了傳統(tǒng)的機(jī)械盤HDD,固態(tài)硬盤SSD也開始慢慢地在企業(yè)級(jí)硬盤領(lǐng)域發(fā)揮重要的作用。由于企業(yè)級(jí)固態(tài)硬盤的價(jià)格遠(yuǎn)遠(yuǎn)高于機(jī)械硬盤,因此固態(tài)硬盤在企業(yè)級(jí)領(lǐng)域應(yīng)用還不是很廣泛,但是就發(fā)展趨勢(shì)而言,很有可能會(huì)全面代替機(jī)械硬盤。
    的頭像 發(fā)表于 01-23 16:48 ?1030次閱讀
    <b class='flag-5'>企業(yè)級(jí)</b>SSD-高性能系列固態(tài)硬盤推薦

    福利 | 大數(shù)據(jù)時(shí)代的“強(qiáng)助攻”,企業(yè)級(jí)硬盤究竟有多強(qiáng)?

    需求”。 憑借高容量、高可靠性以及低成本和低能耗等方面的優(yōu)勢(shì), 企業(yè)級(jí)機(jī)械硬盤 成為其核心的存儲(chǔ)設(shè)備。 企業(yè)級(jí)硬盤常用于大型數(shù)據(jù)中心、企業(yè)服務(wù)器等環(huán)境中,支持7x24小時(shí)不間斷開機(jī)工作
    的頭像 發(fā)表于 10-30 19:45 ?1415次閱讀
    福利 | 大<b class='flag-5'>數(shù)據(jù)</b>時(shí)代的“強(qiáng)助攻”,<b class='flag-5'>企業(yè)級(jí)</b>硬盤究竟有多強(qiáng)?