最近,LinkedIn 分享了其圖數(shù)據(jù)庫 LIquid 是如何自動(dòng)索引和實(shí)時(shí)訪問會(huì)員、學(xué)校、技能、公司、職位、工作、事件等之間的關(guān)系數(shù)據(jù)的。這個(gè)知識(shí)圖譜被稱為 LinkedIn 的“Economic Graph”,有 2700 億條邊,并且還在不斷增長,目前每秒處理 200 萬次查詢。
LinkedIn 將其“你可能認(rèn)識(shí)的人(People You May Know,PYMK)”推薦系統(tǒng)從傳統(tǒng)的 GAIA 系統(tǒng)遷移到了 LIquid。這一變化顯著改善了每秒查詢數(shù)(QPS)、延遲和 CPU 利用率。QPS 從 120 增加到 18000,延遲從超過 15 秒下降到平均 50 毫秒以下,CPU 利用率下降了 3 倍以上。LIquid 還引入了新的數(shù)據(jù)庫索引技術(shù),支持實(shí)時(shí)數(shù)據(jù)查詢,實(shí)現(xiàn)了即時(shí)推薦。
圖片來源:https://engineering.linkedin.com/blog/2023/how-liquid-connects-everything-so-our-members-can-do-anything
上圖是系統(tǒng)的架構(gòu)圖,使用了 LIquid,可以以較小的延遲和可接受的硬件成本來執(zhí)行圖查詢。通過 LIquid 對(duì) Economic Graph 的查詢生成數(shù)百個(gè)候選對(duì)象,并應(yīng)用第二個(gè)排名函數(shù)。這個(gè)排名函數(shù)使用 Venice 的機(jī)器學(xué)習(xí)功能和 Apache Pinot 的分析見解來評(píng)分并選擇最佳候選對(duì)象。過濾步驟為呈現(xiàn)和最終評(píng)分準(zhǔn)備好了這個(gè)排名列表。
LIquid 的設(shè)計(jì)使其能夠伸縮到當(dāng)前十倍的規(guī)模,可以支持 LinkedIn 9.3 億多會(huì)員的有機(jī)增長和新的語義領(lǐng)域。它提供 99.99% 的可用性,并可以自動(dòng)根據(jù)圖的大小和活動(dòng)量的增加進(jìn)行自動(dòng)伸縮。
圖數(shù)據(jù)庫使用基于 Datalog 的可組合聲明式查詢語言,幫助開發(fā)人員高效地訪問和使用數(shù)據(jù)??山M合語言能夠讓開發(fā)人員在現(xiàn)有的特性(叫作模塊)上進(jìn)行構(gòu)建,聲明式語言能夠讓開發(fā)人員專注于表達(dá)他們想要開發(fā)的東西,而 LIquid 自動(dòng)化了高效的訪問過程。開發(fā)人員因此可以快速變更數(shù)據(jù)集,大大減少了調(diào)整和更新數(shù)據(jù)庫所需的時(shí)間。
LinkedIn 工程總監(jiān) Bogdan Artintescu 描述了 LIquid 的發(fā)展路線圖:
要讓會(huì)員能夠做更多的事情,我們需要在回答會(huì)員的問題方面提供更加完善的能力。我們可以沿著兩個(gè)方向做出改進(jìn)。首先,復(fù)雜的查詢和添加到 Economic Graph 的數(shù)據(jù)源的多樣性將會(huì)驅(qū)動(dòng)新特性的開發(fā)和呈現(xiàn)。其次,豐富數(shù)據(jù)將提高推理能力。這可以通過創(chuàng)建派生數(shù)據(jù)(通過確定性算法或概率機(jī)器學(xué)習(xí)方法)或通過知識(shí)圖譜(KG)模式中更豐富的語義改進(jìn)推理來實(shí)現(xiàn)。我們計(jì)劃專注于高性能圖形計(jì)算和分析,并建立一個(gè) KG 生態(tài)系統(tǒng),讓我們的開發(fā)人員能夠進(jìn)一步增強(qiáng)會(huì)員體驗(yàn)。
LIquid 的成功激勵(lì)了 LinkedIn 的其他團(tuán)隊(duì)和微軟的姐妹團(tuán)隊(duì)將它作為圖數(shù)據(jù)索引。
-
數(shù)據(jù)庫
+關(guān)注
關(guān)注
7文章
3739瀏覽量
64182 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8328瀏覽量
132219 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1199瀏覽量
24595
原文標(biāo)題:LinkedIn 圖數(shù)據(jù)庫 LIquid:為 9.3 億會(huì)員提供實(shí)時(shí)數(shù)據(jù)訪問
文章出處:【微信號(hào):AI前線,微信公眾號(hào):AI前線】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論