LogDevice分布式日志存儲(chǔ)系統(tǒng)

LogDevice 是 Facebook 開源的一個(gè)可擴(kuò)展，具備容錯(cuò)性的分布式日志系統(tǒng)。

LogDevice 是專為日志設(shè)計(jì)的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng)。一般的文件系統(tǒng)會(huì)將數(shù)據(jù)儲(chǔ)存為文件，LogDevice 會(huì)將數(shù)據(jù)存儲(chǔ)為日志，這些日志可被視為記錄式的，追加式的和可修剪的文件。

• 記錄式的（record-oriented）意味著數(shù)據(jù)作為不可分割的記錄寫入日志，而不是單個(gè)字節(jié)。日志實(shí)質(zhì)上是問(wèn)題的最小單元，用戶也一定是讀取整行日志。日志的存儲(chǔ)原則是按照日志序列號(hào)（LSN）來(lái)存放，且編號(hào)不保證是連續(xù)的，可能存在間隙。作者不會(huì)事先知道成功寫入后將為其日志分配什么 LSN ，這樣日志系統(tǒng)就可以優(yōu)先高寫入需求，對(duì)寫入失敗容錯(cuò)。

• 日志是追加式的（append-only），不支持修改現(xiàn)有記錄。

• 日志在被刪除之前預(yù)計(jì)會(huì)存在相對(duì)較長(zhǎng)一段時(shí)間：幾天、幾月甚至幾年。日志的主要空間回收機(jī)制是修剪（trimming），根據(jù)基于時(shí)間或基于空間的保留策略，刪除最舊的記錄，或響應(yīng)修剪日志的請(qǐng)求。

LogDevice 從頭開始設(shè)計(jì)，可提供大規(guī)模、高可靠性和高效率的多種日志類型。它還具備高度可調(diào)性，允許對(duì)每個(gè)用例進(jìn)行優(yōu)化，以便在從耐久性到效率性，一致性到可用性中進(jìn)行恰當(dāng)?shù)臋?quán)衡取舍。

?LogDevice 支持的一些 workload 示例：

• 預(yù)寫式日志

• 在分布式數(shù)據(jù)庫(kù)中記錄日志

• 事件日志

• 流處理

• ML 訓(xùn)練流程

• 復(fù)制狀態(tài)機(jī)

• 延期工作項(xiàng)目進(jìn)度