略談kafka的存儲(chǔ)機(jī)制

一、kafka的存儲(chǔ)機(jī)制

kafka通過(guò)topic來(lái)分主題存放數(shù)據(jù)，主題內(nèi)有分區(qū)，分區(qū)可以有多個(gè)副本，分區(qū)的內(nèi)部還細(xì)分為若干個(gè)segment。

所謂的分區(qū)其實(shí)就是在kafka對(duì)應(yīng)存儲(chǔ)目錄下創(chuàng)建的文件夾，文件夾的名字是主題名加上分區(qū)編號(hào)，編號(hào)從0開(kāi)始。

1、segment

所謂的segment其實(shí)就是在分區(qū)對(duì)應(yīng)的文件夾下產(chǎn)生的文件。

一個(gè)分區(qū)會(huì)被劃分成大小相等的若干segment，這樣一方面保證了分區(qū)的數(shù)據(jù)被劃分到多個(gè)文件中保證不會(huì)產(chǎn)生體積過(guò)大的文件；另一方面可以基于這些segment文件進(jìn)行歷史數(shù)據(jù)的刪除，提高效率。

一個(gè)segment又由一個(gè).log和一個(gè).index文件組成。

1．.log

.log文件為數(shù)據(jù)文件用來(lái)存放數(shù)據(jù)分段數(shù)據(jù)。

2．.index

.index為索引文件保存對(duì)對(duì)應(yīng)的.log文件的索引信息。

在.index文件中，保存了對(duì)對(duì)應(yīng).log文件的索引信息，通過(guò)查找.index文件可以獲知每個(gè)存儲(chǔ)在當(dāng)前segment中的offset在.log文件中的開(kāi)始位置，而每條日志有其固定格式，保存了包括offset編號(hào)、日志長(zhǎng)度、key的長(zhǎng)度等相關(guān)信息，通過(guò)這個(gè)固定格式中的數(shù)據(jù)可以確定出當(dāng)前offset的結(jié)束位置，從而對(duì)數(shù)據(jù)進(jìn)行讀取。

3．命名規(guī)則

這兩個(gè)文件的命名規(guī)則為：

partition全局的第一個(gè)segment從0開(kāi)始，后續(xù)每個(gè)segment文件名為上一個(gè)segment文件最后一條消息的offset值，數(shù)值大小為64位，20位數(shù)字字符長(zhǎng)度，沒(méi)有數(shù)字用0填充。

2、讀取數(shù)據(jù)

開(kāi)始讀取指定分區(qū)中某個(gè)offset對(duì)應(yīng)的數(shù)據(jù)時(shí)，先根據(jù)offset和當(dāng)前分區(qū)的所有segment的名稱(chēng)做比較，確定出數(shù)據(jù)在哪個(gè)segment中，再查找該segment的索引文件，確定當(dāng)前offset在數(shù)據(jù)文件中的開(kāi)始位置，最后從該位置開(kāi)始讀取數(shù)據(jù)文件，在根據(jù)數(shù)據(jù)格式判斷結(jié)果，獲取完整數(shù)據(jù)。

二、可靠性保證

1、AR

在Kafka中維護(hù)了一個(gè)AR列表，包括所有的分區(qū)的副本。AR又分為ISR和OSR。

AR = ISR + OSR。

AR、ISR、OSR、LEO、HW這些信息都被保存在Zookeeper中。

1．ISR

ISR中的副本都要同步leader中的數(shù)據(jù)，只有都同步完成了數(shù)據(jù)才認(rèn)為是成功提交了，成功提交之后才能供外界訪問(wèn)。

在這個(gè)同步的過(guò)程中，數(shù)據(jù)即使已經(jīng)寫(xiě)入也不能被外界訪問(wèn)，這個(gè)過(guò)程是通過(guò)LEO-HW機(jī)制來(lái)實(shí)現(xiàn)的。

2．OSR

OSR內(nèi)的副本是否同步了leader的數(shù)據(jù)，不影響數(shù)據(jù)的提交，OSR內(nèi)的follower盡力的去同步leader，可能數(shù)據(jù)版本會(huì)落后。

最開(kāi)始所有的副本都在ISR中，在kafka工作的過(guò)程中，如果某個(gè)副本同步速度慢于replica.lag.time.max.ms指定的閾值，則被踢出ISR存入OSR，如果后續(xù)速度恢復(fù)可以回到ISR中。

3．LEO

LogEndOffset：分區(qū)的最新的數(shù)據(jù)的offset，當(dāng)數(shù)據(jù)寫(xiě)入leader后，LEO就立即執(zhí)行該最新數(shù)據(jù)。相當(dāng)于最新數(shù)據(jù)標(biāo)識(shí)位。

4．HW

HighWatermark：只有寫(xiě)入的數(shù)據(jù)被同步到所有的ISR中的副本后，數(shù)據(jù)才認(rèn)為已提交，HW更新到該位置，HW之前的數(shù)據(jù)才可以被消費(fèi)者訪問(wèn)，保證沒(méi)有同步完成的數(shù)據(jù)不會(huì)被消費(fèi)者訪問(wèn)到。相當(dāng)于所有副本同步數(shù)據(jù)標(biāo)識(shí)位。

在leader宕機(jī)后，只能從ISR列表中選取新的leader，無(wú)論ISR中哪個(gè)副本被選為新的leader，它都知道HW之前的數(shù)據(jù)，可以保證在切換了leader后，消費(fèi)者可以繼續(xù)看到HW之前已經(jīng)提交的數(shù)據(jù)。

所以LEO代表已經(jīng)寫(xiě)入的最新數(shù)據(jù)位置，而HW表示已經(jīng)同步完成的數(shù)據(jù)，只有HW之前的數(shù)據(jù)才能被外界訪問(wèn)。

5．HW截?cái)鄼C(jī)制

如果leader宕機(jī)，選出了新的leader，而新的leader并不能保證已經(jīng)完全同步了之前l(fā)eader的所有數(shù)據(jù)，只能保證HW之前的數(shù)據(jù)是同步過(guò)的，此時(shí)所有的follower都要將數(shù)據(jù)截?cái)嗟紿W的位置，再和新的leader同步數(shù)據(jù)，來(lái)保證數(shù)據(jù)一致。

當(dāng)宕機(jī)的leader恢復(fù)，發(fā)現(xiàn)新的leader中的數(shù)據(jù)和自己持有的數(shù)據(jù)不一致，此時(shí)宕機(jī)的leader會(huì)將自己的數(shù)據(jù)截?cái)嗟藉礄C(jī)之前的hw位置，然后同步新leader的數(shù)據(jù)。宕機(jī)的leader活過(guò)來(lái)也像follower一樣同步數(shù)據(jù)，來(lái)保證數(shù)據(jù)的一致性。

2、生產(chǎn)者可靠性級(jí)別

通過(guò)以上的講解，已經(jīng)可以保證kafka集群內(nèi)部的可靠性，但是在生產(chǎn)者向kafka集群發(fā)送時(shí)，數(shù)據(jù)經(jīng)過(guò)網(wǎng)絡(luò)傳輸，也是不可靠的，可能因?yàn)榫W(wǎng)絡(luò)延遲、閃斷等原因造成數(shù)據(jù)的丟失。

kafka為生產(chǎn)者提供了如下的三種可靠性級(jí)別，通過(guò)不同策略保證不同的可靠性保障。

其實(shí)此策略配置的就是leader將成功接收消息信息響應(yīng)給客戶(hù)端的時(shí)機(jī)。

通過(guò)request.required.acks參數(shù)配置：

1：生產(chǎn)者發(fā)送數(shù)據(jù)給leader，leader收到數(shù)據(jù)后發(fā)送成功信息，生產(chǎn)者收到后認(rèn)為發(fā)送數(shù)據(jù)成功，如果一直收不到成功消息，則生產(chǎn)者認(rèn)為發(fā)送數(shù)據(jù)失敗會(huì)自動(dòng)重發(fā)數(shù)據(jù)。

當(dāng)leader宕機(jī)時(shí)，可能丟失數(shù)據(jù)。

0：生產(chǎn)者不停向leader發(fā)送數(shù)據(jù)，而不需要leader反饋成功消息。

這種模式效率最高，可靠性最低?？赡茉诎l(fā)送過(guò)程中丟失數(shù)據(jù)，也可能在leader宕機(jī)時(shí)丟失數(shù)據(jù)。

-1：生產(chǎn)者發(fā)送數(shù)據(jù)給leader，leader收到數(shù)據(jù)后要等到ISR列表中的所有副本都同步數(shù)據(jù)完成后，才向生產(chǎn)者發(fā)送成功消息，如果一只收不到成功消息，則認(rèn)為發(fā)送數(shù)據(jù)失敗會(huì)自動(dòng)重發(fā)數(shù)據(jù)。

這種模式下可靠性很高，但是當(dāng)ISR列表中只剩下leader時(shí)，當(dāng)leader宕機(jī)讓然有可能丟數(shù)據(jù)。

此時(shí)可以配置min.insync.replicas指定要求觀察ISR中至少要有指定數(shù)量的副本，默認(rèn)該值為1，需要改為大于等于2的值

這樣當(dāng)生產(chǎn)者發(fā)送數(shù)據(jù)給leader但是發(fā)現(xiàn)ISR中只有l(wèi)eader自己時(shí)，會(huì)收到異常表明數(shù)據(jù)寫(xiě)入失敗，此時(shí)無(wú)法寫(xiě)入數(shù)據(jù)，保證了數(shù)據(jù)絕對(duì)不丟。

雖然不丟但是可能會(huì)產(chǎn)生冗余數(shù)據(jù)，例如生產(chǎn)者發(fā)送數(shù)據(jù)給leader，leader同步數(shù)據(jù)給ISR中的follower，同步到一半leader宕機(jī)，此時(shí)選出新的leader，可能具有部分此次提交的數(shù)據(jù)，而生產(chǎn)者收到失敗消息重發(fā)數(shù)據(jù)，新的leader接受數(shù)據(jù)則數(shù)據(jù)重復(fù)了。

3、leader選舉

當(dāng)leader宕機(jī)時(shí)會(huì)選擇ISR中的一個(gè)follower成為新的leader，如果ISR中的所有副本都宕機(jī)，怎么辦？

有如下配置可以解決此問(wèn)題：

unclean.leader.election.enable=false

策略1：必須等待ISR列表中的副本活過(guò)來(lái)才選擇其成為leader繼續(xù)工作。

unclean.leader.election.enable=true

策略2：選擇任何一個(gè)活過(guò)來(lái)的副本，成為leader繼續(xù)工作，此follower可能不在ISR中。

策略1，可靠性有保證，但是可用性低，只有最后掛了leader活過(guò)來(lái)kafka才能恢復(fù)。

策略2，可用性高，可靠性沒(méi)有保證，任何一個(gè)副本活過(guò)來(lái)就可以繼續(xù)工作，但是有可能存在數(shù)據(jù)不一致的情況。

4、kafka可靠性的保證

At most once：消息可能會(huì)丟，但絕不會(huì)重復(fù)傳輸。

At least once：消息絕不會(huì)丟，但可能會(huì)重復(fù)傳輸。

Exactly once：每條消息肯定會(huì)被傳輸一次且僅傳輸一次。

kafka最多保證At least once，可以保證不丟，但是可能會(huì)重復(fù)，為了解決重復(fù)需要引入唯一標(biāo)識(shí)和去重機(jī)制，kafka提供了GUID實(shí)現(xiàn)了唯一標(biāo)識(shí)，但是并沒(méi)有提供自帶的去重機(jī)制，需要開(kāi)發(fā)人員基于業(yè)務(wù)規(guī)則自己去重。