淺談存儲(chǔ)跨中心雙活的雙中心間通訊不可控問(wèn)題

　　無(wú)論什么雙活，只要上升到了跨中心的層面，就必然需要跨中心的鏈路作為雙活的通訊介質(zhì)。通常企業(yè)做雙活，都是自己購(gòu)買(mǎi)波分設(shè)備，然后租用運(yùn)營(yíng)商的裸光纖，作為通訊的鏈路。由于跨中心的雙活控制器間的通訊是實(shí)時(shí)的，完整寫(xiě)周期必須兩個(gè)站點(diǎn)的控制器都完成寫(xiě)操作。

　　雙中心間通訊不可控問(wèn)題：一是鏈路穩(wěn)定狀況不可控;二是IO延時(shí)指標(biāo)不可控。這些不可控因素非常容易造成災(zāi)難性影響，輕則導(dǎo)致數(shù)據(jù)庫(kù)讀寫(xiě)性能災(zāi)難，重則導(dǎo)致數(shù)據(jù)庫(kù)節(jié)點(diǎn)直接處于僵死狀態(tài)。另外，鏈路的不穩(wěn)定會(huì)導(dǎo)致存儲(chǔ)鏈路頻繁切換，甚至?xí)?dǎo)致集群仲裁頻繁發(fā)生，這對(duì)于業(yè)務(wù)連續(xù)性更是一個(gè)災(zāi)難。

　　無(wú)論什么雙活，只要上升到了跨中心的層面，就必然需要跨中心的鏈路作為雙活的通訊介質(zhì)。這個(gè)通訊不但要求高可用性和冗余度，而且又對(duì)通訊質(zhì)量要求又很高。并且鏈路所帶來(lái)的風(fēng)險(xiǎn)隱患又是巨大的，中斷或者響應(yīng)時(shí)間高都將可能導(dǎo)致雙活集群發(fā)生腦裂仲裁，出于保護(hù)的目的，將IO HANG住一段時(shí)間，將所有沒(méi)有落入磁盤(pán)的數(shù)據(jù)全部刷盤(pán)，才繼續(xù)在某個(gè)存活的站點(diǎn)繼續(xù)恢復(fù)讀寫(xiě)訪問(wèn)。所以阻礙存儲(chǔ)跨中心雙活技術(shù)發(fā)展的最直接的因素就是雙中心間鏈路不可控。尤其對(duì)風(fēng)險(xiǎn)、穩(wěn)定性要求苛刻的金融機(jī)構(gòu)來(lái)說(shuō)，更加不敢輕易做跨中心的雙活。所以鏈路成為了存儲(chǔ)雙活的最難點(diǎn)，如何既提高鏈路穩(wěn)定性，又保證鏈路的性能，還又有合理的故障保障機(jī)制，是每一個(gè)存儲(chǔ)廠商和企業(yè)用戶都要深思的關(guān)鍵點(diǎn)。

　　在這里我也不刻意去解決該難題，而是提出些許我的想法。

　　1.鏈路冗余度

　　通常我們企業(yè)做雙活，都是自己購(gòu)買(mǎi)波分設(shè)備，然后租用運(yùn)營(yíng)商的裸光纖，作為通訊的鏈路。所以波分設(shè)備需要冗余，裸光纖也要冗余，波分設(shè)備好辦，購(gòu)買(mǎi)即可。裸光纖通常租用兩家或兩家以上的運(yùn)營(yíng)商線路，比如電信和聯(lián)通，電信的裸光纖也需要冗余，聯(lián)通的裸光纖也需要冗余，防止單根裸光纖意外割斷或者損壞。然而單家運(yùn)營(yíng)商的裸纖都通常在一個(gè)弱點(diǎn)井中，一起意外割斷的事情常有，所以需要兩家運(yùn)營(yíng)商互相冗余。這兩家運(yùn)營(yíng)商裸纖的路線還不能一致，弱電井需要在不同的街道，并且分別走不同的路線到達(dá)目的地。所以可以看到，由于我們是租用，根本不可能要求運(yùn)營(yíng)商完全達(dá)到你的要求，最好的方式只能自建，成本太高，好像根本不現(xiàn)實(shí)。

　　示意圖：

　　2.鏈路質(zhì)量

　　鏈路質(zhì)量包括光衰、抖動(dòng)和帶寬等。一方面，光衰和抖動(dòng)無(wú)法控制，只能靠波分設(shè)備去探測(cè)，發(fā)現(xiàn)光衰和抖動(dòng)，立即中斷該鏈路，切向備鏈路，這對(duì)后端的SAN網(wǎng)絡(luò)無(wú)感知，但對(duì)波分設(shè)備的要求很高，需要購(gòu)買(mǎi)和建設(shè)時(shí)注意。至于帶寬，可以監(jiān)測(cè)，達(dá)到帶寬預(yù)警閾值后，可向運(yùn)營(yíng)商申請(qǐng)?zhí)嵘龓?。另一方面，?duì)于鏈路質(zhì)量的監(jiān)測(cè)機(jī)制一定要在建設(shè)存儲(chǔ)雙活或者其他雙活之前建立，由于是運(yùn)營(yíng)商的鏈路，鏈路經(jīng)過(guò)了多少中繼、多少設(shè)備我們是不得知的，我們只能在波分端建立有效的監(jiān)測(cè)機(jī)制，有些波分設(shè)備也有專(zhuān)門(mén)的監(jiān)控軟件支持。而且也要要求和運(yùn)營(yíng)商建立監(jiān)測(cè)聯(lián)動(dòng)機(jī)制，運(yùn)營(yíng)商監(jiān)測(cè)到鏈路質(zhì)量（是質(zhì)量而不是中斷）有問(wèn)題，也需要第一時(shí)間告知，做出合理的決策。

　　3.存儲(chǔ)雙活控制器的機(jī)制　

　由于跨中心的雙活控制器間的通訊是實(shí)時(shí)的，完整寫(xiě)周期必須兩個(gè)站點(diǎn)的控制器都完成寫(xiě)操作。他們間的通訊又是靠鏈路完成的，鏈路質(zhì)量和鏈路中斷都將導(dǎo)致性能波動(dòng)甚至超時(shí)，對(duì)于中斷，控制器的處理機(jī)制都還不錯(cuò)，對(duì)于質(zhì)量，控制器的處理機(jī)制往往不夠，需要長(zhǎng)時(shí)間的嘗試，才會(huì)做出合理的決策，甚至沒(méi)有決策，導(dǎo)致上層數(shù)據(jù)庫(kù)或者應(yīng)用磁盤(pán)IO超時(shí)，而異常掛起甚至宕機(jī)。所以這個(gè)機(jī)制是決定好的雙活體系的重要因素，有時(shí)候?qū)幙闪⒓捶艞壱贿?，也要保住RTO，但目前為止我還未發(fā)現(xiàn)雙活存儲(chǔ)控制器有好的鏈路質(zhì)量處理機(jī)制。知道的也請(qǐng)分享。

　　4.雙活存儲(chǔ)上端的OS、應(yīng)用和數(shù)據(jù)庫(kù)合理的超時(shí)參數(shù)

　　OS識(shí)別磁盤(pán)、應(yīng)用訪問(wèn)文件系統(tǒng)、數(shù)據(jù)庫(kù)訪問(wèn)裸設(shè)備或者文件系統(tǒng)，存儲(chǔ)IO HANG住，將導(dǎo)致層層超時(shí)，尤其是數(shù)據(jù)庫(kù)，超時(shí)將徹底中斷宕機(jī)，甚至出現(xiàn)邏輯損壞等莫名奇妙的問(wèn)題。有時(shí)候超時(shí)響應(yīng)慢是可以等，而不是中止，所以需要OS、數(shù)據(jù)庫(kù)層進(jìn)行合理的超時(shí)聯(lián)動(dòng)設(shè)置。

　　5.盡量避免跨站點(diǎn)讀，減少跨站點(diǎn)寫(xiě)頻率

　　沒(méi)有跨站點(diǎn)讀，就意味著本地可讀，對(duì)鏈路質(zhì)量沒(méi)有要求;減少跨站點(diǎn)寫(xiě)頻率，就意味著，性能影響弱化，被控制器、數(shù)據(jù)庫(kù)、操作系統(tǒng)等層層緩存暫存的寫(xiě)數(shù)據(jù)，會(huì)減少跨站點(diǎn)寫(xiě)的次數(shù)，進(jìn)一步弱化鏈路質(zhì)量所會(huì)帶來(lái)的影響。