服務器數(shù)據(jù)恢復-EMC存儲RAID5崩潰的數(shù)據(jù)恢復案例

服務器數(shù)據(jù)恢復環(huán)境：

北京某單位有一臺EMC某型號存儲，有一組由10塊STAT硬盤組建的RAID5陣列，另外2塊磁盤作為熱備盤使用。RAID5陣列上層只劃分了一個LUN，分配給SUN小機使用，上層文件系統(tǒng)為ZFS。

服務器故障：

存儲RAID5陣列中有2塊硬盤損壞離線，只有一塊熱備盤激活，RAID5陣列癱瘓，上層LUN無法正常使用。

服務器數(shù)據(jù)恢復過程：

1、將故障存儲中所有磁盤編號后取出，由硬件工程師對所有磁盤做硬件故障檢測，經(jīng)過檢測沒有發(fā)現(xiàn)有硬盤存在物理故障和壞道。

北亞企安數(shù)據(jù)恢復——ZFS數(shù)據(jù)恢復

磁盤沒有發(fā)現(xiàn)物理故障和壞道，初步推斷是某些磁盤讀寫不穩(wěn)定導致故障發(fā)生。EMC控制器的磁盤檢測策略非常嚴格，一旦檢測到某些磁盤性能不穩(wěn)定，EMC控制器極有可能會判定這些磁盤為壞盤，將認定為壞盤的磁盤踢出RAID陣列。一旦RAID陣列中掉線的盤到達到該RAID級別允許掉盤的極限值，就會導致RAID陣列崩潰不可用，由于EMC存儲的LUN都是基于RAID陣列的，RAID崩潰會導致基于該RAID陣列的LUN不可用。

2、將故障存儲中所有磁盤以只讀方式做全盤鏡像備份，鏡像完成后按照編號將所有磁盤還原到原存儲中，后續(xù)的數(shù)據(jù)分析和數(shù)據(jù)恢復操作都基于鏡像文件進行，避免對原始磁盤數(shù)據(jù)造成二次破壞。鏡像完成后發(fā)現(xiàn)源磁盤的扇區(qū)大小為520字節(jié)，使用工具將鏡像數(shù)據(jù)做520字節(jié)To512字節(jié)的轉換。

3、基于鏡像文件分析底層RAID5陣列的相關信息。經(jīng)過分析發(fā)現(xiàn)發(fā)現(xiàn)其中有2塊盤(8號盤和11號盤)完全沒有數(shù)據(jù)，從管理后臺上顯示這2塊盤是Hot Spare，8號盤替換了離線的5號盤。雖然8號盤作為熱備盤成功激活，但該RAID級別為RAID5，因為有2塊盤離線，所以該RAID5陣列還缺失一塊硬盤，所以數(shù)據(jù)沒有同步到8號盤中。繼續(xù)分析其他10塊硬盤，分析數(shù)據(jù)在硬盤中的分布規(guī)律、RAID條帶的大小、盤序等相關信息。

4、根據(jù)上面步驟分析出來的RAID信息虛擬重構原RAID。由于整個RAID陣列中一共掉線兩塊盤，需要分析這兩塊盤掉線的順序。經(jīng)過分析發(fā)現(xiàn)有一塊盤在同一個條帶上的數(shù)據(jù)和其他盤明顯不一樣，因此初步判斷此盤可能是先掉線的。使用北亞企安自主開發(fā)的RAID校驗程序對這個條帶做校驗后確認先掉線的那塊硬盤。

5、由于LUN是基于RAID陣列的，完成原RAID陣列的重組后分析LUN在RAID陣列中的分配信息和LUN分配的數(shù)據(jù)塊MAP。根據(jù)LUN相關信息解釋LUN的數(shù)據(jù)MAP并導出LUN的所有數(shù)據(jù)。

6、使用北亞企安自主開發(fā)的ZFS文件系統(tǒng)解釋程序對生成的LUN做文件系統(tǒng)解釋，在解釋某些文件系統(tǒng)元文件的過程中程序報錯。開發(fā)工程師對程序做debug調試并分析程序報錯原因，經(jīng)過數(shù)小時的分析與調試，發(fā)現(xiàn)無法解釋文件系統(tǒng)的的原因是存儲癱瘓導致ZFS文件系統(tǒng)中某些元文件損壞。人工修復這些損壞的元文件。

7、修復完成后解析ZFS文件系統(tǒng)，解析所有文件節(jié)點及目錄結構。

北亞企安數(shù)據(jù)恢復——ZFS數(shù)據(jù)恢復

8、由用戶方工程師對恢復出來的數(shù)據(jù)進行驗證，驗證過程中沒有發(fā)現(xiàn)問題，確認恢復數(shù)據(jù)完整有效。本次數(shù)據(jù)恢復工作完成。

北亞企安數(shù)據(jù)恢復——ZFS數(shù)據(jù)恢復

北亞企安數(shù)據(jù)恢復——ZFS數(shù)據(jù)恢復

審核編輯：湯梓紅