服务器存储数据恢复环境:
一台存储中有一组由12块SAS硬盘组建的raid6磁盘阵列,划分了1个卷,由数台Vmware ESXI主机共享存储。卷中存放了大量的Windows系统虚拟机。这些虚拟机系统盘大小一致,数据盘大小不确定,数据盘都是精简模式。

服务器存储故障:
机房异常断电导致存储瘫痪,加电后存储依然不可用。

服务器存储数据恢复过程:
1、将故障存储的所有磁盘编号后取出,将所有磁盘和备份数据的目标磁盘连入到一台安装Windows Server系统的服务器上,将故障存储中的磁盘都设为脱机(只读)状态。
通过软件查看的连接状态(HD1-HD12为目标备份磁盘,HD13-HD24为故障存储中的磁盘):
服务器数据恢复—磁盘坏扇区导致raid6阵列崩溃的数据恢复案例-LMLPHP
2、在底层读取HD13-HD24扇区,发现了大量坏扇区。初步判断这种硬盘的读取机制与常规硬盘不一样。更换操作主机、HBA卡、扩展柜甚至将操作系统更换为Linux,均呈现相同问题。与用户方工程师沟通,用户方工程师回应此控制器对磁盘没有特殊要求。
3、对硬盘损坏扇区的分布规律进行检测后发现如下规则:
a、损坏扇区分布以256个扇区为单位。
b、除损坏扇区片断的起始位置不固定外,后面的损坏扇区都是以2816个扇区为间隔。
所有磁盘的损坏扇区分布如下表(只列出前3个损坏扇区):
服务器数据恢复—磁盘坏扇区导致raid6阵列崩溃的数据恢复案例-LMLPHP
北亚企安数据恢复工程师编写了一个小程序,绕过每个磁盘的损坏扇区,镜像完所有故障存储中磁盘的数据。后续的数据分析和数据恢复操作都基于镜像文件进行。
4、基于镜像文件仔细分析损坏扇区后发现损坏扇区呈规律性出现,具有以下规律:
a、每段损坏扇区区域大小总是256扇区。
b、损坏扇区分布位置有一定规律性,每跳过11个256扇区遇到一个坏的256扇区。
c、损坏扇区的位置存在于RAID的P校验或Q校验区域。
d、所有硬盘中只有10号盘有一个自然坏道。
5、分析HD13、HD23、HD24的0-2扇区,按RAID6计算,将分区大小除以9,与物理硬盘大小以及控制器中保留的RAID信息区域大小吻合。根据物理硬盘底层表现,分区表大小为512字节,后面无8字节校验,大量的0扇区也无8字节校验。故原存储并未启用DA技术(520字节扇区)。
分区大小如下图(GPT分区表项底层表现,涂色部分表示分区大小,单位512字节扇区,64bit):
服务器数据恢复—磁盘坏扇区导致raid6阵列崩溃的数据恢复案例-LMLPHP
6、存储被分成一个大的卷,分配给几台ESXI做共享存储,因此卷的文件系统是VMFS。而VMFS卷中又存放了大量的Windows系统虚拟机。Windows系统虚拟机中使用的是NTFS文件系统,可以根据NTFS中的MFT的顺序分析出RAID条带的大小以及RAID的走向。
在给所有磁盘做镜像过程中,发现最后一块硬盘中并没有像其他硬盘中一样有大量的坏道,其中有大量未损坏扇区,这些未损坏扇区大多是全0扇区,因此可以判断这块硬盘是热备盘。
7、根据分析获取到的RAID结构信息重组RAID,重组后已经能看到目录结构,但是不确定是否为最新状态。随机检测几个虚拟机发现有部分虚拟机数据异常,初步判断RAID中存在掉线的磁盘。依次将RAID中的每一块磁盘踢掉,然后查看刚才数据异常的地方,未果。仔细分析底层数据发现问题不是出在RAID层面,而是出在VMFS层面上。如果VMFS大于16TB会存在一些其他的记录信息,因此在组建RAID的时候需要跳过这些记录信息。跳过这些记录信息后再次重组RAID,查看之前数据异常的地方就可以对上了。针对其中的一台虚拟机做验证:将所有磁盘加入RIAD中后,这台虚拟机是可以启动的,但在缺盘的情况下启动就有问题,因此判断整个RAID处在不缺盘的状态为最佳。
8、验证重要的虚拟机,发现大部分虚拟机都可以开机进入登陆界面。只有部分虚拟机开机蓝屏或开机检测磁盘,但是通过光盘修复之后都可以启动。
服务器数据恢复—磁盘坏扇区导致raid6阵列崩溃的数据恢复案例-LMLPHP
9、验证数据库
验证重要虚拟机中的数据库,发现数据库都正常。其中有一个数据库,据用户描述是缺少部分数据,但是经过仔细核对后发现这些数据在数据库中本来就不存在。通过查询master数据库中的系统视图。
查询结果如下图:
服务器数据恢复—磁盘坏扇区导致raid6阵列崩溃的数据恢复案例-LMLPHP
10、由于虚拟机的数量很多,如果验证每台虚拟机所需时间很长,因此对整个VMFS卷做检测。在检测VMFS卷的过程中发现有部分虚拟机或虚拟机的文件被破坏。
服务器数据恢复—磁盘坏扇区导致raid6阵列崩溃的数据恢复案例-LMLPHP
11、北亚企安数据恢复工程师向客户描述了目前的恢复情况。用户对几台重要的虚拟机进行验证后,认可恢复的数据结果。于是着手恢复所有数据。
使用目标磁盘在一台存储上组建了一组RAID6阵列,将重组的RAID数据镜像到目标阵列上,然后解析整个VMFS文件系统。
12、将恢复好的VMFS卷连接到一台ESXI主机上,尝试将其挂载到的ESXI环境中。但是由于ESXI版本不同或VMFS本身有损坏,挂载不成功。尝试使用ESXI的命令挂载也不成功,于是放弃挂载VMFS卷。
13、安排工程师将那台新组建raid6阵列的存储带到用户方现场,依次导出VMFS卷中的虚拟机。
a、将存储上的数据通过HBA卡连接到用户的VCenter服务器上。
b、在VCenter服务器安装“UFS”工具,然后使用“UFS”工具解释VMFS卷。
c、使用“UFS”工具将VMFS卷中的虚拟机导入到VCenter服务器上。
d、使用VCenter的上传功能将虚拟机上传到ESXI的存储中。
e、将上传完的虚拟机添加到清单,开机验证。
f、如果有虚拟机开机有问题,则尝试使用命令行模式修复,或者重建虚拟机并将恢复的虚拟机磁盘(既VMDK文件)拷贝过去。
g、由于部分虚拟机的数据盘很大而数据很少。针对这种情况可以直接导出数据,然后新建一个虚拟磁盘,将导出的数据拷贝至新建的虚拟磁盘中即可。
通过上述方式将恢复的虚拟机逐台恢复到用户的ESXI环境中。

08-31 10:27