首页 > 代码库 > 一起看起来是VDR导致的事故
一起看起来是VDR导致的事故
周六,周班人员电话通知,exchange服务器异常
因周四建了一个VDR服务器,做了一个备份任务,但周4-5的备份任务因文件太备份任务未成功,修改了一下备份时间段,准备在周未全天做备份,怀疑是因VDR备份导致的故障
远程查看,主机非常缓慢,PING网卡,时通时不通,经常卡顿;查看VDR的日志,提示有错误,备份产生快照未能删除,邮件服务器提示磁盘需要整合,点整合,到99%卡住,查资料,说正常现象,而且不能停止,如果停止,会导致数据丢失;等到周日8点,提示文件被锁定,失败
邮件服务器自动关机,查找资料,比较靠谱的是,做一个快照,删除,再整合,直接做快照,失败,提示文件锁定,按官网的提供的方法查找锁定文件,好复杂,除了邮件外,没有特别重要的应用,准备重启主机
(此时的征兆,整个Vcenter偶尔卡一下,有其他系统管理员说测试机很卡,因邮件服务器比较重要,未特别留意))
为了再靠谱一点,重启ESX主机,快照,成功;邮件关机,整合,仍然99%卡住,
准备做第二手准备,将虚机文件复制到另一个网络存储,速度比较慢
等到周一4点,整合成功,开机,服务器仍然很慢,会自动关机,外网电脑PING虚拟机断线的时候,内网电脑会卡住,但有部分虚拟机是正常的,另一台虚拟有机器也会卡,怀疑存储有问题
检查相关事件日志,发现光纤存储老是掉线,另一台做了双链路的的物理机没有问题,最终确定光纤交换机有问题,切换到另一台光纤交换机,3个存储盘只扫描到1个,把挂起的虚拟机关掉,重新扫描,终于全部识别,开机,一切恢复正常!!!
因光纤交换机故障,导致快照异常,提示磁盘需要整合,归根结底还是因存储读取异常,导致各种奇奇怪怪的事情发生
一起看起来是VDR导致的事故