首页 > 代码库 > 双十一前4小时,CentOS 6.5服务器启动错误排查

双十一前4小时,CentOS 6.5服务器启动错误排查

11月10日晚上8点多,眼看要到双十一了。。。
但我要说的这段经历却和双十一毫无关系,哈哈。这天准备向CentOS6.5服务器的svn上传一些文件,结果开机启动时,却出现了下面的界面:

这是肿么回事?根据屏幕的提示,先使用root账号登录到系统,然后使用fsck命令手工检测
#cd /tmp/.ICE-unix         #目录下只有一个X0文件
#fsck X0 或者fsck.ext3 -y X0
显示都是
fsck.ext2(3): No such device or address while trying to open X0
Possibly non-existent or swap device?


接下来尝试直接删除提示中给出的.ICE-unix等目录

提示是Read-only file system

看来是不行,于是google之,看到好几种可能的办法:
1.找到chattr,lsattr命令,执行仍然不行

2.执行
#chmod o-t .ICE-unix
不行,提示是Read-only file system

到这里觉得有点诧异,以root身份都不能执行上面几个命令,很让人抓狂啊
于是我随便进入一个目录
#cd /home
#mkdir test
结果出现提示,不能创建test目录!
然后又试了一下创建文件,修改文件等操作,发现不能创建目录,文件,甚至不能修改文件.不知道是什么原因,难道是交换分区出问题了?
执行df -h,感觉确实是不太对劲


用了上面3种方法全都不行,感觉要彻底崩溃了,难道要重装系统才行吗?上面有非常多的资料备份,以及辛辛苦苦搭建起来的tomcat,mongo,redis,mq等超多东东啊.

这时重新翻看之前的搜索结果,看到http://www.ha97.com/5428.html这篇文章,里面提到linux系统非正常死机,目录和文件成为只读之后的解决办法,用root账号执行fsck.ext3 -y /dev/vda3

突然脑子一闪,刚才虽然执行了fsck这个命令,但是仅针对/tmp下一个具体文件,并没有对整个设备手动恢复.于是执行
#fsck.ext3 -y /dev/sda5
接着就看到屏幕出了一堆提示,显示在修复系统,幸好我的机器只是几百G的硬盘,不到3分钟就修复完毕.

接下来reboot,一切都恢复正常!

差点就重新低格一遍这块硬盘,修复系统之后的喜悦心情简直是无以复加,然后想起来,出现这种目录文件不能读写的情况,应该是自己的误操作.在第一遍启动centos系统时,好半天也没有完全启动起来,于是就手动按了PC上的reset按钮进行重启,结果就出现了开头的问题,瞬间感觉linux系统好脆弱啊.

抬头一看时间,是晚上22点多,2个多小时解决问题!然后直接进入双十一模式!

双十一前4小时,CentOS 6.5服务器启动错误排查