首页 > 代码库 > 用Shell脚本过滤Hadoop中不能访问的节点

用Shell脚本过滤Hadoop中不能访问的节点

最近使用的一个集群hp1,因为维护集群的人不给力,节点总是过一段时间就掉一两个。今天发现重启hadoop时,HDFS已经进入保护模式了。

决定把slaves节点中的无法访问的节点全部过滤掉,所以写了一个小脚本,在这里记录一下,以后方便直接拿来使用。

PS:用C Shell编写的

代码如下:

#!/bin/csh
if ( $#argv < 1 ) then
	echo "Usage: $0 host_file"
	exit 1
endif
set NODES = `cat $1`
foreach NODE ( $NODES )
	ping -q -c 1 $NODE > /dev/null
	if ( $? == 0 )	then
		echo $NODE
	endif
end

顺便附带一个ssh检查的脚本:

#!/bin/csh
set nodes = `cat slaves`
foreach i ( $nodes )
	echo $i
	ssh $i exit
end


用Shell脚本过滤Hadoop中不能访问的节点