首页 > 代码库 > 用Shell脚本过滤Hadoop中不能访问的节点
用Shell脚本过滤Hadoop中不能访问的节点
最近使用的一个集群hp1,因为维护集群的人不给力,节点总是过一段时间就掉一两个。今天发现重启hadoop时,HDFS已经进入保护模式了。
决定把slaves节点中的无法访问的节点全部过滤掉,所以写了一个小脚本,在这里记录一下,以后方便直接拿来使用。
PS:用C Shell编写的
代码如下:
#!/bin/csh if ( $#argv < 1 ) then echo "Usage: $0 host_file" exit 1 endif set NODES = `cat $1` foreach NODE ( $NODES ) ping -q -c 1 $NODE > /dev/null if ( $? == 0 ) then echo $NODE endif end
顺便附带一个ssh检查的脚本:
#!/bin/csh set nodes = `cat slaves` foreach i ( $nodes ) echo $i ssh $i exit end
用Shell脚本过滤Hadoop中不能访问的节点
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。