网络参考资料

https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/

http://agapple.iteye.com/blog/1111377

http://zookeeper.apache.org/doc/r3.3.2/zookeeperOver.html

Zookeeper

 Google Chubby的开源实现

用于协调分布式系统上的各种服务, 例如确认消息是否准确到达, 防止单点失效, 处理负载均衡等

应用场景: Hbase, 实现Namenode自动切换

工作原理: 领导者, 跟随者以及选举过程

下载:

http://www.apache.org/dyn/closer.cgi/zookeeper/
wget http://mirrors.cnnic.cn/apache/zookeeper/zookeeper-3.4.6/zookeeper-3.4.6.tar.gz

 安装: 单机模式

单机安装非常简单, 只要获取到Zookeeper的压缩包并解压到某个目录如: /home/hadoop/zookeeper-3.2.2下, Zookeeper的启动脚本在bin目录下, Linux下的启动脚本是zkServer.sh

 配置文件

cp conf/zoo_sample.cfg conf/zoo.cfg        #将默认的zoo_sample.cfg  复制一个为zoo.cfg


tickTime = 2000
dataDir = /home/hadoop/zookeeper-3.4.6/build
clientPort = 2181
dataLogDir=/home/hadoop/zookeeper-3.4.6/logs

#tickTime: 这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔, 也就是每个tickTime时间就会发送一个心跳
#dataDir: 顾名思义就是Zookeeper保存数据的目录, 默认情况下, Zookeeper将写数据的日志也保存在这个目录里
#clientPort: 这个端口就是客户端连接Zookeeper服务器的端口, Zookeeper会监听这个端口, 接受客户端的访问请求

启动

zkServer.sh start

安装: 集群模式

环境变量

JAVA_HOME=/usr/java/jdk1.7.0_67
ZOOKEEPER_INSTALL=/home/hadoop/zookeeper-3.4.6
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_INSTALL/bin

配置文件

cp conf/zoo_sample.cfg conf/zoo.cfg        #将默认的zoo_sample.cfg  复制一个为zoo.cfg

-----------------------------------------
tickTime = 2000
dataDir = /home/hadoop/zookeeper-3.4.6/build
clientPort = 2181
dataLogDir=/home/hadoop/zookeeper-3.4.6/logs

initLimit = 5
syncLimit = 2
server.1 = 192.168.188.22:2888:3888
server.2 = 192.168.188.23:2888:3888
-----------------------------------------

mkdir /home/hadoop/zookeeper-3.4.6/{build,logs}

initLimit : 这个配置项是用来配置Zookeeper接受客户端(这里所说的客户端不是用户连接 Zookeeper服务器的客户端, 而是Zookeeper服务器集群中连接到Leader的Follower服务器) 初始化连接时最长能忍受多少个心跳时间间隔数. 当已经超过10个心跳的时间 (也就是tickTime) 长度后Zookeeper服务器还没有收到客户端的返回信息, 那么表明这个客户端连接失败. 总的时间长度就是5*2000 = 10 秒

syncLimit : 这个配置项表示Leader与Follow之间发送信息, 请求和应答时间长度, 最长不能超过多少个tickTime的时间长度, 总的时间长度就是2*2000 = 4秒

server.A = B:C:D  :  其中A是一个数字, 表示这个是第几号服务器 ; B是这个服务器的IP地址 ; C表示的是这个服务器与集群中的Leader服务器交换信息的端口 ; D表示的是万一集群中的Leader服务器挂了, 需要一个端口来重新进行选举, 选出一个新的Leader, 而这个端口就是用来执行选举时服务器相互通信的端口. 如果是伪集群的配置方式, 由于B都是一样, 所以不同的Zookeeper实例通信端口号不能一样, 所以要给它们分配不同的端口号.

除 了需改zoo.cfg配置文件, 集群模式下还要配置一个文件myid , 这个文件在dataDir目录下 , 这个文件里面就有一个数据就是A的值 , Zookeeper启动时会读取这个文件 , 拿到里面的数据与zoo.cfg里面的配置信息比较从而判断到底那个是server

 分发配置

[hadoop@hadoop1 ~]$ scp -r zookeeper-3.4.6 hadoop2:~
[hadoop@hadoop1 ~]$ scp -r zookeeper-3.4.6 hadoop3:~

配置myid

[hadoop@hadoop1 ~]$ echo 1 > /home/hadoop/zookeeper-3.4.6/build/myid
[hadoop@hadoop2 ~]$ echo 2 > /home/hadoop/zookeeper-3.4.6/build/myid
[hadoop@hadoop3 ~]$ echo 3 > /home/hadoop/zookeeper-3.4.6/build/myid

 启动Zookeeper并查看

各节点启动:  zkServer.sh start


[hadoop@hadoop1 ~]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

[hadoop@hadoop2 ~]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader

[hadoop@hadoop3 zookeeper-3.4.6]$ zkServer.sh status
JMX enabled by default
Using config: /home/hadoop/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

本文出自 “晓风残月” 博客，请务必保留此出处http://kinda22.blog.51cto.com/2969503/1582577

Zookeeper部署