首页 > 代码库 > Hadoop初学指南(10)--ZooKeeper的集群安装和操作
Hadoop初学指南(10)--ZooKeeper的集群安装和操作
本文简单介绍了ZooKeeper的基本知识。
(1)概述
①什么是ZooKeeper?
Zookeeper 是 Google 的 Chubby一个开源的实现,是 Hadoop 的分布式协调服务
它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等
②Zookeeper的角色
③为什么使用Zookeeper?
大部分分布式应用需要一个主控、协调器或控制器来管理物理分布的子进程(如资源、任务分配等)
目前,大部分应用需要开发私有的协调程序,缺乏一个通用的机制
协调程序的反复编写浪费,且难以形成通用、伸缩性好的协调器
ZooKeeper:提供通用的分布式锁服务,用以协调分布式应用
④Zookeeper的特性
Zookeeper是简单的
Zookeeper是富有表现力的
Zookeeper具有高可用性
Zookeeper采用松耦合交互方式
Zookeeper是一个资源库
(2)安装
①解压
命令:tar -zvxf zookeeper-3.4.5.tar.gz
②为了以后操作方便重命名解压后文件夹
命令:mv zookeeper-3.4.5 zk
③设置环境变量
命令:vim /etc/profile
增加ZOOKEEPER_HOME并修改PATH
修改完成之后重新加载配置:
source /etc/profile
④修改zookeeper配置文件
修改在zk/conf下zoo_sample.cfg为zoo.cfg,并编辑该文件
其中dataDir表示集群的数据,server.后面的编号表示zookeeper集群主机的编号,hadoop0是我的主机名,2888与3888是端口,2888是zookeeper角色的端口,3888是zookeeper传输数据的端口。
⑤创建文件夹/usr/local/zk/data,并在文件夹中创建myid文件,内容为当前主机对应的zookeeper集群编号,例如当前主机是hadoop0,myid文件内容如下:
⑥同理修改其他主机上的文件,也可以用scp进行复制。
⑦启动zookeeper
进入bin目录下执行启动命令,命令如下:
zkServer.sh start
此时,hadoop0节点的zookeeper集群启动,而后可以看一下zookeeper.out文件,内容如下:
可以看到集群已经识别myid文件,而由于其他节点的集群没有启动所以会报错,此时只需要把其他节点中的集群启动即可。
(3)Zookeeper的角色
领导者(leader),负责进行投票的发起和决议,更新系统状态
学习者(learner),包括跟随者(follower)和观察者(observer),follower用于接受客户端请求并想客户端返回结果,在选主过程中参与投票
Observer可以接受客户端连接,将写请求转发给leader,但observer不参加投票过程,只同步leader的状态,observer的目的是为了扩展系统,提高读取速度
客户端(client),请求发起方
启动集群后,可以使用zkServer.sh status来查看角色
(3)zookeeper的shell基本操作
使用zkCli.sh可以进入zookeeper的shell操作端
键入help(任意不支持的命令即可)可以查看支持的命令:
使用ls /查看目录,同时也可以看到zookeeper会自动累加操作命令数:
创建节点并查看:
此时,如果用其他节点登录,可以看到数据已经同步到集群中了。
本文出自 “Xlows” 博客,请务必保留此出处http://xlows.blog.51cto.com/5380484/1433662