首页 > 代码库 > 用自己的话理解理解zookeeper(自认为纠正了网上的一些说法)

用自己的话理解理解zookeeper(自认为纠正了网上的一些说法)


1,先看看官方的定义吧:

ZooKeeper is a distributed, open-source coordination service for distributed applications. It exposes a simple set of primitives that distributed applications can build upon to implement higher level services for synchronization, configuration maintenance, and groups and naming. It is designed to be easy to program to, and uses a data model styled after the familiar directory tree structure of file systems. 


zookeeper 是一个分布式应用程序提供的分布式的开源的协调服务。他提供了一个简单的原语集,通过这些原语集可以实现更高层次的同步服务,配置管理,集群管理和命名服务。他被设计为易于编程和以一种和文件系统非常类似的数据模型来实现编程。


通过定义可以了解到zookeeper都有哪些作用,无非就是一句话:可以为分布式应用程序提供同步服务,命名服务等功能。但是了解到这里立即就会产生疑问----还有好多开源项目都可以为分布式应用程序提供这些服务啊,为什么要用zookeeper呢?


举两个例子:

可以用redis实现分布式锁啊,或是不用redis随便用个什么其他的什么东西都可以作为分布式应用程序的锁啊;

配置管理好像就更扯了,我随便可以把配置放到什么地方只要让分布式应用去读就可以了。

其实,zookeeper仅仅是只能提供这些功能也确实就没什么存在的必要了,关键是他能够提高可用的高一致性的这些服务。


提到高可用的这几个字,这时也许我们就会想到采用集群的方式(现在服务器部署的主流方式)。那么仅仅是因为这个redis同样也可以达到这个标准。但是zookeeper还有高一致性的特性。

总体上来讲,zookeeper作为分布式应用的协调服务拥有一下特性:

高可用性,高一致性,高性能  (是不是对于分布式理论中的cap呢  Consistency Availability Partition Tolerance 其实cap理论也是受到争议的


下面主要说一说zookeeper的高一致性

Zookeeper使用了一种称为Zab(Zookeeper Atomic Broadcast)的协议作为其一致性复制的核心,Zookeeper的实现是有Client、Server构成,Server端提供了一个一致性复制、存储服务。Server端更多的是存储一些数据的状态,而非数据内容本身,因此Zookeeper可以作为一个小文件系统使用。数据状态的存储量相对不大,完全可以全部加载到内存中,从而极大地消除了通信延迟。 

对于分布式系统的一致性问题,其实也就是在分布式环境下更新操作的顺序问题。对应于学术术语也就是全序(她是集合当中的一个概念)
 
那么如何保证分布式环境下更新操作的顺序呢?这个问题在在完全的分布式环境下是不可能的,但是可以通过限定环境条件来解决这个问题。如下:
 
1,通过物理时钟(即绝对参照系)可以实现,但是前提是在不同地方的物理时钟没有误差 
这个几乎是不可能的, 因为所有的物理时钟同步。古代关于时钟还有一个故事(参见罗辑思维-击溃牛顿的钟表匠)。不过现代google发布的spanner的核心技术中包含用卫星进行全球的datacenter之间的时钟同步
 
2,通过严格的因果关系来确定顺序。对于参照系, 选取不同的参照系可能会有不同的顺序的判断, 但是对于严格的因果关系, 无论在什么参照系下都不会改变的。
 
有人用狭义相对论来解释感觉很形象,狭义告诉我们时空中的事件并不存在一个始终如一的全序关系, 不同的观察者对两个事件谁先发生可能具有不同的看法. 当且仅当事件e2是由事件e1引起的时候, 事件e1和e2之间才存在一个先后关系
 
对于进程间的事件, 如果两个进程没有关联或通信, 是无法判断顺序的 
只有当两个进程间产生通信后, 产生因果关系, 从而来确定顺序 
如p1为发消息给Q事件, 而q2为从P收到消息事件, 则p1和q2间有明确的因果关系, 故可以说p1 "happen before" q2, 即p1 –> q2
 
对于没有明确的因果关系的事件, 无法判断其顺序, 只能认为他们属于并发。
 
总结:
    对于zookeeper来说,因为其是master-slave结构。所以在存在leader正常工作的情况下,由leader作为唯一的参照物即可。但是当leader down掉选举发生的过程中,或者出现多个leader的情况下就没有办法了。而zookeeper正是运用fastpaxos和zab来保证这中一致性。总之,zookeeper利用在全序列的思想下利用以ZAB为协议的fastpaxos算法实现了强一致性。


参考:

http://www.xuebuyuan.com/418353.html
http://breezes.lofter.com/post/d325_1aa98b
http://michael8335.iteye.com/blog/1723183
http://www.searchtb.com/2011/01/zookeeper-research.html
http://blog.csdn.net/chen77716/article/details/30635543
http://blog.csdn.net/chen77716/article/details/7309915


用自己的话理解理解zookeeper(自认为纠正了网上的一些说法)