首页 > 代码库 > zookeeper实现的一个锁
zookeeper实现的一个锁
要求: 分布在不同机器上的进程,同时扫描某个ftp目录,得到文件目录,下载文件,但是要保证每个文件都只被一个进程获取
思路:
1. 文件以RW方式打开,比较暴力 ,另FTP支持RW方式打开吗。。。没了解过
2. 实现一个分布式锁,
2.1 redis:
redis单机的事务能否实现? 应该可以,保证一个list,然后不断poll即可。
redis集群的一致性能否实现? 从表面上看,最终一致性不能保证。。。。。 ------------- 待测试验证
http://redisbook.com/preview/replication/replicate-before-2-8.html
http://redisbook.com/
2.2 zookeeper
zookeeper状态信息: http://coolxing.iteye.com/blog/1871328
zookeeper使用帮助:http://zookeeper.apache.org/doc/trunk/recipes.html
zookeeper介绍及典型场景: http://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/
apache- zookeeper-lock : https://svn.apache.org/repos/asf/zookeeper/trunk/src/recipes/lock/src/java/org/apache/zookeeper/recipes/lock/WriteLock.java
实现时候的zookeeper内文件结构:
[zk: localhost:2181(CONNECTED) 79] ls /na/lock/ftp/2014/12/01/test6/0.log
[x-309002431815222022-0000000001, x-164887243784979208-0000000000, x-381060026091242234-0000000002]
/na/lock/ftp/2014/12/01/test6/0.log 是 目标文件
x-309002431815222022-0000000001, x-164887243784979208-0000000000, x-381060026091242234-0000000002 是3个客户端创建的子文件
子文件结构 x- [sessionid] - [zk内部sequence] 309002431815222022 是sessionid 0000000001 是 seq
3个客户端提交的create请求将在zk内部通过类似cas(或者就是cas)来竞争达到排序的目的,然后大家看谁的seq最靠前谁就获得锁。
apache提供的lock需要改进的地方:
1. path自适应,parent不存在的时候能够自动创建parent
2. 两个进程中的线程同时create一个文件的时候会有keeperexception,需要catch下,判定有exception的没有获取到锁
3. znodename做sortmap的时候,拿prefix在内做了compare,容易出问题,需要改成直接拿sequence比较。
int answer = this.prefix.compareTo(that.prefix); // -- line79
=》
// int answer = this.prefix.compareTo(that.prefix); 注释掉
4. create子节点的时候,line186,用了临时的SEQUENTIAL文件类别,原意是控制单个文件的并发写入,这个文件是可以重入的,在锁占用进程关闭zkclient之后,另外的进程是可以进入的。但是在本案例中,文件下载下来就不能再处理了,所以要改成PERSISTENT_SEQUENTIAL
code如下 :
id = zookeeper.create(dir + "/" + prefix, data, getAcl(), CreateMode.EPHEMERAL_SEQUENTIAL);
=>
id = zookeeper.create(dir + "/" + prefix, data, getAcl(), CreateMode.PERSISTENT_SEQUENTIAL);
zookeeper实现的一个锁
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。