首页 > 代码库 > HBase复制

HBase复制

HBase复制是一种在不同HBase部署中复制数据的方法。它能够作为一种故障恢复的方法,并提供HBase层次的高可用性。在实际应用中,比如。能够将数据从一个面向页面的集群拷贝到一个MapReduce集群,后者能够同一时候处理新数据和历史数据。然后再自己主动将数据传回面向页面请求的集群。

HBase复制中最主要的架构模式是“主推送”(master-push),由于每一个region server都有自己的WAL(或HLog)。所以非常easy保存如今正在复制的位置。正如众所周知的解决方式-Mysql的主/从复制,仅仅使用二进制文件来跟踪改动。一个主集群能够将数据拷贝到随意数目的从集群,每一个region server都会參与复制自己的改动。很多其它的关于主/从复制或其它类型的复制,能够參考文章《How Google Serves Data From Multiple Datacenters》。

复制是异步进行的,意味着集群能够是地理上彼此远离的,它们之间的连接能够在某个时刻断开,在主集群上的改动不能立即在从集群上进行同步(终于一致性)。

这里使用的复制格式从概念上和《MySQL’s statement-based replication》类似。

和SQL语句不同,全部的WALEdits(包含来自client的Put和Delete产生的多单元格操作)都会被复制以保证原子性。

来自每一个region server的HLog是HBase复制的基础。而且仅仅要它们须要将数据拷贝到从集群,它们就必须被保存到HDFS上。每一个region server从它须要的最老的日志開始复制。同一时候在zookeeper中保存当前恢复的位置来简化错误恢复。每一个从集群恢复的位置可能不同。但它们处理的HLog队列内容是同样的。

參与复制的集群的规模能够不正确等。

主集群会通过随机分配尽量均衡从集群的负载。

从0.92版本号起,HBase还支持另外的两种模式的复制:主<->主和循环复制。

下图展示了复制的工作流程和架构。

技术分享

集群复制架构图

HBase复制部署

1)编辑集群中全部机器的${HBASE_HOME}/conf/hbase-site.xml文件,添加例如以下配置:

<property>
  <name>hbase.replication</name>
  <value>true</value>
</property>
改动完毕后,重新启动HBase集群。使配置生效。

2)在HBase shell中执行例如以下命令:

hbase(main):003:0> add_peer ‘ID‘ ‘CLUSTER_KEY‘
hbase(main):004:0> start_replication

第一条命令是为从集群设置zookeeper集群信息,这样能够使得改动被同步到从集群上。第二条命令真正将改动过的记录公布到从集群上。为了保证工作能依照预期进行,用户必须保证已经在从集群上建立了一个同样的表的副本,表能够为空。但必须有同样的模式和表名。

注意:hbase-0.96和hbase-0.98已经没有了start_replication命令和stop_replication命令。hbase-0.98相较hbase-0.96,新增了set_peer_tableCFs、show_peer_tableCFs命令。在设定复制时,hbase-0.98须要使用set_peer_tableCFs设置。详细的有相应的帮助命令可供參考。

ID必须是一个短整数。CLUSTER_KEY的内容请參考下面模板:

hbase.zookeeper.quorum:hbase.zookeeper.property.clientPort:zookeeper.znode.parent
比方,zk.server.com:2181:/hbase

注意:假设两个集群使用同样的zookeeper集群。你不得不使用不同的 zookeeper.znode.parent,由于它们不能写入同样的目录中。


3)一旦你有一个对等(从)集群。你须要在你的列簇上使复制可用,要想达到这种效果,能够在HBase shell中运行例如以下命令:

hbase(main):005:0> disable ‘your_table‘
hbase(main):006:0> alter ‘your_table‘, {NAME => ‘family_name‘, REPLICATION_SCOPE => ‘1‘}
hbase(main):007:0> enable ‘your_table‘
scope值为0(默认值)意味着它不会被复制。而scope值为1意味着它将被复制。

4)执行例如以下命令能够列出全部配置的对等(从)集群:

hbase(main):008:0> list_peers
5)执行例如以下命令将使对等(从)集群不可用:

hbase(main):009:0> disable_peer ‘ID‘
执行完命令后,HBase将停止将向对等(从)集群发送改动,可是它将一直跟踪全部新的WALs文件。以便当从集群可用时继续复制。

6)能够执行例如以下命令将使之前设置为不可用的对等(从)集群可用:

hbase(main):010:0> enable_peer ‘ID‘
7)执行以下的命令,能够移除一个从集群:

hbase(main):011:0> stop_replication
hbase(main):012:0> remove_peer ‘ID‘
须要注意的是。停止复制仍会完毕全部已在队列里的改动的复制。可是之后全部的处理都被停止了。为了确认你的配置都正常工作,你能够查看不论什么一个region server的日志文件。看是否有类似以下几行的内容:

Considering 1 rs, with ratio 0.1
Getting 1 rs from peer cluster # 0
Choosing peer 10.10.1.49:62020
这个样例表示有一个region server被选择做复制。

和复制有关的其它一些配置项:

<property>
	<name>replication.source.nb.capacity</name>
	<value>5000</value>
<description> 主集群每次像备集群发送的entry最大的个数,推荐5000.可依据集群规模做出适当调整,slave集群服务器假设较多,可适当增大,默认是25000</description>
</property>

<property>
	<name>replication.source.size.capacity</name> 
	<value>4194304</value> 
	<description> 主集群每次像备集群发送的entry的包的最大值大小,不推荐过大,默认是64MB(64*1024*1024)</description>
</property>

<property>
	<name>replication.source.ratio</name>
	<value>1</value>
	<description> 主集群里使用slave服务器的百分比。默认是0.1</description>
</property>

<property>
	<name>hbase.regionserver.wal.enablecompression</name>
	<value>false</value>
	<description> 主集群关闭hlog的压缩</description>
</property>

<property>
	<name> replication.sleep.before.failover</name>
	<value>5000</value>
	<description> 主集群在regionserver当机后几毫秒開始运行failover</description>
</property>

转载请注明出处:http://blog.csdn.net/iAm333

HBase复制