首页 > 代码库 > 简单的HBase Client端实现

简单的HBase Client端实现

2024-10-21 07:39:39   212人阅读

前言

newbie刚接触HBase，遇到几个初学者常见的关于HBase问题，这里就问题就不多做介绍，主要还是编码优化问题，下面专门介绍以下几点，希望对于初学者有所帮助。

Tips

RowKey的设计

HBase的无论什么操作都是对rowkey进行扫描操作的，rowkey的排序是按照字典序来排的。

IO考虑

为读优化

设计行健时，尽量把行健按照序号紧挨一起，减少扫描。

为写优化

主要是考虑所有的rowkey不要写到同一个region上，这样会导致其他机器很空闲，只有这个region的吞吐量就是你应用的吞吐量
例如时间戳做行健就会出现这个问题。
解决方法主要是两个：
  1. 散列，建表时分表，然后写入时使用散列函数，将行健打散分布，这样做只是为了写操作多的优化，对于读来说，可能是灾难（全表扫描）
  2. salting，使用随机值做前缀，解决散列全表扫描的问题


Merge相同的rowKey

因为HBase对于每一个命令（put，delete，get，increment）都是起一个线程来做的，每个命令基本都有
addFamily(), addCloumns()方法可以使用

是否需要自己做HTable Connection缓存管理

这一点是不需要的，HBase本身有Cache机制的，主要在HConnectionManager里面做管理，它会做缓存。每次close时也会检查该cacheINstance是否还有reference，如果有就暂时不close，没有就close，reference-1。详细请看HConnectionManager源码；
public static HConnection getConnection(final Configuration conf)
  throws IOException {
    HConnectionKey connectionKey = new HConnectionKey(conf);
    synchronized (CONNECTION_INSTANCES) {
      HConnectionImplementation connection = CONNECTION_INSTANCES.get(connectionKey);
      if (connection == null) {
        connection = (HConnectionImplementation)createConnection(conf, true);
        CONNECTION_INSTANCES.put(connectionKey, connection);
      } else if (connection.isClosed()) {
        HConnectionManager.deleteConnection(connectionKey, true);
        connection = (HConnectionImplementation)createConnection(conf, true);
        CONNECTION_INSTANCES.put(connectionKey, connection);
      }
      connection.incCount();
      return connection;
    }
  }

Code

我自己实现了一个简单的Hbase Client，不是线程安全，在github上，可以clone下参考，仅供参考（为经测试，可能存在错误）

simple-hbase-client： git clone https://github.com/zhgwen/simple-hbase-client.git

简单的HBase Client端实现


联系
我们