首页 > 代码库 > HBase in Action前三章笔记
HBase in Action前三章笔记
近期接触HBase，看了HBase In Action的英文版。開始认为还行，做了些笔记。可是兴许看下去，越来越感觉到实战这本书比較偏使用上的细节，对于HBase的具体设计涉及得很少。把前三章的一些笔记帖一下。后面几章内容不打算整理了。并非说书内容不好。
key-value存储。强一致性，多个RegionServer节点对client端是不暴露细节的
使用场景：典型的web-search, capture incremental data, ad. click stream, content serving, info exchange
设置 hbase.root 来改写本来写/tmp的数据路径
HBase shell是jruby写，hbase shell来启动
一些命令：
list create ‘pelick‘, ‘cf‘ put ‘pelick‘, ‘first‘, ‘cf:msg‘, ‘wefewfwf‘ put ‘pelick‘, ‘sec‘, ‘cf:num‘, 12234 get ‘pelick‘, ‘first‘ 默认返回version最新的数据。实际上put的时候会有带新的版本 scan ‘pelick‘ describe ‘pelick‘
一些相应的API类和简单使用
HTableInterface usersTable = new HTable("users");
Configuration myConf = HBaseConfiguration.create();
HTableInterface usersTable = new HTable(myConf, "users");
HTablePool pool = new HTablePool();
HTableInterface usersTable = pool.getTable("users");
... // work with the table
usersTable.close();
Get, Put, Delete, Scan, Increment
Put p = new Put(Bytes.toBytes(" TheRealMT"));
p.add(Bytes.toBytes("info"),
Bytes.toBytes("name"),
Bytes.toBytes("Mark Twain"));
Put的时候。成功运行须要两个保证。write-ahead log(WAL，即HLog)和MemStore
这两部分保证了data durability，能够选择不要WAL，就不保证数据不丢了。
Put p = new Put(); p.setWriteToWAL(false);
原因例如以下：
MemStore是内存的write buffer。到一定量会flush到磁盘上成为HFile。假设region server挂了。数据就丢失。而WAL能够用来恢复数据。
一个column family能够有多个HFile。可是一个HFile不能有多个column family的数据。每一个column family相应一个MemStore。
每台HBase机器都保存一份WAL。而这份WAL的durable取决于以下的文件系统，HDFS保证了这点。
一台HBase机器的WAL被全部的表、列簇共享。
Get的时候能够控制获得数据内容。通过addColumn()和addFamily()
Get g = new Get(Bytes.toBytes("TheRealMT"));
g.addColumn(
Bytes.toBytes("info"),
Bytes.toBytes("password"));
Result r = usersTable.get(g);
读数据的时候。有一个LRU cache来缓存常常訪问的数据，即BlockCache，用来缓存HFile内容。提升读性能。
每一个column family有自己的BlockCache。
HFile本质上是由Block组成的，index定位的。默认block大小是64K，可调整来影响顺序/随机读性能。
block是读的最小单位。
Delete也相似。
Delete d = new Delete(Bytes.toBytes("TheRealMT"));
d.deleteColumns(
Bytes.toBytes("info"),
Bytes.toBytes("email"));
usersTable.delete(d);
对Delete来说。数据并没有及时删除，是做了标记，不能被scan和get到。实际上。在compaction的时候会删除。
compaction分为minor和major两种。前者是合并HFile，比較常发生，对于合并的HFile大小和数目的设定会影响写性能。
合并比較吃IO的。
后者是把给定的region的一个列簇的全部HFile合并为一个HFile。开销大。要手动shell触发。所曾经者比較轻量级些。
仅仅有合并的时候，该删除的数据才会真正被删除。
HBase除了是schema-less的，也是版本号化的。
对同一个列，能够写多次，每次会带版本号，是个long值，默认依赖时间戳。所以机器的时间应该要设置为同步。默认保留三份版本号，假设多了，会把之前的旧版本号替掉。
Table，Row，Column Family。Column qualifier，Cell，Version，这些组成了HBase数据构成。
Row：row key是唯一的，byte[]。列簇影响物理数据分布。Column qualifier的话各个row能够设置为不一样。
cell是rowkey+cf+cq组成的一条唯一记录。理解为一行数据。也是byte[]
在訪问上述这些元素的时候。是通过协调输入的rowkey, column family, column qualifier, version四个维度来找的
能够用4D的查找方式来理解一个普通的二维表，下图解释非常清楚
所以呢，我们能够把查找理解为key是一个map(能够是四维里的前几个组成的查询条件)，value为一个map或多个maps
HBase数据模型是半结构化的。即列数能够不同，域值长度也能够不同
从逻辑模型的角度看，HBase提供的是无限制的，持久的。嵌套不同版本号的结构。能够把整个结构理解为java里的这样一个Map：
Map<RowKey, Map<ColumnFamily, Map<ColumnQualifier,Map<Version, Data>>>>
且里面是降序排列的
从物理模型的角度看。一个列簇有多个HFile，本身是二进制文件。里面不包括null记录。
做Table Scan的时候，能够传filter。详细API不列举。
在设置rowkey的时候，尽量让rowkey长度一致，比方hash一次。rowkey的设计影响重大，要尽量高效。
hbase.client.scanner.caching能够设置每次RPC返回的row个数，cache在client端，默认是1，比較影响性能。
HBase的原子操作。即Incremental Column Value(ICV)，
long ret = usersTable.incrementColumnValue(
Bytes.toBytes("TheRealMT"),
Bytes.toBytes("info"),
Bytes.toBytes("tweet_count"),
1L);
类似java的AtomicLong.addAndGet()
HBase的region存在于region server上。与HDFS的datanode共存。由matser进程来分布region。
hbase.hregion.max.filesize影响一个region的分裂
client读写数据的时候，主要靠-ROOT-和.META.来做类似B+树的查找。结构例如以下：
第一次和zk通信，得到-ROOT-在哪里。然后向某RS问。得到.META.在哪里。
然后向某RS2问，得到目标RS在哪里。最后向目标RS问。数据的详细位置。
这两表在client端会缓存。
HBase和MR的交互：能够把HBase当MR的数据源和写入目标，HBase还能够參与map-side join。
reduce-side join须要把全部数据shuffle到reduce端而且sort。开销大，那么map端的join能够减小IO和网络开销。
小表能够直接放内存进行map-side join，此时把这步直接变成读HBase，就节省了内存。详细样例不举了。
本质上，把HBase当作一个外部的巨大的hash table。
MR要注意是幂等的，对于有map里有状态的操纵。要注意避免影响，比方HBase的increment命令
部署要注意。HBase部署的datanode上尽量不要起MR的进程了，会影响性能。
最后说说HBase的可用性和可靠性。
可用性指系统处理失败的能力。
RegionServer是具备可用性的，一台挂了。还有一个能够取代它工作（数据在HDFS上保证。信息能够从master获取）。
要达到高可用。还能够做一些防御性部署，比方考虑多master的机架分布。
可靠性是一个数据库系统的名词，指数据durability和性能保证的结合。
那么HDFS作为HBase的支撑。带来了什么呢？
全部region servers是HDFS文件系统上的同一套namespace，保证了可用性。
RS和datanode共同部署，降低网络IO开销。
可靠性方面，HDFS保证数据的备份和不丢失。HBase本身的写语义具备durability的保证。
全文完 :)
HBase in Action前三章笔记
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。