HBase基本数据操作具体解释

首页 > 代码库 > HBase基本数据操作具体解释

HBase基本数据操作具体解释

2024-10-05 18:24:02 220人阅读

引言

本文档參考最新（截止2014年7月16日）的官方Ref Guide、Developer API编写。

全部代码均基于“hbase 0.96.2-hadoop2”版本号编写。均实測通过。

概述

对于建表，和RDBMS类似，HBase也有namespace的概念，能够指定表空间创建表，也能够直接创建表。进入default表空间。

对于数据操作。HBase支持四类基本的数据操作。各自是：

Put：添加一行，改动一行；
Delete：删除一行。删除指定列族。删除指定column的多个版本号，删除指定column的制定版本号等；
Get：获取指定行的全部信息，获取指定行和指定列族的全部colunm，获取指定column。获取指定column的几个版本号，获取指定column的指定版本号等；
Scan：获取全部行，获取指定行键范围的行，获取从某行開始的几行。获取满足过滤条件的行等。

这四个类都是org.apache.hadoop.hbase.client的子类，能够到官网API去查看具体信息，本文仅总结经常用法。力争让读者用20%的时间掌握80%的经常使用功能。

文件夹

1.命名空间Namespace

2.创建表

3.删除表

4.改动表

5.新增、更新数据Put

6.删除数据Delete

7.获取单行Get

8.获取多行Scan

1. 命名空间Namespace

在关系数据库系统中，命名空间namespace指的是一个表的逻辑分组。同一组中的表有类似的用途。命名空间的概念为即将到来的多租户特性打下基础：

配额管理（Quota Management (HBASE-8410)）：限制一个namespace能够使用的资源。资源包含region和table等。
命名空间安全管理（Namespace Security Administration (HBASE-9206)）：提供了还有一个层面的多租户安全管理；
Region服务器组（Region server groups (HBASE-6721)）：一个命名空间或一张表。能够被固定到一组regionservers上，从而保证了数据隔离性。

1.1.命名空间管理

命名空间能够被创建、移除、改动。

表和命名空间的隶属关系在在创建表时决定。通过下面格式指定：

<namespace>:<table>

Example：hbase shell中创建命名空间、创建命名空间中的表、移除命名空间、改动命名空间

<span style="background-color: rgb(238, 238, 238);">#Create a namespace
</span><strong><span style="color: rgb(255, 0, 0); background-color: rgb(255, 255, 0);">create_namespace</span></strong><span style="background-color: rgb(238, 238, 238);"> ‘my_ns‘
            </span>

<span style="background-color: rgb(238, 238, 238);">#create my_table in my_ns namespace
create </span><span style="background-color: rgb(255, 255, 0);">‘<span style="color: rgb(255, 0, 0);"><strong>my_ns:</strong></span></span><span style="background-color: rgb(238, 238, 238);">my_table‘, ‘fam‘
          </span>

<span style="background-color: rgb(238, 238, 238);">#drop namespace
</span><strong><span style="color: rgb(255, 0, 0); background-color: rgb(255, 255, 0);">drop_namespace</span></strong><span style="background-color: rgb(238, 238, 238);"> ‘my_ns‘
          </span>

<span style="background-color: rgb(238, 238, 238);">#alter namespace
</span><strong><span style="color: rgb(255, 0, 0); background-color: rgb(255, 255, 0);">alter_namespace</span></strong><span style="background-color: rgb(238, 238, 238);"> ‘my_ns‘, {METHOD => ‘set‘, ‘PROPERTY_NAME‘ => ‘PROPERTY_VALUE‘}
        </span>

1.2. 提前定义的命名空间

有两个系统内置的提前定义命名空间：

hbase：系统命名空间，用于包括hbase的内部表
default：全部未指定命名空间的表都自己主动进入该命名空间

Example：指定命名空间和默认命名空间

#namespace=foo and table qualifier=bar
create ‘foo:bar‘, ‘fam‘

#namespace=default and table qualifier=bar
create ‘bar‘, ‘fam‘

2.创建表

废话不多说。直接上样板代码，代码后再说明注意事项和知识点：

Configuration conf = HBaseConfiguration.create();

HBaseAdmin admin = new HBaseAdmin(conf);

//create namespace named "my_ns"

admin.createNamespace(NamespaceDescriptor.create("my_ns").build());

//create tableDesc, with namespace name "my_ns" and table name "mytable"

HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf("my_ns:mytable"));

tableDesc.setDurability(Durability.SYNC_WAL);

//add a column family "mycf"

HColumnDescriptor hcd = new HColumnDescriptor("mycf");

tableDesc.addFamily(hcd);

admin.createTable(tableDesc);

admin.close();

关键知识点：

必须将HBase集群的hbase-site.xml文件加入进project的classpath中，或者通过Configuration对象设置相关属性，否则程序获取不到集群相关信息，也就无法找到集群，执行程序时会报错；
HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf("my_ns:mytable"))代码是描写叙述表mytable。并将mytable放到了my_ns命名空间中，前提是该命名空间已存在，假设指定的是不存在命名空间，则会报错org.apache.hadoop.hbase.NamespaceNotFoundException；
命名空间一般在建模阶段通过命令行创建。在java代码中通过admin.createNamespace(NamespaceDescriptor.create("my_ns").build())创建的机会不多；
创建HBaseAdmin对象时就已经建立了client程序与HBase集群的connection，所以在程序运行完毕后，务必通过admin.close()关闭connection；
能够通过HTableDescriptor对象设置表的特性，比方：通过tableDesc.setMaxFileSize(512)设置一个region中的store文件的最大size，当一个region中的最大store文件达到这个size时，region就開始分裂；通过tableDesc.setMemStoreFlushSize(512)设置region内存中的memstore的最大值。当memstore达到这个值时，開始往磁盘中刷数据。
很多其它特性请自行查阅官网API；
能够通过HColumnDescriptor对象设置列族的特性。比方：通过hcd.setTimeToLive(5184000)设置数据保存的最长时间；通过hcd.setInMemory(true)设置数据保存在内存中以提高响应速度。通过 hcd.setMaxVersions(10)设置数据保存的最大版本号数；通过hcd.setMinVersions(5)设置数据保存的最小版本号数（配合TimeToLive使用）。
很多其它特性请自行查阅官网API；
数据的版本号数仅仅能通过HColumnDescriptor对象设置，不能通过HTableDescriptor对象设置；
因为HBase的数据是先写入内存，数据累计达到内存阀值时才往磁盘中flush数据。所以。假设在数据还没有flush进硬盘时，regionserver down掉了，内存中的数据将丢失。
要想解决这个场景的问题就须要用到WAL（Write-Ahead-Log），tableDesc.setDurability(Durability.SYNC_WAL)就是设置写WAL日志的级别。演示样例中设置的是同步写WAL。该方式安全性较高，但无疑会一定程度影响性能。请依据详细场景选择使用。
setDurability(Durability d)方法能够在相关的三个对象中使用，各自是：HTableDescriptor。Delete。Put（当中Delete和Put的该方法都是继承自父类org.apache.hadoop.hbase.client.Mutation）。分别针对表、插入操作、删除操作设定WAL日志写入级别。
须要注意的是，Delete和Put并不会继承Table的Durability级别（已实測验证）。
Durability是一个枚举变量，可选值參见4.2节。假设不通过该方法指定WAL日志级别，则为默认USE_DEFAULT级别。

3.删除表

删除表没创建表那么多学问，直接上代码：

Configuration conf = HBaseConfiguration.create();

HBaseAdmin admin = new HBaseAdmin(conf);

String tablename = "my_ns:mytable";

if(admin.tableExists(tablename)) {

try {

admin.disableTable(tablename);

admin.deleteTable(tablename);

} catch (Exception e) {

// TODO: handle exception

e.printStackTrace();

}

admin.close();

说明：删除表前必须先disable表。

4.改动表

4.1.实例代码

（1）删除列族、新增列族

改动之前，四个列族：

hbase(main):014:0> describe ‘rd_ns:itable‘

DESCRIPTION ENABLED

‘rd_ns:itable‘, {NAME => ‘info‘, DATA_BLOCK_ENCODING => ‘NONE‘, BLOOMFILTER => ‘ROW‘, REPLICATION_SCOPE => ‘0‘, V true

ERSIONS => ‘10‘, COMPRESSION => ‘NONE‘, MIN_VERSIONS => ‘0‘, TTL => ‘2147483647‘, KEEP_DELETED_CELLS => ‘false‘,

BLOCKSIZE => ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE => ‘true‘}, {NAME => ‘newcf‘, DATA_BLOCK_ENCODING => ‘NONE

‘, BLOOMFILTER => ‘ROW‘, REPLICATION_SCOPE => ‘0‘, COMPRESSION => ‘NONE‘, VERSIONS => ‘10‘, TTL => ‘2147483647‘,

MIN_VERSIONS => ‘0‘, KEEP_DELETED_CELLS => ‘false‘, BLOCKSIZE => ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE => ‘tr

ue‘}, {NAME => ‘note‘, DATA_BLOCK_ENCODING => ‘NONE‘, BLOOMFILTER => ‘ROW‘, REPLICATION_SCOPE => ‘0‘, VERSIONS =>

‘10‘, COMPRESSION => ‘NONE‘, MIN_VERSIONS => ‘0‘, TTL => ‘2147483647‘, KEEP_DELETED_CELLS => ‘false‘, BLOCKSIZE

=> ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE => ‘true‘}, {NAME => ‘sysinfo‘, DATA_BLOCK_ENCODING => ‘NONE‘, BLOOM

FILTER => ‘ROW‘, REPLICATION_SCOPE => ‘0‘, COMPRESSION => ‘NONE‘, VERSIONS => ‘10‘, TTL => ‘2147483647‘, MIN_VERS

IONS => ‘0‘, KEEP_DELETED_CELLS => ‘true‘, BLOCKSIZE => ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE => ‘true‘}

1 row(s) in 0.0450 seconds

改动表，删除三个列族，新增一个列族，代码例如以下：

Configuration conf = HBaseConfiguration.create();

HBaseAdmin admin = new HBaseAdmin(conf);

String tablename = "rd_ns:itable";

if(admin.tableExists(tablename)) {

try {

admin.disableTable(tablename);

//get the TableDescriptor of target table

HTableDescriptor newtd = admin.getTableDescriptor(Bytes.toBytes("rd_ns:itable"));

//remove 3 useless column families

newtd.removeFamily(Bytes.toBytes("note"));

newtd.removeFamily(Bytes.toBytes("newcf"));

newtd.removeFamily(Bytes.toBytes("sysinfo"));

//create HColumnDescriptor for new column family

HColumnDescriptor newhcd = new HColumnDescriptor("action_log");

newhcd.setMaxVersions(10);

newhcd.setKeepDeletedCells(true);

//add the new column family(HColumnDescriptor) to HTableDescriptor

newtd.addFamily(newhcd);

//modify target table struture

admin.modifyTable(Bytes.toBytes("rd_ns:itable"),newtd);

admin.enableTable(tablename);

} catch (Exception e) {

// TODO: handle exception

e.printStackTrace();

}

admin.close();

改动之后：

hbase(main):015:0> describe ‘rd_ns:itable‘

DESCRIPTION ENABLED

‘rd_ns:itable‘, {NAME => ‘action_log‘, DATA_BLOCK_ENCODING => ‘NONE‘, BLOOMFILTER => ‘ROW‘, REPLICATION_SCOPE => true

‘0‘, COMPRESSION => ‘NONE‘, VERSIONS => ‘10‘, TTL => ‘2147483647‘, MIN_VERSIONS => ‘0‘, KEEP_DELETED_CELLS => ‘tr

ue‘, BLOCKSIZE => ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE => ‘true‘}, {NAME => ‘info‘, DATA_BLOCK_ENCODING => ‘

NONE‘, BLOOMFILTER => ‘ROW‘, REPLICATION_SCOPE => ‘0‘, VERSIONS => ‘10‘, COMPRESSION => ‘NONE‘, MIN_VERSIONS => ‘

0‘, TTL => ‘2147483647‘, KEEP_DELETED_CELLS => ‘false‘, BLOCKSIZE => ‘65536‘, IN_MEMORY => ‘false‘, BLOCKCACHE =>

‘true‘}

1 row(s) in 0.0400 seconds

逻辑非常easy：

通过admin.getTableDescriptor(Bytes.toBytes("rd_ns:itable"))取得目标表的描写叙述对象，应该就是取得指向该对象的指针了。
改动目标表描写叙述对象。
通过admin.modifyTable(Bytes.toBytes("rd_ns:itable"),newtd)将改动后的描写叙述对象应用到目标表。

（2）改动现有列族的属性（setMaxVersions）

Configuration conf = HBaseConfiguration.create();

HBaseAdmin admin = new HBaseAdmin(conf);

String tablename = "rd_ns:itable";

if(admin.tableExists(tablename)) {

try {

admin.disableTable(tablename);

//get the TableDescriptor of target table

HTableDescriptor htd = admin.getTableDescriptor(Bytes.toBytes("rd_ns:itable"));

HColumnDescriptor infocf = htd.getFamily(Bytes.toBytes("info"));

infocf.setMaxVersions(100);

//modify target table struture

admin.modifyTable(Bytes.toBytes("rd_ns:itable"),htd);

admin.enableTable(tablename);

} catch (Exception e) {

// TODO: handle exception

e.printStackTrace();

}

admin.close();

5.新增、更新数据Put

5.1.经常使用构造函数：

（1）指定行键

public Put(byte[] row)

參数：row 行键

（2）指定行键和时间戳

public Put(byte[] row, long ts)

參数：row 行键。ts 时间戳

（3）从目标字符串中提取子串，作为行键

Put(byte[] rowArray, int rowOffset, int rowLength)

（4）从目标字符串中提取子串。作为行键。并加上时间戳

Put(byte[] rowArray, int rowOffset, int rowLength, long ts)

5.2.经常用法：

（1）指定列族、限定符，加入值

add(byte[] family, byte[] qualifier, byte[] value)

（2）指定列族、限定符、时间戳。加入值

add(byte[] family, byte[] qualifier, long ts, byte[] value)

（3）设置写WAL（Write-Ahead-Log）的级别

public void setDurability(Durability d)

參数是一个枚举值，能够有下面几种选择：

ASYNC_WAL ：当数据变动时，异步写WAL日志
SYNC_WAL ：当数据变动时，同步写WAL日志
FSYNC_WAL ：当数据变动时。同步写WAL日志。而且，强制将数据写入磁盘
SKIP_WAL ：不写WAL日志
USE_DEFAULT ：使用HBase全局默认的WAL写入级别，即SYNC_WAL

5.3.实例代码

（1）插入行

Configuration conf = HBaseConfiguration.create();

HTable table = new HTable(conf, "rd_ns:leetable");

Put put = new Put(Bytes.toBytes("100001"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("lion"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("address"), Bytes.toBytes("shangdi"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("age"), Bytes.toBytes("30"));

put.setDurability(Durability.SYNC_WAL);

table.put(put);

table.close();

（2）更新行

Configuration conf = HBaseConfiguration.create();

HTable table = new HTable(conf, "rd_ns:leetable");

Put put = new Put(Bytes.toBytes("100001"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("lee"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("address"), Bytes.toBytes("longze"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("age"), Bytes.toBytes("31"));

put.setDurability(Durability.SYNC_WAL);

table.put(put);

table.close();

注意：

Put的构造函数都须要指定行键，假设是全新的行键，则新增一行；假设是已有的行键，则更新现有行。
创建Put对象及put.add过程都是在构建一行的数据，创建Put对象时相当于创建了行对象，add的过程就是往目标行里加入cell。直到table.put才将数据插入表格；
以上代码创建Put对象用的是构造函数1，也可用构造函数2。第二个參数是时间戳；
Put还有别的构造函数。请查阅官网API。

（3）从目标字符串中提取子串，作为行键，构建Put

Configuration conf = HBaseConfiguration.create();

HTable table = new HTable(conf, "rd_ns:leetable");

Put put = new Put(Bytes.toBytes("100001_100002"),7,6);

put.add(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("show"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("address"), Bytes.toBytes("caofang"));

put.add(Bytes.toBytes("info"), Bytes.toBytes("age"), Bytes.toBytes("30"));

table.put(put);

table.close();

注意，关于：Put put = new Put(Bytes.toBytes("100001_100002"),7,6)

第二个參数是偏移量。也就是行键从第一个參数的第几个字符開始截取；
第三个參数是截取长度；
这个代码实际是从 100001_100002 中截取了100002子串作为目标行的行键。

6.删除数据Delete

Delete类用于删除表中的一行数据，通过HTable.delete来运行该动作。

在运行Delete操作时，HBase并不会马上删除数据，而是对须要删除的数据打上一个“墓碑”标记，直到当Storefile合并时，再清除这些被标记上“墓碑”的数据。

假设希望删除整行，用行键来初始化一个Delete对象就可以。

假设希望进一步定义删除的详细内容，能够使用下面这些Delete对象的方法：

为了删除指定的列族，能够使用deleteFamily
为了删除指定列的多个版本号，能够使用deleteColumns
为了删除指定列的指定版本号。能够使用deleteColumn，这种话就仅仅会删除版本号号（时间戳）与指定版本号同样的列。
假设不指定时间戳。默认仅仅删除最新的版本号

以下具体说明构造函数和经常用法：

6.1.构造函数

（1）指定要删除的行键

Delete(byte[] row)

删除行键指定行的数据。

假设没有进一步的操作，使用该构造函数将删除行键指定的行中全部列族中全部列的全部版本号！

（2）指定要删除的行键和时间戳

Delete(byte[] row, long timestamp)

删除行键和时间戳共同确定行的数据。

假设没有进一步的操作，使用该构造函数将删除行键指定的行中，全部列族中全部列的时间戳小于等于指定时间戳的数据版本号。

注意：该时间戳只和删除行有关。假设须要进一步指定列族或者列，你必须分别为它们指定时间戳。

（3）给定一个字符串，目标行键的偏移，截取的长度

Delete(byte[] rowArray, int rowOffset, int rowLength)

（4）给定一个字符串，目标行键的偏移，截取的长度，时间戳

Delete(byte[] rowArray, int rowOffset, int rowLength, long ts)

6.2.经常用法

Delete deleteColumn(byte[] family, byte[] qualifier) 删除指定列的最新版本号的数据。

Delete deleteColumns(byte[] family, byte[] qualifier) 删除指定列的全部版本号的数据。

Delete deleteColumn(byte[] family, byte[] qualifier, long timestamp) 删除指定列的指定版本号的数据。

Delete deleteColumns(byte[] family, byte[] qualifier, long timestamp) 删除指定列的。时间戳小于等于给定时间戳的全部版本号的数据。

Delete deleteFamily(byte[] family) 删除指定列族的全部列的全部版本号数据。

Delete deleteFamily(byte[] family, long timestamp) 删除指定列族的全部列中时间戳小于等于指定时间戳的全部数据。

Delete deleteFamilyVersion(byte[] family, long timestamp) 删除指定列族中全部列的时间戳等于指定时间戳的版本号数据。

voidsetTimestamp(long timestamp) 为Delete对象设置时间戳。

6.3.实例代码

（1）删除整行的全部列族、全部行、全部版本号

Configuration conf = HBaseConfiguration.create();

HTable table = new HTable(conf, "rd_ns:leetable");

Delete delete = new Delete(Bytes.toBytes("000"));

table.delete(delete);

table.close();

（2）删除指定列的最新版本号

下面是删除之前的数据，注意看100003行的info:address，这是该列最新版本号的数据。值是caofang1，在这之前的版本号值是caofang：

hbase(main):007:0> scan ‘rd_ns:leetable‘

ROW COLUMN+CELL

100001 column=info:address, timestamp=1405304843114, value=http://www.mamicode.com/longze

100001 column=info:age, timestamp=1405304843114, value=http://www.mamicode.com/31

100001 column=info:name, timestamp=1405304843114, value=http://www.mamicode.com/leon

100002 column=info:address, timestamp=1405305471343, value=http://www.mamicode.com/caofang

100002 column=info:age, timestamp=1405305471343, value=http://www.mamicode.com/30

100002 column=info:name, timestamp=1405305471343, value=http://www.mamicode.com/show

100003 column=info:address, timestamp=1405390959464, value=http://www.mamicode.com/caofang1

100003 column=info:age, timestamp=1405390959464, value=http://www.mamicode.com/301

100003 column=info:name, timestamp=1405390959464, value=http://www.mamicode.com/show1

3 row(s) in 0.0270 seconds

运行下面代码：

Configuration conf = HBaseConfiguration.create();

HTable table = new HTable(conf, "rd_ns:leetable");

Delete delete = new Delete(Bytes.toBytes("100003"));

delete.deleteColumn(Bytes.toBytes("info"), Bytes.toBytes("address"));

table.delete(delete);

table.close();

然后查看数据，发现100003列的info:address列的值显示为前一个版本号的caofang了。其余值均不变：

hbase(main):008:0> scan ‘rd_ns:leetable‘

ROW COLUMN+CELL

100001 column=info:address, timestamp=1405304843114, value=http://www.mamicode.com/longze

100001 column=info:age, timestamp=1405304843114, value=http://www.mamicode.com/31

100001 column=info:name, timestamp=1405304843114, value=http://www.mamicode.com/leon

100002 column=info:address, timestamp=1405305471343, value=http://www.mamicode.com/caofang

100002 column=info:age, timestamp=1405305471343, value=http://www.mamicode.com/30

100002 column=info:name, timestamp=1405305471343, value=http://www.mamicode.com/show

100003 column=info:address, timestamp=1405390728175, value=http://www.mamicode.com/caofang

100003 column=info:age, timestamp=1405390959464, value=http://www.mamicode.com/301

100003 column=info:name, timestamp=1405390959464, value=http://www.mamicode.com/show1

3 row(s) in 0.0560 seconds

（3）删除指定列的全部版本号

接以上场景，运行下面代码：

Configuration conf = HBaseConfiguration.create();

HTable table = new HTable(conf, "rd_ns:leetable");

Delete delete = new Delete(Bytes.toBytes("100003"));

delete.deleteColumns(Bytes.toBytes("info"), Bytes.toBytes("address"));

table.delete(delete);

table.close();

然后我们会发现。100003行的整个info:address列都没了：

hbase(main):009:0> scan ‘rd_ns:leetable‘