首页 > 代码库 > Alex 的 Hadoop 菜鸟教程: 第8课 Hbase 的 java调用方法
Alex 的 Hadoop 菜鸟教程: 第8课 Hbase 的 java调用方法
声明
- 本文基于Centos 6.x + CDH 5.x
- 本例中 Hbase 是安装成集群模式的
- 本文基于Maven3.5+ 和 Eclipse 4.3
- 教程后的参考资料建议大家一定要看下
我们搭建hbase并不是要用shell来查数据的,我们是要写基于hbase的应用的,所以学习如何使用java来调用hbase是必修课。
环境搭建
建立项目
打开Eclipse 建立一个Maven项目,archetype选quickstart,项目的artifactId 和 groupId 随便起
修改一下pom.xml 修改jdk为1.6+ ,并且引入hadoop相关jar包
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>org.crazycake</groupId> <artifactId>playhbase</artifactId> <version>0.0.1-SNAPSHOT</version> <packaging>jar</packaging> <name>playhbase</name> <url>http://maven.apache.org</url> <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> </properties> <resources> <resource> <directory>${basedir}/conf</directory> <filtering>false</filtering> <includes> <include>hbase-site.xml</include> </includes> </resource> </resources> <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>3.8.1</version> <scope>test</scope> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>0.98.4-hadoop2</version> </dependency> </dependencies> <build> <plugins> <plugin> <artifactId>maven-compiler-plugin</artifactId> <version>2.0.2</version> <configuration> <source>1.6</source> <target>1.6</target> <encoding>UTF-8</encoding> <optimise>true</optimise> <compilerArgument>-nowarn</compilerArgument> </configuration> </plugin> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId> <version>2.3</version> <configuration> <transformers> <transformer implementation="org.apache.maven.plugins.shade.resource.ApacheLicenseResourceTransformer"> </transformer> </transformers> </configuration> <executions> <execution> <phase>package</phase> <goals> <goal>shade</goal> </goals> </execution> </executions> </plugin> </plugins> </build> </project>
- 除了引入Hbase 的Jar包以外,还引入了一个maven插件叫 maven-shade-plugin ,这个插件可以防止出现“证书重复问题”,重复的证书文件会造成HDInsight集群在运行报错。
- 配置中还增加了一个resource,这个resource引用了一个配置文件hbase-site.xml,在这里写上hbase的连接信息
建立配置文件
建立src/main/resources 文件夹,并添加到源文件夹,并在文件夹内建立一个 hbase-site.xml 文件,内容是
<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href=http://www.mamicode.com/"configuration.xsl"?>>
这个host1 跟 host2 就是你安装zookeeper的机器,因为我只装了两台机器,所以只有host1 和 host2,正常情况下至少是要3个,并且是奇数个增长
操作
创建表并插入数据
创建一类叫 CreateTable.java 这个例子来自 : http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-build-java-maven/?rnd=1 我做了翻译
package org.crazycake.playhbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.MasterNotRunningException; import org.apache.hadoop.hbase.TableName; import org.apache.hadoop.hbase.ZooKeeperConnectionException; import org.apache.hadoop.hbase.client.HBaseAdmin; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; import org.apache.hadoop.hbase.util.Bytes; public class CreateTable { public static void main(String[] args) throws MasterNotRunningException, ZooKeeperConnectionException, IOException { Configuration config = HBaseConfiguration.create(); // 这边注释起来的是动态设定zookeeper参数的方法,如果你没有hbase-site.xml 或者想动态改变 // 可以采用动态方式设定 // // config.set("hbase.zookeeper.quorum", // "zookeepernode0,zookeepernode1,zookeepernode2"); //config.set("hbase.zookeeper.property.clientPort", "2181"); //config.set("hbase.cluster.distributed", "true"); // 使用配置文件创建一个 admin 对象 HBaseAdmin admin = new HBaseAdmin(config); // 创建表 HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf("people")); // 创建2个列簇 tableDescriptor.addFamily(new HColumnDescriptor("name")); tableDescriptor.addFamily(new HColumnDescriptor("contactinfo")); admin.createTable(tableDescriptor); // 接下来搞点数据进去呗 String[][] people = { { "1", "Marcel", "Haddad", "marcel@fabrikam.com"}, { "2", "Franklin", "Holtz", "franklin@contoso.com" }, { "3", "Dwayne", "McKee", "dwayne@fabrikam.com" }, { "4", "Rae", "Schroeder", "rae@contoso.com" }, { "5", "Rosalie", "burton", "rosalie@fabrikam.com"}, { "6", "Gabriela", "Ingram", "gabriela@contoso.com"} }; HTable table = new HTable(config, "people"); // 把这些数据插入到表里面 for (int i = 0; i< people.length; i++) { //第一列做rowkey Put person = new Put(Bytes.toBytes(people[i][0])); //把 Marcel 放到 name 这个列簇的 first 这个字段去 person.add(Bytes.toBytes("name"), Bytes.toBytes("first"), Bytes.toBytes(people[i][1])); person.add(Bytes.toBytes("name"), Bytes.toBytes("last"), Bytes.toBytes(people[i][2])); person.add(Bytes.toBytes("contactinfo"), Bytes.toBytes("email"), Bytes.toBytes(people[i][3])); table.put(person); } // 最后要记得提交和关闭表 table.flushCommits(); table.close(); } }
注意:在运行前,先用hbase shell 连上去,然后运行list 命令,看看是否正常,如果不正常就用jps看看是否hbase和hadoop的那些服务都启动起来了,把该起的都给起了。不然java运行了出错了,都不知道错在哪里再代码上瞎找原因浪费时间
一切就绪后,运行代码!
如果你的代码长时间卡主,不要傻等,去hbase部署的机器上看日志 :
tail -200f /var/log/hbase/hbase-hbase-master-host1.localdomain.log
hbase(main):003:0> scan 'people' ROW COLUMN+CELL 1 column=contactinfo:email, timestamp=1421338694666, value=http://www.mamicode.com/marcel@fabrikam.com >根据email来搜索
建立一个SearchByEmail类
package org.crazycake.playhbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Result; import org.apache.hadoop.hbase.client.ResultScanner; import org.apache.hadoop.hbase.client.Scan; import org.apache.hadoop.hbase.filter.CompareFilter.CompareOp; import org.apache.hadoop.hbase.filter.RegexStringComparator; import org.apache.hadoop.hbase.filter.SingleColumnValueFilter; import org.apache.hadoop.hbase.util.Bytes; /** * 根据email 来搜索用户 * @author alexxiyang (https://github.com/alexxiyang) * */ public class SearchByEmail { public static void main(String[] args) throws IOException { //创建配置 Configuration config = HBaseConfiguration.create(); // 打开表 HTable table = new HTable(config, "people"); //定义一系列要用到的列簇和列 // 定义列簇 byte[] contactFamily = Bytes.toBytes("contactinfo"); // 列 byte[] emailQualifier = Bytes.toBytes("email"); //列簇 byte[] nameFamily = Bytes.toBytes("name"); //列 byte[] firstNameQualifier = Bytes.toBytes("first"); byte[] lastNameQualifier = Bytes.toBytes("last"); // 创建一个正则表达式的比较器 RegexStringComparator emailFilter = new RegexStringComparator("rosalie@fabrikam.com"); // 创建一个filter,把这个正则比较器传进去 SingleColumnValueFilter filter = new SingleColumnValueFilter(contactFamily, emailQualifier, CompareOp.EQUAL, emailFilter); // 创建一个 scan对象 Scan scan = new Scan(); //把filter 传进去 scan.setFilter(filter); // 开始查询,并获取结果 ResultScanner results = table.getScanner(scan); // 遍历结果打印数据 for (Result result : results) { String id = new String(result.getRow()); byte[] firstNameObj = result.getValue(nameFamily, firstNameQualifier); String firstName = new String(firstNameObj); byte[] lastNameObj = result.getValue(nameFamily, lastNameQualifier); String lastName = new String(lastNameObj); System.out.println(firstName + " " + lastName + " - ID: " + id); byte[] emailObj = result.getValue(contactFamily, emailQualifier); String email = new String(emailObj); System.out.println(firstName + " " + lastName + " - " + email + " - ID: " + id); } //关闭结果 results.close(); //关闭表 table.close(); } }运行结果
Rosalie burton - ID: 5 Rosalie burton - rosalie@fabrikam.com - ID: 5
删除表
建立 DeleteTable 类
package org.crazycake.playhbase; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HBaseAdmin; /** * 删除表 * @author alexxiyang (https://github.com/alexxiyang) * */ public class DeleteTable { public static void main(String[] args) throws IOException { //创建配置 Configuration config = HBaseConfiguration.create(); // 建立 admin HBaseAdmin admin = new HBaseAdmin(config); // 先 disable 表,再delete admin.disableTable("people"); admin.deleteTable("people"); } }
去hbase检查下结果
hbase(main):004:0> list TABLE employee employee2 student users 4 row(s) in 4.8460 seconds => ["employee", "employee2", "student", "users"]
people表没有了
我遇到的问题
中间有一个小插曲,浪费了我一天的时间:
一开始我照这个教程 http://azure.microsoft.com/en-us/documentation/articles/hdinsight-hbase-build-java-maven/?rnd=1 做的时候发现我运行了代码发现长时间卡主,我就去hbase-master机器上看下日志,没有任何异常。
又到RegionServer 所在机器上看了下日志,没有任何异常。
然后我觉得可能hbase出了什么问题,我先停掉程序用hbase shell操作一下试试看,建了一个表,插入了一条数据,一切正常
hbase(main):002:0> create 'users','info' 0 row(s) in 36.5110 seconds => Hbase::Table - users hbase(main):003:0> list TABLE employee employee2 student users 4 row(s) in 0.4520 seconds => ["employee", "employee2", "student", "users"] hbase(main):004:0> put 'users',1,'info:name','ted' 0 row(s) in 0.8350 seconds hbase(main):005:0> scan 'users' ROW COLUMN+CELL 1 column=info:name, timestamp=1421252020520, value=http://www.mamicode.com/ted >
这样问题就有可能出在zookeeper上了,因为你的java API 不是直接跟hbase交互的,是先通过zookeeper交互,所以我就去看下zookeeper的日志,我用tail监听zookeeper日志
tail -200f /var/log/zookeeper/zookeeper.log
然后我运行java代码,看下zookeeper有没有报什么异常,不过很令我失望,zookeeper什么都没有报
用telnet来连接两台zookeeper机器也都ok,未发现问题。
我没办法只好用最土的方法,直接调试到源代码内部,发现了卡在了检测zookeeper是否可用的代码上
这里出现了一个localhost
联想到我在hbase 管理界面 (host1:60010)上看到的
估计是这个localhost有问题吧,造成java程序检测本机的2181,这样肯定会卡住的。
然后我去检查我的 host1 上的hbase-site.xml 文件,发现果然没有配置 hbase.zookeeper.quorum 这个参数,于是我配置上这个参数,然后重启hbase-master,再访问 host1:60010
这下比较像样了,然后我再去运行java代码,发现还是卡主!断点到checkIfBaseNodeAvailable发现获取到的配置还是localhost:2181!看来问题在于配置文件的解析上了。
继续断点配置文件的解析。
然后我就发现程序读取的配置文件居然不是hbase-site.xml 而是 zoo.cfg,这是怎么回事?!我看了下官方文档 “HBase 会优先加载 zoo.cfg 里面的配置,把hbase-site.xml里面的覆盖掉.” ,卧槽!既然这样,我就把 zookeeper 的配置文件zoo.cfg 干脆拷贝到 conf 文件夹下,再试试看。还是不行。
然后我突然想到这个hbase-site.xml根本没有加入编译,咋会被java读取到呢?所以我果断不理教程,自己建立了 resources 文件夹,并把这个文件塞到这个目录下,再运行就成了!
参考资料
- Use Maven to build Java applications that use HBase with HDInsight (Hadoop)
Alex 的 Hadoop 菜鸟教程: 第8课 Hbase 的 java调用方法
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。