首页 > 代码库 > 分布式HBase-0.98.3环境搭建

分布式HBase-0.98.3环境搭建

 

Hbase是一个分布式,版本化(versioned),构建在 Apache Hadoop和 Apache ZooKeeper上的列数据库.本文使用默认的Zookeeper,构造HDFS基础上的分布式Hbase。

1 安装环境

操作系统:Ubuntu-12.04     

JDK版本:jdk1.7.0_51  

计算机台数:2 (master:192.168.44.130   slave1:192.168.44.131)

2 预安装配置

安装Hadoop-2.2.0集群

安装SSH及设置SSH免密码登录

配置/etc/hosts 及/etc/hostname

3 启动停止Hbase

启动 

bin/start-hbase.sh

停止

bin/stop-hbase.sh

4 环境变量

在文件conf/hbase-env.sh中加入

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51

export HBASE_HEAPSIZE=4096

 5 设置ulimit 和 nproc

HBase是数据库,会在同一时间使用很多的文件句柄。大多数linux系统使用的默认值1024是不能满足的,会导致FAQ: Why do I see "java.io.IOException...(Too many open files)" in my logs?异常。所以你需要修改你的最大文件句柄限制。可以设置到10k. 你还需要修改 hbase 用户的 nproc,如果过低会造成OutOfMemoryError异常。

在文件 /etc/security/limits.conf (其中hadoop是运行Hbase和Hadoop的用户)添加一行

hadoop - nofile 32768


hadoop soft/hard nproc 32000

另外,在 /etc/pam.d/common-session 加上这一行

session required pam_limits.so

否则在 /etc/security/limits.conf上的配置不会生效.还有注销再登录,这些配置才能生效!

6 配置

  除非运行在实现了持久化同步(sync)的HDFS上,HBase 将丢失所有数据。Sync必须显式开启。即 dfs.support.append 同时在客户端和服务器端设为真,客户端: hbase-site.xml ,服务器端: hdfssite.

xml。修改后必须重启集群。

  一个 Hadoop HDFS Datanode 有一个同时处理文件的上限. 这个参数叫 xcievers (Hadoop的作者把这个单词拼错了).配置这个文件conf/hdfs-site.xml里面的xceivers参数,至少要有4096。

hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>

<property>     <name>dfs.support.append</name>     <value>true</value> </property>

<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
  <description>The mode the cluster will be in. Possible values are
  false: standalone and pseudo-distributed setups with managed Zookeeper
  true: fully-distributed with unmanaged Zookeeper Quorum (see hbase-env.sh)
  </description>
</property>

hdfs-site.xml

<property>     <name>dfs.support.append</name>     <value>true</value> </property>

<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>4096</value>
</property>

完全分布式模式的还需要修改conf/regionservers,一行写一个host (就像Hadoop里面的 slaves 一样). 列在这里的server会随着集群的启动而启动,集群的停止而停止.

 

在hbase-env.sh里将HBASE_CLASSPATH环境变量加上HADOOP_CONF_DIR。

7 分发

scp -r hbase-0.98.3-hadoop2 slave1:~/

8 运行和确认你的安装

首先确认你的HDFS是运行着的。你可以运行HADOOP_HOME中的 bin/start-hdfs.sh 来启动HDFS.你可以通过put命令来测试放一个
文件,然后有get命令来读这个文件。通常情况下Hbase是不会运行mapreduce的。所以比不需要检查这些。
如果你自己管理ZooKeeper集群,你需要确认它是运行着的。如果是Hbase托管,ZoopKeeper会随Hbase启动。

 

一旦Hbase启动,可以建表,插入数据,scan你的表,还有disable这个表,最后把它删掉。