首页 > 代码库 > HIVE 0.14.0安装
HIVE 0.14.0安装
本文原文出处: http://blog.csdn.net/bluishglc/article/details/41652111 严禁任何形式的转载,否则将委托CSDN官方维护权益!
1. 集群已经安装好Hadoop
2. 本次安装使用/usr/local作为安装目录
3. 专门为HIVE建立用户和用户组:hive:hive
1.安装
从官网下载apache-hive-0.14.0-bin.tar.gz以及apache-hive-0.14.0-src.tar.gz,后者主要用于build IWH的war包。
将apache-hive-0.14.0-bin.tar.gz解压至/usr/local,同时将文件夹的owner和group改为hive:hive. 为了方便可以建立一个名为hive的软连接指向apache-hive-0.14.0,如下图:
2. 配置环境变量
#vim /etc/profile
在文件尾部添加:
#HADOOP ENV VARIABLES
JAVA_HOME=/usr/java/jdk1.7.0_71
HADOOP_HOME=/usr/local/hadoop
HIVE_HOME=/usr/local/hive
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HIVE_HOME/hcatalog/bin:$HIVE_HOME/hcatalog/sbin
export JAVA_HOME HADOOP_HOME HIVE_HOME PATH
3. 配置HIVE
首先我们需要hive-site.xml和hive-log4j.properties两个文件,可以从默认的模板文件复制而来:
cd $HIVE_HOME/conf
cp hive-default.xml.template hive-site.xml
cp hive-log4j.properties.template hive-log4j.properties
以下是一些配置文件的参考:
3.1 hive-site.xml
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href=http://www.mamicode.com/"configuration.xsl"?>>
3.2 hive-log4j.properties
修改:
hive.log.dir=/var/hive/logs
3.3 webhcat-log4j.properties
修改:
webhcat.log.dir = /var/hive/logs
3.4 hcat_server.sh
在开头加上:
export HCAT_LOG_DIR=/var/hive/logs
3.5 webhcat_config.sh
在开头加上:
export WEBHCAT_LOG_DIR=/var/hive/logs
export WEBHCAT_PID_DIR=/tmp
4. 创建相关文件夹和设置权限
HIVE默认在HDFS上会使用/tmp和/user/hive/warehouse两个目录,如果我们以hive用户启动hive,它没有在根目录上的写权限,这样启动hive时就会报错, 所以需要我们通过hadoop的超级用户为hive建立这两个目录,并给赋予相应的权限给hive用户。
hadoop fs -mkdir -p /user/hive
hadoop fs -chgrp hive /user/hive
hadoop fs -chown hive /user/hive
hadoop fs -mkdir /tmp
hadoop fs -chmod a+w /tmp
另外,前面的很多配置项都使用了本地的一个/var/hive文件夹,这需要我们创建这个文件夹并assign给hive用户。
5. 构建hwi的war包
hive目前的发行包里没有hwi的war包文件,这个问题在0.13和0.14上都存在,没有这个war包就不能启动hwi服务。目前的解决方法是从源码手动build出这个war包,具体做法是:
5.1 下载hive 0.14.0的源码包并解压
5.2 解压后进入hwi子目录,该目录下的web文件夹正是war包的全部文件,我们需要做的就是通过jar命令把这个文件夹打包为war文件。在hwi目录下执行:
jar cvfM0 hive-hwi-0.14.0.war -C web/ .
执行之后 ,将生成的war文件拷贝至$HIVE_HOME/lib文件夹下,同时修改hive-site.xml文件夹中的: hive.hwi.war.file,将其value改为lib/hive-hwi-0.14.0.war
6. 安装MariaDB/MySql
HIVE需要使用一个关系型数据库存储元数据,对于MariaDB/MySql的安装本文不做赘述,只给出两个小贴士:
设置root用户远程连接数据库
GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘ IDENTIFIED BY ‘your-password‘ WITH GRANT OPTION;
为root用户设置密码
$ mysql -u root
mysql> use mysql;
mysql> update user set password=PASSWORD("new-password") where User=‘root‘;
mysql> flush privileges;
mysql> exit
另外,有两个地方是需要特别注意的:
- 必需要将数据库对应的JDBC驱动jar包拷贝至$HIVE_HOME/lib/目录下
- hive-site.xml中javax.jdo.option.*的配置项都是在配置与这个数据库连接的JDBC属性,所以要对应好。比如server名,driver名等等。
7. 启动
#启动metastore服务
nohup $HIVE_HOME/bin/hive --service metastore > /dev/null 2> /dev/null &
#启动hiveserver服务
nohup $HIVE_HOME/bin/hive --service hiveserver > /dev/null 2> /dev/null &
#启动hwi服务
nohup $HIVE_HOME/bin/hive --service hwi > /dev/null 2> /dev/null &
#启动hcat_server服务
$HIVE_HOME/hcatalog/sbin/hcat_server.sh start
#启动webhcat_server服务
$HIVE_HOME/hcatalog/sbin/webhcat_server.sh start
8. 常见错误及解决方法
8.1 hcat_server.sh start报如下错误:
Missing hive-site.xml, expected at [/usr/local/hive/conf/hive-site.xml]
这时需要把${HIVE_HOME}}/conf/hive-default.xml.template文件复制一份更名为hive-site.xml
8.2 hcat_server.sh start报如下错误:
Started metastore server init, testing if initialized correctly...
/usr/local/hive/hcatalog/sbin/hcat_server.sh: line 91: /usr/local/hive/hcatalog/sbin/../var/log/hcat.out: No such file or directory.Metastore startup failed, see /usr/local/hive/hcatalog/sbin/../var/log/hcat.err
这是因为启动hive进程的用户(就是hive:hive)对指定的log文件或目录没有写权限。解决方法是指定一个hive用户具有写权限的位置,然后在启动脚本里export变量HCAT_LOG_DIR!具体命令如下:
#mkdir -p /var/hive/logs
#chgrp hive /var/hive
#chown hive /var/hive
#vim ${HIVE_HOME}/hcatalog/sbin/hcat_server.sh
#export HCAT_LOG_DIR=/var/hive/logs
8.3 在root下使用sudo启动,报错:
webhcat: starting ...
webhcat: /usr/local/hadoop/bin/hadoop jar /usr/local/apache-hive-0.14.0-bin/hcatalog/sbin/../share/webhcat/svr/lib/hive-webhcat-0.14.0.jar org.apache.hive.hcatalog.templeton.Main
/usr/local/hive/hcatalog/sbin/webhcat_server.sh: line 143: ./webhcat-console.log: Permission denied
/usr/local/apache-hive-0.14.0-bin/hcatalog/sbin/webhcat_server.sh: failed to start. Check logs in .
原因:hive默认在启动用户的home目录下生成日志文件,这时候需要修改hive的log4j的配置文件!
vim $HIVE_HOME/hcatalog/etc/webhcat/webhcat-log4j.properties
webhcat.log.dir = /var/hive/logs
8.4 执行hive --service hwi,报错
ls: cannot access /usr/local/hive/lib/hive-hwi-*.war: No such file or directory
这是没有hwi的war包或配置的war路径不对引起的,解决方法参考第5章节。
8.5 启动时报错:
Unable to find a javac compiler;
com.sun.tools.javac.Main is not on the classpath.
Perhaps JAVA_HOME does not point to the JDK.
It is currently set to "/usr/java/jdk1.7.0_71/jre"
解决方法:
cp $JAVA_HOME/lib/tools.jar $HIVE_HOME/lib/
HIVE 0.14.0安装