首页 > 代码库 > Hadoop学习笔记-009-CentOS_6.5_64_HA高可用-Hadoop2.6+Zookeeper3.4.5安装Hive1.1.0

Hadoop学习笔记-009-CentOS_6.5_64_HA高可用-Hadoop2.6+Zookeeper3.4.5安装Hive1.1.0

参考:

http://www.cnblogs.com/fefjay/p/6044471.html

http://blog.csdn.net/totxian/article/details/45248399

 

创建hive用户

第一步,创建hive用户并赋权限

用mysql的root用户登录进入命令行

#mysql -uroot -p123456

 

 

技术分享

 

 

创建hive用户

mysql # create user hive identified by hive;

 

技术分享

 

给hive用户赋权限

 

mysql # grant all privileges on hivedb.* to hive@% identified by hive;mysql # grant all privileges on hivedb.* to hive@localhost identified by hive;

 

 

技术分享

 

技术分享

 

刷新mysql系统权限

# flush privileges;

 

技术分享

 

第二步,创建hive数据库

用root用户登录

# mysql -uroot -p123456

 

技术分享

 

创建hive的数据库

mysql # create database hivedb;

 

技术分享

查看hive的用户的数据库

mysql# show databases;

 

技术分享

 

用户hive用户登录

#mysql –uhive -phive

 

技术分享

Hive用户查看数据库

mysql# show database

 

技术分享

使用hivedb数据库

mysql#use hivedb

 

技术分享

 

创建表

mysql#create table test(name varchar(10));

 

技术分享

 

查看test表

mysql#show tables;

 

技术分享

 

 

安装hive

 

第一步,解压已下载好的hive安装包

#tar –zxvf hive-1.1.0-cdh5.4.5.tar.gz

 

 

 技术分享

 

解压后删除hive安装包,节省磁盘空间

#rm –rf hive-1.1.0-cdh5.4.5.tar.gz

 

技术分享

 

第二步,复制mysql的驱动包到hive安装目录的lib目录下

# scp mysql-connector-java-5.1.40-bin.jar /home/hadoop/app/hive-1.1.0-cdh5.4.5/lib

 

技术分享

 

第三步,root用户配置环境变量

#vi /etc/profile

 

添加以下配置

HIVE_HOME=/home/hadoop/app/hive-1.1.0-cdh5.4.5export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

 

技术分享

 

使环境变量及时生效

#source /etc/profile

 

技术分享

 

第四步,配置hive-env.sh

hadoop用户登录

#su hadoop

 

进入$HIVE_HOME/conf目录,并将文件hive-env.sh.template重命名为hive-env.sh

#mv hive-env.sh.template hive-env.sh

 

技术分享

打开hive-env.sh文件并修改配置

#vi hive-env.sh

 

技术分享

 

第五步,配置hive-site.xml文件

在$HIVE_HOME/conf目录下创建hive-site.xml文件

#cd /home/hadoop/app/hive-1.1.0-cdh5.4.5/conf#echo "" > hive-site.xml

 

技术分享

 

添加以下配置:

<?xml version="1.0" encoding="UTF-8"?><?xml-stylesheet type="text/xsl" href="http://www.mamicode.com/configuration.xsl"?><configuration>     <property>                <name>hive.exec.scratchdir</name>                 <value>hdfs://cluster1/hive/scratchdir</value>     </property>     <property>                <name>hive.metastore.warehouse.dir</name>                  <value>hdfs://cluster1/hive/warehouse</value>     </property>     <property>                <name>hive.querylog.location</name>                  <value>/home/hadoop/app/hive-1.1.0-cdh5.4.5/logs</value>                 </property>     <property>                <name>javax.jdo.option.ConnectionURL</name>                  <value>jdbc:mysql://192.168.150.103:3306/hivedb?createDatabaseIfNotExist=true</value>                 </property>     <property>                <name>javax.jdo.option.ConnectionDriverName</name>                  <value>com.mysql.jdbc.Driver</value>                 </property>     <property>                <name>javax.jdo.option.ConnectionUserName</name>                  <value>hive</value>                 </property>     <property>                <name>javax.jdo.option.ConnectionPassword</name>                  <value>hive</value>                 </property>     <property>                <name>hive.downloaded.resources.dir</name>                  <value>/home/hadoop/app/hive-1.1.0-cdh5.4.5/local/${hive.session.id}_resources</value>                 </property>     <property>                <name>hive.server2.logging.operation.log.location</name>                  <value>/home/hadoop/app/hive-1.1.0-cdh5.4.5/logs/operation_logs</value>                 </property></configuration>

其中,hive-site.xml文件中的hive.exec.scratchdir和hive.metastore.warehouse.dir的hdfs访问地址需要和hadoop的配置文件core-site.xml中fs.defaultFS的值一致,我的配置是hdfs://cluster1,如下

技术分享

 

hive-site.xml文件的配置如下

技术分享

 

技术分享

 

在$HIVE_HOME目录下创建local和logs目录

#mkdir local#mkdir logs

 

技术分享

 

 

 

第六步,配置log4j

进入到$HIVE_HOME/conf目录下

重命名hive-exec-log4j.properties.template为hive-exec-log4j.properties

#mv hive-exec-log4j.properties.template hive-exec-log4j.properties

 

重命名hive-log4j.properties.template 为hive-log4j.properties

#mv hive-log4j.properties.template hive-log4j.properties

 

技术分享

 

修改文件hive-exec-log4j.properties和hive-log4j.properties(修改以下两行)

hive.log.dir=/home/hadoop/app/hive-1.1.0-cdh5.4.5/logslog4j.appender.EventCounter=org.apache.hadoop.log.metrics.EventCounter

 

 

hive-exec-log4j.properties

技术分享

 

技术分享

 

 

hive-log4j.properties

技术分享

 

技术分享

 

 

第七步,启动hadoop 启动zookeeper,进入cdh3节点的~/tools目录#cd ~/tools/#./runRemoteCmd.sh "~/app/zookeeper-3.4.5-cdh5.4.5/bin/zkServer.sh start" zookeeper 启动HDFS,进入cdh1节点的~/app/hadoop-2.6.0-cdh5.4.5/sbin目录,执行./start-dfs.sh# cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin#./start-dfs.sh  启动YARN,进入cdh1节点的~/app/hadoop-2.6.0-cdh5.4.5/sbin目录,执行./start-yarn.sh # cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin#./start-yarn.sh 启动resourcemanager,进入cdh2节点的~/app/hadoop-2.6.0-cdh5.4.5/sbin目录# cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin# ./yarn-daemon.sh start resourcemanager  查看各节点进程,进入cdh1的~/tools目录下#cd ~/tools/#./runRemoteCmd.sh "jps" all ****************************关闭hadoop集群************************关闭cdh1的resourcemanager,进入cdh1节点的~/app/hadoop-2.6.0-cdh5.4.5/sbin目录,执行./yarn-daemon.sh stop resourcemanager #cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin#./yarn-daemon.sh stop resourcemanager  关闭yarn(也会关闭cdh2的resourcemanager),进入cdh2节点的~/app/hadoop-2.6.0-cdh5.4.5/sbin目录,执行./stop-yarn.sh #cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin# ./stop-yarn.sh  关闭HDFS,进入cdh1节点的~/app/hadoop-2.6.0-cdh5.4.5/sbin目录,执行./stop-dfs.sh# cd ~/app/hadoop-2.6.0-cdh5.4.5/sbin#./stop-dfs.sh  关闭zookeeper,进入cdh3节点的~/tools目录#cd ~/tools/#./runRemoteCmd.sh "~/app/zookeeper-3.4.5-cdh5.4.5/bin/zkServer.sh stop" zookeeper  查看进程,进入cdh1的~/tools目录下#cd ~/tools/#./runRemoteCmd.sh "jps" all

 

 

 

第八步,启动hive

#hive

 

 

技术分享

 

 

 

至此,Hive安装完成。

 

 

 

*********************************FAQ*******************************

hive-site.xml文件的hive.exec.scratchdir和hive.metastore.warehouse.dir,第一次我配置成了如下:

hive.exec.scratchdir     hdfs://cdh1:9000/ hive/scratchdirhive.metastore.warehouse.dir      hdfs://cdh1:9000/ hive/warehouse

 

 

发现启动有问题,于是就改成了hadoop中的core-site.xml配置文件中的fs.defaultFS的值,但是重启后仍会出现以下问题:

技术分享

 

像这种情况重启hive服务是无效的,仍会报错,需要用以下方式更正:

 

登录mysql  

#mysql –uhive –phive

 

以下是我的mysql中的数据库,其中hivedb是我的hive连接的数据库

技术分享

 

查看hivedb库的所有表:

技术分享

 

 

 

其中的DBS和SDS是需要修改的表,这两张表中保存着原来的hdfs的路径(也就是hdfs://cdh1:9000),修改成HA对应的别名即可(也就是core-site.xml文件中的hdfs://cluster1),修改如下

首先查看修改前的hivedb.DBS表的数据:

#select * from hivedb.DBS;

 

技术分享

 

然后修改hivedb.DBS表的hdfs存储路径,并查看修改后的数据,如下:

#update hivedb.DBS set DB_LOCATION_URI=hdfs://cluster1/hive/warehouse WHERE DB_ID=1;#update hivedb.DBS set DB_LOCATION_URI=hdfs://cluster1/hive/warehouse/hive.db WHERE DB_ID=6;

 

其中的条件DB_ID根据实际数据更新。

技术分享

 

然后查看修改前的hivedb.SDS表的数据:

# select * from hivedb.SBS;

 

技术分享

 

然后修改hivedb.SDS表的hdfs存储路径,并查看修改后的数据,如下:

# update hivedb.SDS set LOCATION=hdfs://cluster1/hive/warehouse/hive.db/test2 where SD_ID=6;# update hivedb.SDS set LOCATION=hdfs://cluster1/hive/warehouse/hive.db/test3 where SD_ID=11;

 

其中的条件SD_ID根据实际数据更新。

技术分享

 

重新进入hive,创建表并添加数据

 

 技术分享

 

该问题解决。

 

完成!

 

Hadoop学习笔记-009-CentOS_6.5_64_HA高可用-Hadoop2.6+Zookeeper3.4.5安装Hive1.1.0