首页 > 代码库 > hive安装以及hive on spark

hive安装以及hive on spark

2024-09-10 07:53:24   219人阅读

      spark由于一些链式的操作，spark 2.1目前只支持hive1.2.1

  1. hive 1.2安装

到http://mirror.bit.edu.cn/apache/hive/hive-1.2.1/ 网址下载hive1.2.1的部署包

     2.配置系统环境变量/etc/profile

export HIVE_HOME=/opt/hive-1.2.1

export PATH=$PATH:$HIVE_HOME/bin

source /etc/profile 使刚刚的配置生效

 

     3. 解压

tar -xvf apache-hive-1.2.1-bin.tar
mv apache-hive-1.2.1-bin /opt/hive-1.2.1

 

     4.修改配置文件

        可不做任何修改hive也能运行，默认的配置元数据是存放在Derby数据库里面的，大多数人都不怎么熟悉，我们得改用mysql来存储我们的元数据，以及修改数据存放位置和日志存放位置等使得我们必须配置自己的环境，下面介绍如何配置。

cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml
cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh
cp $HIVE_HOME/conf/hive-exec-log4j.properties.template $HIVE_HOME/conf/hive-exec-log4j.properties
cp $HIVE_HOME/conf/hive-log4j.properties.template $HIVE_HOME/conf/hive-log4j.properties

修改 hive-env.sh

vi $HIVE_HOME/conf/hive-env.sh

  export HADOOP_HOME=/root/hadoop

  export HIVE_CONF_DIR=/opt/hive-1.2.1/conf

修改 hive-log4j.properties

mkdir $HIVE_HOME/logs
vi $HIVE_HOME/conf/hive-log4j.properties
修改log.dir的目录
hive.log.dir=/opt/hive-1.2.1/logs

修改 hive-site.xml

 

cp mysql-connector-java-5.1.17.jar $HIVE_HOME/lib   //复制mysql驱动包

hive安装以及hive on spark


联系
我们