首页 > 代码库 > Hive2.1.1的安装

Hive2.1.1的安装

2024-09-07 00:36:00   218人阅读

Hive2.1.1的安装

    1. Hive简介 
      • 1.1 在Hadoop生态圈中属于数据仓库的角色。Hive能够管理Hadoop中的数据，同时可以查询Hadoop中的数据。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。
      • 1.2 Hive定义了简单的类SQL查询语言，称为HQL ，它允许熟悉SQL的用户查询数据。同时，这个语言也允许熟悉MapReduce开发者的开发自定义的mapper和reducer来处理内建的mapper和reducer无法完成的复杂的分析工作。
      • 1.3 本质上讲，Hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job然后在Hadoop执行。Hive有一套映射工具，可以把SQL转换为MapReduce中的job，可以把SQL中的表、字段转换为HDFS中的文件(夹)以及文件中的列。这套映射工具称之为metastore，一般存放在derby、mysql中。
      • 1.4 Hive的表其实就是HDFS的目录，按表名把文件夹分开。如果是分区表，则分区值是子文件夹，可以直接在M/R的Job里使用这些数据。
    2. Hive的系统架构 
      技术分享 
      • 2.1 用户接口主要有三个：CLI，JDBC/ODBC和WebUI 
        CLI，即Shell命令行 
        JDBC/ODBC是Hive的Java，与使用传统数据库JDBC的方式类似 
        WebUI是通过浏览器访问Hive
      • 2.2 Hive将元数据存储在数据库中(metastore)，支持mysql、derby。Hive中的元数据包括表的名字、表的列和分区及其属性、表的属性（是否为外部表等）、表的数据所在目录等
      • 2.3 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划（plan）的生成。生成的查询计划存储在 HDFS 中，并在随后有MapReduce调用执行
      • 2.4 Hive的数据存储在HDFS中，大部分的查询由MapReduce完成（包含 * 的查询，比如select * from table不会生成MapRedcue任务，where后的条件是partition也不会生成M/R任务）

    3. 安装Hive

      • 3.1 下载Hive 
        下载Hive当前稳定版，将下载的apache-hive-2.1.1-bin.tar.gz拷贝到/root/Downloads目录下，解压到/usr/local目录下 
        tar -zxvf apache-hive-2.1.1-bin.tar.gz -C /usr/local/ 
        进入到/usr/local目录下，将解压后的文件重命名为hive-2.1.1 
        mv apache-hive-2.1.1-bin/ hive-2.1.1

      • 3.2 设置环境变量 
        vi /etc/profile

        export JAVA_HOME=/usr/local/java/jdk1.8.0_101
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.0
export HIVE_HOME=/usr/local/hive-2.1.1
export PATH=.:$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin
        • 1
        • 2
        • 3
        • 4
        • 1
        • 2
        • 3
        • 4

        使配置立即生效 
        source /etc/profile 
        hive没有提供hive –version这种方式查看版本，执行hive --help查看 
        技术分享

      • 3.3 设置Hive的配置文件 
        在目录$HIVE_HOME/conf/下，执行命令 
        cp hive-log4j2.properties.template hive-log4j2.properties拷贝一份重命名 
        修改property.hive.log.dir = /usr/local/hive-2.1.1/logs/ 
        暂时只配置这些

      • 3.4 启动Hive 
        Hadoop集群要先启动

        Starting from Hive 2.1, we need to run the schematool command below as an initialization step. For example, we can use “derby” as db type.

          $ $HIVE_HOME/bin/schematool -dbType <db type> -initSchema
        • 1
        • 1

        这是Hive的官方文档上描述的，Hive2.1的启动需要先执行schematool命令 
        由于Hive默认内嵌的是derby数据库，先使用默认的数据库运行 
        执行schematool -dbType derby -initSchema进行初始化 
        技术分享 
        执行命令hive进入到Hive Shell操作 
        技术分享

      此时Hive安装成功。 
      默认情况下，Hive的元数据保存在了内嵌的derby数据库里，但一般情况下生产环境使用MySQL来存放Hive元数据。

    4. 安装MySQL 
      参见Linux下安装MySQL
    5. MySQL的驱动包放置到$HIVE_HOME/lib目录下 
      下载MySQL驱动，本机使用的版本是mysql-connector-Java-5.1.36-bin.jar

    6. 修改Hive的配置文件 
      参见3.3，在目录$HIVE_HOME/conf/下，执行命令cp hive-default.xml.template hive-site.xml拷贝重命名 
      将hive-site.xml里面的property属性配置全部删除，Hive会加载默认配置。添加如下配置，Hive连接MySQL的配置

      <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://spark:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>root</value>
</property>
      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16
      • 1
      • 2
      • 3
      • 4
      • 5
      • 6
      • 7
      • 8
      • 9
      • 10
      • 11
      • 12
      • 13
      • 14
      • 15
      • 16

    7. 启动Hive 
      Hadoop集群要先启动

      • 7.1 执行命令hive 
        出现不能实例化metadata的错误 
        技术分享 
        以及MySQL连接被拒绝的错误 
        技术分享

      • 7.2 首先解决MySQL连接被拒绝问题

        mysql -uroot -proot
grant all privileges on *.* to root@‘spark‘ identified by ‘root‘;
flush privileges;
exit;
        • 1
        • 2
        • 3
        • 4
        • 1
        • 2
        • 3
        • 4

        技术分享 
        *.*代表全部数据库的全部表授权，也可以指定数据库授权，如test_db.*； 
        all privileges代表全部权限，也可以insert,update,delete,create,drop等； 
        允许root用户在Spark（Linux系统的主机名，IP映射）进行远程登陆，并设置root用户的密码为root。 
        flush privileges告诉服务器重新加载授权表。

      • 7.3 解决不能实例化metadata的错误 
        参见3.4，Hive2.1的启动需要先执行schematool命令进行初始化 
        schematool -dbType mysql -initSchema 
        技术分享

      • 7.4 再次执行hive，进入到Hive Shell 
        技术分享 
        此时Hive和MySQL连接安装部署成功。

    8. 查看MySQL数据库 
      hive-site.xml配置的是jdbc:mysql://spark:3306/hive?createDatabaseIfNotExist=true，即如果不存在hive数据库会创建 
      默认MySQL里的数据库 
      技术分享 
      此时在MySQL里查看数据库，多出了hive数据库 
      技术分享 
      查看hive数据库里的表

      use hive;
show tables;
      • 1
      • 2
      • 1
      • 2

      技术分享 
      可以看到Hive的元数据信息表

Hive2.1.1的安装


联系
我们