Hive简介

首页 > 代码库 > Hive简介

2024-07-25 10:54:35 224人阅读

Hive简介

1、hive基本概念

hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive可以在HDFS上构建数据仓库来存储结构化的数据，这些数据来源于HDFS上的原始数据，hive提供了类似于SQL的查询语言HiveQL，可以执行查询、变换数据等操作。通过解析，HiveQL语句在底层被转换为相应的MapReduce操作。

它还提供了一系列的工具进行数据提取转化加载，用来存储、查询和分析存储在Hadoop中的大规模数据集，并支持UDF、UDAF和UDTF，也可以实现对map和reduce函数的定制，为数据操作提供了良好的伸缩性和可扩展性。

hive是Facebook的信息平台的重要组成部分，Facebook在2008年将其贡献给Apache，现已成为Apache旗下的一个独立的子项目。

2、hive的组成

hive包括用户接口、元数据库、解析器和数据仓库等组件。

hive 包括如下相关组件：

（1） 用户接口：包括 hive shell、Thrift客户端、Web管理

（2） Thrift服务器：当hive以服务器模式运行时，可以作为Thrift服务器，供客户端连接。

（3） 元数据库：通常存储在关系型数据库 MySQL、Derby中。

（4） 解析器：包括编辑器、编译器、优化器、执行器，通过这一系列的处理对HiveQL查询语句的词法分析、语法分析、编译、优化以及查询计划的生成。查询计划由MapReduce调用执行。

（5） Hadoop：数据仓库和查询计划存储在HDFS上，计算过程由MapReduce执行。

图2.1 hive的体系结构

3、hive的数据存储

hive提供了基本(原子）数据类型和复杂数据类型，复杂数据类型是Java语言所不具有的。

3.1、基本(原子)数据类型

基本(原子)数据类型包括数据值、布尔类型和字符串类型

基本数据类型
类型	描述	示例
TINYINT	1个字节（8位）有符号整数	1
SMALLINT	2字节（16位）有符号整数	1
INT	4字节（32位）有符号整数	1
BIGINT	8字节（64位）有符号整数	1
FLOAT	4字节（32位）单精度浮点数	1.0
DOUBLE	8字节（64位）双精度浮点数	1.0
BOOLEAN	true/false	true
STRING	字符串	‘xia’,”xia”

hive不支持日期类型，在hive里日期都是用字符串来表示的，而常用的日期格式转化操作则是通过自定义函数进行操作。

hive是用Java开发的，hive里的基本数据类型和Java的基本数据类型也是一一对应的，除了String类型，有符号的整数类型:TINYINT、SMALLINT、INT和BIGINT分别等价于Java的byte、short、int和long原子类型，它们分别为1字节、2字节、4字节和8字节有符号数。hive的浮点数据类型FLOAT和DOUBLE，对应与Java的基本数据类型float和double类型。而hive的BOOLEAT类型相当于Java的基本数据类型boolean。

对于hive的String类型相当于数据库的varchar类型，该类型是一个可变的字符串，不过它不能声明其中最多能存储多少个字符，理论上它可以存储2GB的字符数。

3.2、复杂数据类型

复杂数据类型包括数组（ARRAY）、映射（MAP）和结构体（STRUCT）

复杂数据类型
类型	描述	示例
ARRAY	一组有序字段。字段的类型必须相同	Array(1,2)
MAP	一组无序的键/值对。键的类型必须是原子的，值可以是任何类型，同一个映射的键的类型必须相同，值得类型也必须相同	Map(‘a’,1,’b’,2)
STRUCT	一组命名的字段。字段类型可以不同	Struct(‘a’,1,1,0)

3.3、类型转换

Hive支持基本类型的转换，低字节的基本类型可以转化为高字节的类型，例如TINYINT、SMALLINT、INT可以转化为FLOAT，而所有的整数类型、FLOAT以及STRING类型可以转化为DOUBLE类型，这些转化可以从Java语言的类型转化考虑，因为hive就是用Java编写的。当然也支持高字节类型转化为低字节类型，这就需要使用hive的自定义函数CAST了。

4、hive版本下载

4.1 hive所有版本下载地址

http://archive.apache.org/dist/hive/