首页 > 代码库 > Hive简介

Hive简介

Hive简介

1hive基本概念

hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。

其优点是学习成本低,可以通过SQL语句快速实现简单的MapReduce统计,不必开发专门的MapReduce应用,十分适合数据仓库的统计分析

Hive可以在HDFS上构建数据仓库来存储结构化的数据,这些数据来源于HDFS上的原始数据,hive提供了类似于SQL的查询语言HiveQL,可以执行查询变换数据等操作。通过解析,HiveQL语句在底层转换为相应的MapReduce操作

它还提供了一系列的工具进行数据提取转化加载,用来存储查询分析存储在Hadoop中的大规模数据集,并支持UDF、UDAF和UDTF,也可以实现对map和reduce函数的定制,为数据操作提供了良好的伸缩性可扩展性

hive是Facebook的信息平台的重要组成部分,Facebook在2008将其贡献给Apache,现已成为Apache旗下的一个独立子项目

 

2hive的组成

hive包括用户接口元数据库解析器数据仓库等组件。

hive 包括如下相关组件:

(1)      用户接口:包括 hive shell、Thrift客户端、Web管理

(2)      Thrift服务器:当hive以服务器模式运行时,可以作为Thrift服务器,供客户端连接。

(3)      元数据库:通常存储在关系型数据库 MySQL、Derby中。

(4)      解析器:包括编辑器、编译器、优化器、执行器,通过这一系列的处理对HiveQL查询语句的词法分析、语法分析、编译、优化以及查询计划的生成。查询计划由MapReduce调用执行。

(5)      Hadoop:数据仓库和查询计划存储在HDFS上,计算过程由MapReduce执行。


2.1 hive的体系结构

 

 

 

3hive的数据存储

hive提供了基本(原子)数据类型复杂数据类型,复杂数据类型是Java语言所不具有的。

3.1、基本(原子)数据类型

     基本(原子)数据类型包括数据值布尔类型字符串类型

基本数据类型

类型

描述

示例

TINYINT

1个字节(8位)有符号整数

1

SMALLINT

2字节(16位)有符号整数

1

INT

4字节(32位)有符号整数

1

BIGINT

8字节(64位)有符号整数

1

FLOAT

4字节(32位)单精度浮点数

1.0

DOUBLE

8字节(64位)双精度浮点数

1.0

BOOLEAN

true/false

true

STRING

字符串

‘xia’,”xia”

    hive不支持日期类型,在hive里日期都是用字符串来表示的,而常用的日期格式转化操作则是通过自定义函数进行操作。

hive是用Java开发的,hive里的基本数据类型和Java的基本数据类型也是一一对应的,除了String类型,有符号的整数类型:TINYINTSMALLINTINTBIGINT分别等价于Java的byteshortintlong原子类型,它们分别为1字节、2字节、4字节和8字节有符号数。hive的浮点数据类型FLOATDOUBLE,对应与Java的基本数据类型floatdouble类型。而hive的BOOLEAT类型相当于Java的基本数据类型boolean

对于hive的String类型相当于数据库的varchar类型,该类型是一个可变的字符串,不过它不能声明其中最多能存储多少个字符,理论上它可以存储2GB的字符数。

3.2、复杂数据类型

复杂数据类型包括数组(ARRAY映射(MAP结构体(STRUCT

复杂数据类型

类型

描述

示例

ARRAY

一组有序字段。字段的类型必须相同

Array(1,2)

MAP

一组无序的键/值对。键的类型必须是原子的,值可以是任何类型,同一个映射的键的类型必须相同,值得类型也必须相同

Map(‘a’,1,’b’,2)

STRUCT

一组命名的字段。字段类型可以不同

Struct(‘a’,1,1,0)

3.3、类型转换

Hive支持基本类型的转换,低字节的基本类型可以转化为高字节的类型,例如TINYINT、SMALLINT、INT可以转化为FLOAT,而所有的整数类型、FLOAT以及STRING类型可以转化为DOUBLE类型,这些转化可以从Java语言的类型转化考虑,因为hive就是用Java编写的。当然也支持高字节类型转化为低字节类型,这就需要使用hive的自定义函数CAST了。

 

4hive版本下载

4.1 hive所有版本下载地址

http://archive.apache.org/dist/hive/

最新版本  hive-0.13.1

 

4.2 hive官网下载地址

http://apache.petsads.us/hive/

 

5apache-hive-0.13.1-bin.tar.gz解压后的目录

6Hive配置文件介绍

•hive-site.xml      hive的配置文件

•hive-env.sh       hive的运行环境文件

•hive-default.xml.template  默认模板

•hive-env.sh.template    hive-env.sh默认配置

•hive-exec-log4j.properties.template   exec默认配置

•hive-log4j.properties.template log默认配置

Hive简介