首页 > 代码库 > Hive HQL学习

Hive HQL学习

2024-09-14 12:18:41   218人阅读

HQL学习

技术分享
 

1.hive的数据类型

技术分享

2.hive_DDL

2.1创建、删除、修改、使用数据库
技术分享
技术分享
 
 
技术分享
技术分享Default数据库，默认的，优先级相对于其他数据库是最高的
 

技术分享技术分享

2.2重点：创建表_内部表_外部表

hive通过sql来分析hdfs上结构化的数据，将数据文件映射为表的结构
  1. – create table person(
  2. – id int,
  3. – name string,
  4. – age int,
  5. – likes array<string>,
  6. – address map<string,string>
  7. –)
  8. – row format delimited
  9. – FIELDS TERMINATED BY ‘,‘
  10. – COLLECTION ITEMS TERMINATED BY ‘-‘
  11. – MAP KEYS TERMINATED BY ‘:‘
  12. – lines terminated by ‘\n‘;
  13. –Select address[‘city’] from person where name=‘zs’
第一点注意：ROW FORMAT row_format
技术分享
 
技术分享
 
序列化和反序列化要对数据文件进行拆分映射到表里面，那么ROW FORMAT 加上 DELIMITED 就是指定序列化和反序列化的规则，通俗讲就是如何进行数据的拆分，重写的规则就是ROW FORMAT 加上 SERDE
 
比如：技术分享
 
FIELDS TERMINATED BY ‘,‘        指定一行数据的字段按照，分割
COLLECTION ITEMS TERMINATED BY ‘-‘   如果是集合，按照-分割集合中的每个元素
MAP KEYS TERMINATED BY ‘:‘  map类型的按照：分割
LINES TERMINATED BY ‘\N‘   行之间按照换行符分割，这也是默认的
 
第二点注意：STORED AS file_format
技术分享
技术分享
 它指定文件在hdfs上以什么格式进行存储，默认是TEXTFILE
其他几种方式在存储时可以指定压缩，使用压缩（好处：减少磁盘占用空间，坏处：写的时候进行压缩，读的时候进行解压缩，都需要占用cpu资源，效率会打折扣）
 
第三点注意：定义字段时的特殊类型（array，map，struct）
技术分享
 
技术分享技术分享
 
第四点注意：想想插入测试数据（上面的那三条）会用insert语句么？
也可以，但是不会那样做，因为insert底层转化为MR
所以这里采用另一种方式：
技术分享
LOCAL：如果数据存在本地需要加LOCAL；如果存在hdfs上就不用了
                 如果是本地，那麽这种方式先上传到hdfs中一个临时文件，再将临时文件移动到hive中对应的数据存放目录下
                 如果是将hdfs中的数据加载进表，那么这种方式实际是讲hdfs中的数据文件移动到了hive的dir下（/user/hive/warehouse)
技术分享
 
第五点注意：外部表
创建外部表时，需要指定数据存放的位置
技术分享
技术分享
技术分享
创建外部表,会在hdfs中LOCATION指定的路径下创建和表名对应的目录
（而创建内部表，会在hive-site.xml中配置的dir下创建对应的目录）
技术分享
 
技术分享
技术分享技术分享

 删除内部表和外部表的区别?

1.删除内部表，会元数据信息联同数据一块进行删除（内部表数据的维护交由hive本身进行管理）
2.删除外部表，只会删除元数据信息，但是在hdfs上存储的数据还在（外部表则不是）
 
truncate table 表名
技术分享
 
第六点注意：将子查询的结果存储到新表中
技术分享
技术分享
技术分享
第一步：创建了表；第二部：将查出的结果插入到表中(注意这种方式在创建表时不能指定列，否则就会报错)
 
6.1这种方式什么时候会用？
    创建中间表的时候，如果需要一些数据可以通过这种方式来做。
6.2这种方式和  create table psn4 like psn3 的区别？
技术分享
 

3.hive_分区

1.分区表什么时候会用？

举例一：比如有一张人员表，分析一些日志数据，可以按照天进行分区，那么每一天的数据会存放在对应的分区中（会存储在每一天的目录下面）
举例二：有一个很大的表，里面存放了很多的日志，这时候可以采用分区，进行标识，分块管理
 
注意：分区的字段一定不能在表的列名里面
技术分享
 

2.分区表的创建，添加数据，查看对应分区下的数据，修改分区、删除分区

创建带有分区的表psn5
技术分享
 
创建了分区，进行插入数据，就需要指定分区字段，否则就会报错
技术分享
技术分享
技术分享
 
查看表，发现有两个分区（boy, girl）
技术分享
 
在hdfs中查看，发现目录下有两个目录对应两个分区
技术分享
 
查看指定分区下的数据
select * from psn5 where sex = ‘boy‘
 
添加分区
ALTER TABLE psn5 ADD PARTITION (sex = ‘weizhi‘)              //在一个表中添加一个分区
ALTER TABLE psn5 DROP PARTITION (sex = ‘weizhi‘)            //同时删除对应分区中的数据
 
  1. ---分区_指定两个分区字段
  2. create table psn5(
  3. id int,
  4. name string,
  5. likes ARRAY <string>,
  6. address MAP <string, string>
  7. )
  8. PARTITIONED BY(sex string，age int)
  9. ROW FORMAT DELIMITED
  10. FIELDS TERMINATED BY ‘,‘
  11. COLLECTION ITEMS TERMINATED BY ‘-‘
  12. MAP KEYS TERMINATED BY ‘:‘;
  14. ---创建分区后，再进行插入数据，就需要指定分区字段
  15. load data local inpath ‘/root/data‘ into table psn5 partition (sex=‘boy‘,age=1);
删除分区的时候，一定要注意（分区下可能还有分区）
技术分享
 

4.hive_DML

重点掌握1：load data方式，2：from insert ...插入数据
1.创建psn7,将数据从psn1中查出来，插入到psn7中
  1. create table psn7 like psn1;
  3. from psn1
  4. insert into table psn7 select id, name, likes, address
技术分享
思考一：hive其实就是写sql来分析hdfs上的数据，那么问题来了，以上这种方式做什么用？
    比如我们要分析一个WordCount,那么结果只是显示在控制台么，显然不是，我们要将hive sql运行的结果存储到另一张表中
为什么要将from放在上面呢？
    我们将对同一张表分析的多个指标写到结果表中，就不用写多个sql了，要不还需要join
技术分享

Hive HQL学习


联系
我们