首页 > 代码库 > Hive bucket

Hive bucket

Hive中不支持对数据的改写和添加,所有的数据都是在加载的时候中确定好的

由于数据的访问延迟较高,决定了 Hive 不适合在线数据查询

Hivebucket:

hive中table可以拆分partition,table和partition可以通过‘CLUSTERED(聚集) BY ’进一步分bucket,bucket中的数据可以通过‘SORT BY’排序

ucket主要作用:

1. 数据sampling(抽样)

2. 提升某些查询操作效率,例如map side join

需要特别注意的是:clustered by和sorted by不会影响数据的导入,这意味着,用户必须自己负责数据如何如何导入,包括数据的分桶和排序。

‘sethive.enforce.bucketing = true‘ 可以自动控制上一轮reduce的数量从而适配bucket的个数,当然,用户也可以自主设置mapred.reduce.tasks去适配bucket个数,推荐使用‘set hive.enforce.bucketing = true‘ 

示例:

建临时表user_tmp并导入数据:

hive> select * from user_tmp;

Id      age     name      stat

1       20     zxm     20140801

2       21     ljz       20140801

3       19     cds      20140801

建student表:

hive>create table user(id INT, age INT, nameSTRING)

       >partitionedby(stat_date STRING) 

       >clustered by(id) sorted by(age)into 2 bucket

       >row formatdelimited fields terminated by ‘,‘;

设置环境变量:

       >set hive.enforce.bucketing = true; 

插入数据:

     >from student_tmp 

       >insert overwrite table user partition(stat_date="20140802") 

       >select id,age,name where stat_date="20140801" sort by age;


查看文件目录:

$ hadoop fs -ls /user/hive/warehouse/usertstat_date=20120802/

Found 2 items

-rw-r--r--   1 work supergroup         31 2014-07-3119:52 /user/hive/warehouse/user/stat_date=20120802/000000_0

-rw-r--r--   1 work supergroup         39 2014-07-3119:52 /user/hive/warehouse/user/stat_date=20120802/000001_0


查看sampling数据:

hive>select*from user tablesample( bucket

1out of 2 on id);                                                                           

Total MapReduce jobs = 1

4       18     mac     20120802

2       21     ljz     20120802

6       23     symbian 20120802


tablesample是抽样语句,语法:TABLESAMPLE(BUCKETx OUT OF y)

y必须是table总bucket数的倍数或者因子。hive根据y的大小,决定抽样的比例。例如,table总共分了64份,当y=32时,抽取(64/32=)2个bucket的数据,当y=128时,抽取(64/128=)1/2个bucket的数据。x表示从哪个bucket开始抽取。例如,table总bucket数为32,tablesample(bucket 3 out of 16),表示总共抽取(32/16=)2个bucket的数据,分别为第3个bucket和第(3+16=)19个bucket的数据。