首页 > 代码库 > hive 求差集
hive 求差集
hive求差集的方法
1、什么是差集
set1 - set2，即去掉set1中存在于set2中的数据。
2、hive中计算差集的方法，基本是使用左外链接。
直接上代码
select * from table1 t1 left outer join table2 t2 on t1.id = t2.id where t2.id = null;
3、一般来说我们要先去重，使得两个表都变成集合，元素唯一。
先对table2(右表)去重然后再计算差集。
select * from
(
select * from table1 where year=2017 and month=07 and day=01
) t1
left outer join
(
select * from (select *,row_number() over(partition by id) num from table2 where year=2017 and month=07 and day=01) t where t.num =1) t2
on t1.id = t2.id where t2.id==null;
hive 求差集
声明：以上内容来自用户投稿及互联网公开渠道收集整理发布，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任，若内容有误或涉及侵权可进行投诉： 投诉/举报 工作人员会在5个工作日内联系你，一经查实，本站将立刻删除涉嫌侵权内容。