首页 > 代码库 > OLAP --ODS 项目总结 -- 说说缓慢变化维
OLAP --ODS 项目总结 -- 说说缓慢变化维
如果不是OLAP 系统或者BI系统,我们在生产环境下常遇到这样的问题 需要同步两个表。比如交通驾驶人,每个月需要同步。
表O_DRIVER_SOURCE 是来自第三方的源表,O_DRIVER_TARGET是本系统需要使用的目标表。现在需要同步这两个表很容易想到的
解决方案是
1.使用存储过程,有点复杂
2. merge into 语句
Merge into target O_DRIVER_TARGET Using O_DRIVER_SOURCE On ( O_DRIVER_SOURCE.driver_id=O_DRIVER_TARGET.driver_id) When matched then Update Set O_DRIVER_TARGET.info=O_DRIVER_SOURCE.info When not matched then Insert Values(O_DRIVER_SOURCE.driver_id,O_DRIVER_SOURCE.name,O_DRIVER_SOURCE.info);
这是一个很简单的原型,但是有个问题,假设 源表删除的数据,需要在目标表中删除,这是个问题。
现在如果更复杂些需要定时监控这些表的变化如何解决,基本的步骤如下
1. 全表扫描源表。取出ID。
2.将ID 在 目标表中对比。
3.如果存在则更新目标表的字段。如果不存在在插入该表。
如果使用的是ORACLE ,使用job + cdc 是一个更佳的解决方案。
现在看看如果在ETL中,这种表如何处理,我们称之为缓慢变化维。
现将在Informatic中如何运行的方式 贴一贴。
1.SOURCE的定义 O_DRIVER_SOURCE
2 SQOUCE QUALIFER :进行过滤
3 EXPERESSION : 增加一列new_flag 记录最新的数据行
4 LOOKUP组件查找目标表TARGET :look up 组件,查找数据
5 ROUTER组件 : 做数据分发
6 UPDATESTRAGE组件 :如果 new_flag 为0 ,则做更新,如果 new_flag 为1 则做插入,如果new_flag为-1 则删除
7 目标表TARGET :O_DRIVER_TARGET
转:http://www.cnblogs.com/jerryxing/archive/2012/12/07/2807557.html
OLAP --ODS 项目总结 -- 说说缓慢变化维