首页 > 代码库 > kettle数据同步方法
kettle数据同步方法
1、实时性要求不高,采用全删全插的方式(适合于维度表、大数据量表)
2、有时间维度,直接从事实表同步的数据,可以采用根据时间字段进行筛选,增量同步。这个网上有很多例子,就不重复写了。
3、没有时间维度,同时表数据量比较大,且不能采用全删全插方式的,可以采用增量更新的方法。
在第三种方法中,尤其需要注意3点。
1、新旧数据源的结构和字段名需要保持一致。在sql中,可以给字段取别名,字段的顺序要保持一致。
2、若从不同数据库中进行比较,如sqlserver和MySQL,则需要对数据的类型进行转换,确保数据类型一致。可以在上图中新旧数据源与合并记录的连线处增加,字段选择控件,对字段的类型进行限定。
3、新旧数据源输入时,需要将数据源按照同样的规则进行排序。这一点在大表同步时非常重要,可能在同步小数据量的表时,没有影响,在大表同步时,若没有加上排序,会导致同步的结果异常。
kettle数据同步方法
声明:以上内容来自用户投稿及互联网公开渠道收集整理发布,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任,若内容有误或涉及侵权可进行投诉: 投诉/举报 工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。