首页 > 代码库 > kettle数据同步方法

kettle数据同步方法

1、实时性要求不高,采用全删全插的方式(适合于维度表、大数据量表)

技术分享

2、有时间维度,直接从事实表同步的数据,可以采用根据时间字段进行筛选,增量同步。这个网上有很多例子,就不重复写了。

 

3、没有时间维度,同时表数据量比较大,且不能采用全删全插方式的,可以采用增量更新的方法。

技术分享

 

在第三种方法中,尤其需要注意3点。

1、新旧数据源的结构和字段名需要保持一致。在sql中,可以给字段取别名,字段的顺序要保持一致。

2、若从不同数据库中进行比较,如sqlserver和MySQL,则需要对数据的类型进行转换,确保数据类型一致。可以在上图中新旧数据源与合并记录的连线处增加,字段选择控件,对字段的类型进行限定。

3、新旧数据源输入时,需要将数据源按照同样的规则进行排序。这一点在大表同步时非常重要,可能在同步小数据量的表时,没有影响,在大表同步时,若没有加上排序,会导致同步的结果异常。

 

kettle数据同步方法