使用Kettle同步数据

lihy114

我想知道在原库中保留增删改的信息，通过什么方式实现比较好？

触发器？

husthxd

lihy114 发表于 2013-11-20 17:51
我想知道在原库中保留增删改的信息，通过什么方式实现比较好？

触发器？

用触发器，单表还好，多表的话，运维也是一件麻烦事。
最好是通过etl工具本身来实现。

lihy114

husthxd 发表于 2013-11-20 17:56
用触发器，单表还好，多表的话，运维也是一件麻烦事。
最好是通过etl工具本身来实现。

etl本事来实现？您的意思是说采用第二种方法，通过将原库和目标库中的数据进行合并再判断？

还是通过etl就能实现对原库的增删改的记录

husthxd

lihy114 发表于 2013-11-20 17:58
etl本事来实现？您的意思是说采用第二种方法，通过将原库和目标库中的数据进行合并再判断？

还是通过e ...

etl工具不能实现对原库增删改的记录，但etl工具可以做到通过比较原库和目标库区分“增删改”的记录。
文档中有说明。

lihy114

husthxd 发表于 2013-11-21 10:38
etl工具不能实现对原库增删改的记录，但etl工具可以做到通过比较原库和目标库区分“增删改”的记录。
文 ...

但是如果对于大数据量的话，用kettle来实现对原库和目标库的合并比较比较吃力吧···比如几百万的数据量，这种方法应该不可行吧

husthxd

lihy114 发表于 2013-11-21 10:44
但是如果对于大数据量的话，用kettle来实现对原库和目标库的合并比较比较吃力吧···比如几百万的数据量 ...

不妨测试下。
我们试过几千万的数据，1个小时内可以完成。
测试的机器是普通pc server，windows系统。

lihy114

husthxd 发表于 2013-11-21 10:51
不妨测试下。
我们试过几千万的数据，1个小时内可以完成。
测试的机器是普通pc server，windows系统。
...

这个需要根据业务场景来选择了，这两种方法对于小数据量我都试了；大数据量没有测试

zhjfit

楼主请教个问题 合并记录完后的数据存到K1_TEST的表中，第一次是可以但第二次的时候K1_TEST中的表中就会有重复的数据了，就是说每执行一次就先要删除K1_TEST表中的数据后才能再添加？

husthxd

zhjfit 发表于 2014-4-1 17:25
楼主请教个问题 合并记录完后的数据存到K1_TEST的表中，第一次是可以但第二次的时候K1_TEST中的表中就会有重 ...

K1_TEST算是临时表了，每次都要清除数据。

zhjfit

husthxd 发表于 2014-4-2 09:11
K1_TEST算是临时表了，每次都要清除数据。

那我要每次运行这次转换就清空K1_TEST 要怎么弄？