etl增量刷新业务系统数据的方案选择问题

zhoujiongfield

houxp666 发表于 2012-7-9 08:47
业务系统里，有的表根本就没有时间这个字段，仔细的分析，没有时间的表，也都可以跟随主表的时间，最多是 ...

从业务上来讲，主从表的数据同步本来就应该一同进行。
是否可以采用增量同步，和表的业务情况也有关系，一些快照表，可能本身就应该每次全量截取快照，不应该去强行做增量。况且从你描述来看，每个县市的表数据量也不大。
除了时间戳、日志榨取、CDC或触发器，增量抽取还有一种方案是做全表比对，也可以尝试一下。

另外，我也用过kettle，效率没你说的那么低吧？尽量使用数据库自身脚本去处理业务逻辑，少用kettle自带的组件。比如你的insert/update组件，完全可以通过sql脚本组建中编写oracle merge into的语句实现，效率肯定提高不少。

husthxd

kettle没有楼主说的这么不济吧？
把kettle的方案摆出来讨论讨论？

hjinhe

这个问题我痛苦了一年多，考虑的几个问题：
1 源表数据删除情况
2 源表主键有多个字段，当用户更新其中一个字段的时候（cdc解决不了这个问题）
3 确保BI系统的ods表和业务系统一致
我公司用cdc，10g的版本，但是维护工作量太麻烦了，当某个表新加字段的时候很麻烦。反正现在不用cdc了，
在业务系统新建一个用户，里面建立一套业务系统一致的表，每个表只放主键和时间戳记录，好处：
1 解决了上面的两个问题
2 能恢复业务系统没有时间错的缺陷，方便业务系统维护人员查询记录写入更新时间
3 就算对性能有影响，但是不至于影响业务的程度

houxp666

hjinhe 发表于 2012-12-29 07:03
这个问题我痛苦了一年多，考虑的几个问题：
1 源表数据删除情况
2 源表主键有多个字段，当用户更新其中一 ...

谢谢你的方案。可否进一步说一下这个新用户的数据是如何维护的，用触发器还是修改程序，以维护时间戳和数据的变动？