etl增量刷新业务系统数据的方案选择问题

houxp666 · 发表于 2012-7-2 18:16

piliskys 发表于 2012-6-27 09:13
能用物化视图日志就很好解决了，分清楚哪个步骤解决哪个问题就行了

按照你前几天给我说的利用快照日志的这个思路做了一些测试，觉得这个思路就是CDC，比较复杂

squall3128 · 发表于 2012-7-8 11:34

"2.时间戳方式。这个也对业务系统有侵入，而且要维护这个时间戳，这怕得修改程序，这也不现实的，没人去给我修改这么多程序。"
难道业务系统没有数据插入时间、数据修改时间么？

squall3128 · 发表于 2012-7-8 11:36

1.性能太烂。insert/update的性能现在最快到300，很难再提高，最后一个步骤update性能更差，多个转换同时跑时，还有少于10条每秒的，性能受不了。
请考虑能否增加索引么？
以前我遇到过，16w数据，没增加索引非常慢，增加了索引后。。哼哼。。

gszoracle · 发表于 2012-7-8 20:34

业务系统数据分布在各地还是集中的？

houxp666 · 发表于 2012-7-9 08:47

squall3128 发表于 2012-7-8 11:34
"2.时间戳方式。这个也对业务系统有侵入，而且要维护这个时间戳，这怕得修改程序，这也不现实的，没人去给我 ...

业务系统里，有的表根本就没有时间这个字段，仔细的分析，没有时间的表，也都可以跟随主表的时间，最多是数据重复传。时间戳这个方案，应该是可以的，只是要处理没有时间字段的表，让他跟着主表用关联，这就很麻烦了。

houxp666 · 发表于 2012-7-9 08:48

squall3128 发表于 2012-7-8 11:36
1.性能太烂。insert/update的性能现在最快到300，很难再提高，最后一个步骤update性能更差，多个转换同时跑 ...

insert/update增加索引确实是快点，但是，我的反复测试，也只是快到300多，不能上1千这个我都不能接受。

houxp666 · 发表于 2012-7-9 08:48

gszoracle 发表于 2012-7-8 20:34
业务系统数据分布在各地还是集中的？

分布的点很多，上千个

gszoracle · 发表于 2012-7-9 12:45

本帖最后由 gszoracle 于 2012-7-9 12:45 编辑

houxp666 发表于 2012-7-9 08:48
分布的点很多，上千个

这怎么管？
还不如把业务系统先集中起来更有效

cnpollux · 发表于 2012-10-4 10:35

CDC为什么不靠谱？或者用GoldenGate啊。

michaelwxl · 发表于 2012-12-10 12:42

CDC我部署过Autolog模式的，archivelog多的时候，加载归档的sequence#每次需要重建build 生成fst_SCN。类似于MV_LOG