（基于时间戳方式的ETL）2个大表的对比

sweetwow

husthxd 发表于 2012-12-24 15:23
目前在使用kettle，处理方式是通过对比增量更新的机制，输入是新旧两个数据源，通过关键字进行数据值比对 ...

恩 这个跟我现在用的甲方找人开发的工具差不多
这个工具是完全pl/sql的
有功夫我要好好研究一下

sweetwow

starhot 发表于 2012-12-24 15:26
Steps of Solution1:
1. 分区--基于业务创建
2. 创建中间表，存储ERP表的PK字段,基于PK的范围值进行并行l ...

Steps of Solution1 - 这个很好

创建针对删除的Trigger基于ERP表 - 这个不太现实

starhot

sweetwow 发表于 2012-12-24 15:31
Steps of Solution1 - 这个很好

创建针对删除的Trigger基于ERP表 - 这个不太现实

如果你的记录量很大，如果经常采用方案1进行数据清理动作，比如每天一次，那么你就不一定会认为方案会很好，方案2固然实现周期长，但如果每天即便你做多次数据清理动作，也不会耗费很多时间。

同时，针对方案1，你可以考虑如果你能保证在某段时间以前的记录会产生Delete的动作，那边你可以将这部分的数据在staging表和DW表时就不用考虑，这样也会增加处理的性能。

个人认为：很多ETL for DW的方案都是要参考业务进行设计的，同时结合DB的分区，并行等技术，这样会有意想不到的效果。

husthxd

sweetwow 发表于 2012-12-24 15:30
恩 这个跟我现在用的甲方找人开发的工具差不多
这个工具是完全pl/sql的
有功夫我要好好研究一下

输入的流是经过排序的，类似于merge join的方式。
性能方面，在普通的pc机上，大概是5w/min。