大家ETL都用哪些工具比较多？ - 数据仓库与数据挖掘 - ITPUB论坛

owlstudio
db.dw.dm@gmail.com

9i OCP

来自北京
精华贴数 0
个人空间 154
技术积分 2187 (727)
社区积分 65 (4285)
注册日期 2005-3-16
论坛徽章:9

#11

使用道具

发表于 2008-7-4 16:42

QUOTE:

原帖由 senaku 于 2008-7-4 01:01 发表

使用kettle处理上亿条数据的多表连接.
导出的结果与数据库内部测试结果相差太大---->结果本应有上亿条,用kettle导出来只有100多万条,极度郁闷ing.

3张表
表a----->1亿多条记录
表b----->9千万条记录
表c----->30万条记录

需求需要连接这3张表,大家是如何处理的?

兄弟用到kettle吗？能谈谈项目的感受吗？

__________________

纸上来得终觉浅，绝知此事要躬行！

MSN/Email: db.dw.dm@gmail.com 欢迎交流！
BLOG: 专注 - 思考 - 创新

1. Oracle数据库备份与恢复总结

2. 10g 新特性 Recyclebin 空间的自动清理

只看该作者

bestball
一般会员

精华贴数 0
个人空间 0
技术积分 205 (9236)
社区积分 33 (5974)
注册日期 2003-1-28
论坛徽章:0

#12

使用道具

发表于 2008-7-4 17:25

QUOTE:

原帖由 owlstudio 于 2008-7-4 16:25 发表

informatica有哪些方面比较糟糕呢？

不够灵活？还是性能上不行？

个人觉得是informatica操作太繁琐，功能还算不错的吧。

只看该作者

liangf215

来自火星
精华贴数 0
个人空间 0
技术积分 1723 (966)
社区积分 711 (1149)
注册日期 2005-4-27
论坛徽章:5

#13

使用道具

发表于 2008-7-4 22:45

以前用SSIS，SSIS总结起来简单、上手快，但存在bug，对SQL Server数据库衔接的不错，但是对别的数据存在不兼容有些功能不能使用的缺陷，而且数据量特别大的时候ETL比较吃力；
现在再用ds，感觉一个字繁，当源是用户自己写的SQL时数据源stage output不能自动映射输出列，需要自己添加，顺序还要对应好，不过ds用DB2数据库时抽取速度的确客观；
informatica没实际用过，不发表评论，希望大家继续给出自己的使用经验。

__________________

My Blog：www.mowoa.com 数据库数据仓库

好铺好米http://6san.e.now.cn

MSN：zhang_wust@hotmail.com
即便一小步，也有新高度。做最好的自己，我能！！！

只看该作者

hch2001cn
初级会员

精华贴数 0
个人空间 0
技术积分 20 (54304)
社区积分 0 (697552)
注册日期 2005-11-23
论坛徽章:0