查看: 33076|回复: 17

[转载] 几个ETL工具的比较,不知道是否准确。

[复制链接]
论坛徽章:
0
跳转到指定楼层
1#
发表于 2011-3-17 19:35 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
 ETL厂商ReikingIBM information server(datastage)informaticOnceDIbeeloadODI(oracle data integrate
基本架构支持运行平台windows/unix/linuxwindows/unix/linuxwindows/unix/linuxwindowswindows/linuxwindows/linux
数据访问模式支持绝大部分支持绝大部分支持绝大部分支持绝大部分支持绝大部分支持绝大部分支持
数据抽取方式支持生成文件(落地)再导入;直接导入;消息协议直接导入;导入方式,数据导入支持批量加载(sql loader方式)、insert模式、行删除模式
其中insert模式是插入到临时表,然后更新,需要手工写update语句,配置比较复杂,
行删除模式这种方式不考虑,性能肯定会非常差。
批量加载模式,是对方工程师推荐的测试方案,其性能应该是最快的.以下测试是基于批量加载模式
直接导入;数据导入目的库有两种加载方式

normal和bulk,即普通插入和批量加载。
批量加载需要先将索引drop掉,在加载完成后重新创建,但是这种方式在对付
大数据量时很慢,例如下文测试hisdeliver 1个月的数据抽取,286万记录,需要4分47秒,比普通插入
要慢很多。下面的测试结果由informatic的工程师,其基于normal模式
只支持落地方式直接导入直接导入也可以使用dblink(oracle->oracle),透明网关(sql->oracle))
实时增量ETL支持递增字段实现,触发器模式,支持Oracle CDCCDC,实现秒级别的增量CDC,实现秒级别的增量,另外付费购买触发器模式/递增字段实现触发器模式/递增字段实现触发器模式/递增字段实现/stream(cdc)
性能单表hisdeliver抽取,记录数124810,耗时比较1分16秒17秒15秒3分42秒2分7秒19S
单表hisdeliver抽取,记录数2859999,耗时比较22分12秒6分12秒2分58秒30分钟以上未测试3分49S
采集sqlserver数据;采集表zygd(记录数:597872)测试报错41秒16秒未测试3分17秒19S
流程中是否支持并行加载支持支持支持不支持,只能手工同时发起多个流程来实现并行加载支持支持(流程中串行异步模式)
并行加载性能client
730279行
5分钟1分14秒2分02秒14分33秒无法对并行流程进行更新的监控,只有整体运行完成时间,7分12秒2分13秒
clientinfo 739278行7分钟2分18秒1分50秒14分07秒1分29秒
stockholder 108378911分钟2分59秒3分01秒14分50秒3分23秒
hisdeliver 124810行未加载48秒20秒4分31秒2分44秒
异常处理 支持邮件通知支持邮件通知支持邮件通知不支持支持邮件通知支持邮件通知
ETL管理权限管理支持支持支持支持 支持
ETL工作流支持顺序、并行工作流、支持时间、事件触发支持顺序、并行工作流、支持时间、文件到达触发支持顺序、并行工作流、支持时间、事件、文件到达触发支持顺序工作流、支持时间触发支持顺序、并行工作流、支持时间。在工作流支持循环支持顺序、并行工作流、支持时间
流程触发定时、事件只能定时(支持到天级别),比较弱定时(支持到分钟级别)、事件触发 定时、事件触发定时、事件触发
运行监控较弱较强较强较弱较弱有专门的WEB工具来展示
ETL日志与报告详细,但是出错信息需要查bad数据文件很详细,能够看到所有的操作很详细,能够看到所有的操作不是很详细比较详细比较详细
部署强,采用SOA架构,可以任意发布服务较强较强可以任意发布可以任意发布,按机器进行收费可以任意发布,按CPU进行收费
流程调度可以按日定时调度;可以支持到秒级别的轮询调度(实现实时采集);无法支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量,必须通过外部shell调用替换可以按日定时调度;无法支持到秒级别的轮询调度(实现实时采集);无法支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程;支持变量模式,无法支持变量从某个表读取然后替换相应的变量,必须通过外部shell调用替换可以按日定时调度;可以支持到秒级别的轮询调度(实现实时采集);无法支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量,必须通过外部shell调用替换可以按日定时调度;可以支持到秒级别的轮询调度(实现实时采集);无法支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程可以按日定时调度;可以支持到秒级别的轮询调度(实现实时采集);支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程可以按日定时调度;可以支持到秒级别的轮询调度(实现实时采集);支持事件触发(例如清算完成)调度,必须编写调度程序,通过API调用流程;支持变量模式,支持变量从某个表读取然后替换相应的变量,必须通过外部shell调用替换
 其他印象(可操作性,易用性,界面友好性)      
在都采用批量加载时,大量数据时的性能hisdeliver 2859999行 6分12秒5分27秒   
hisdeliver 4350338行 10分53秒6分51秒(5分钟导数据,1分51秒建索引   
hisdeliver 12222466行 29分56秒(25分钟导数据,4分56秒)18分4秒(13分24秒导数据,4分40秒建索引)   
hisoperationtotal 57747239行 27分21秒(20分2秒导数据;7分19秒建索引)26分56秒(17分10秒导数据,9分46秒导数据)   
在都采用批量加载时,大量数据时的性能(不带索引)hisdeliver 8276997行 19分40秒bulk:10分23秒
normal:10分31秒
   
hisoperationtotal 17896802行 5分24秒4分18秒   
在都采用批量加载时,大量数据时的性能(不带索引)hisdeliver 在上述里已有8276997行数据后,再次追加3945469行 8分47秒6分钟   
在都采用批量加载时,大量数据时的性能(不带索引)hisdeliver 加载3945469行 7分52秒6分10秒   
论坛徽章:
66
现任管理团队成员
日期:2011-05-07 01:45:08版主9段
日期:2013-04-21 02:21:02ITPUB年度最佳版主
日期:2014-02-19 10:05:27ITPUB年度最佳版主
日期:2013-01-30 17:30:25ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05优秀写手
日期:2013-12-18 09:29:15元宝章
日期:2015-02-10 19:57:54金牌徽章
日期:2015-02-10 19:59:42银牌徽章
日期:2015-02-10 19:59:42铜牌徽章
日期:2015-02-10 19:59:41
2#
发表于 2011-3-18 15:48 | 只看该作者
基本属实

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
114
SQL数据库编程大师
日期:2013-12-06 13:59:43萤石
日期:2013-12-06 15:50:21ITPUB元老
日期:2007-09-25 17:05:532011数据库大会纪念章
日期:2015-04-23 10:33:192010数据库技术大会纪念徽章
日期:2015-04-23 10:33:19喜羊羊
日期:2015-03-24 13:02:282015年新春福章
日期:2015-03-06 11:57:31喜羊羊
日期:2015-03-04 14:49:39马上有房
日期:2015-01-22 17:30:45马上加薪
日期:2014-12-25 08:48:51
3#
发表于 2011-3-18 16:13 | 只看该作者
Reiking 还有人测试啊,

informatica 是支持事件触发的

使用道具 举报

回复
论坛徽章:
0
4#
发表于 2011-8-31 05:39 | 只看该作者
感谢!能再比较下talend就好了

使用道具 举报

回复
论坛徽章:
0
5#
发表于 2011-9-2 13:36 | 只看该作者
ODI 是ELT的。。。 主要使用 数据库本身的功能来实现ETL
ODI可以在 windows linux unix上部署    包括 agent和studio
效率
数据抽取方式上我也不理解 ,为何是落地? ODI是把抽取的数据放到一个临时区域进行ETL处理,然后插入目标表。入口那端 的优化我还没完全弄清楚,ds和infomatic 的所谓批量也就是利用数据库的功能而已 ,比如  并行 无日志 直接 失效索引 等等。。。 把目标表的索引失效掉,然后比较ds和odi 应该大部分情况下的ETL都差不远 。。。
异常处理方面  ODI 能支持,可以发邮件设置提供了接口,你可以写个小程序连接企业内的短信平台直接发短信
监控方面  强弱能否写清楚? DS的监控可以到job中的每个stage , ODI也能到stage基本(监控一个接口的每一步有没有完成)

不过需要注意的是, 其实 ODI不是一个完整的 ETL工具 , 我认为   ODI + OWB 才是完整的。。。 不然ODI处理复杂逻辑跟DS等没得比 。。。接口和过程的限制还是很多的 ,这点要承认。。。。现在 oracle在整合 odi和owb ,拭目以待。

使用道具 举报

回复
论坛徽章:
0
6#
发表于 2011-9-5 16:28 | 只看该作者
不错的比较 但是有informatic打广告的嫌疑啊 呵呵

使用道具 举报

回复
论坛徽章:
67
现任管理团队成员
日期:2012-06-02 02:10:00ITPUB元老
日期:2012-09-12 14:06:14ITPUB社区千里马徽章
日期:2013-06-09 10:15:34季节之章:冬
日期:2012-09-04 11:05:30季节之章:春
日期:2012-09-05 09:20:36优秀写手
日期:2013-12-18 09:29:09马上有房
日期:2014-04-10 13:35:362014年新春福章
日期:2014-04-14 09:54:08马上有车
日期:2014-02-28 16:43:13马上加薪
日期:2014-02-19 11:55:14
7#
发表于 2011-9-15 21:47 | 只看该作者
真是不错的分析...

使用道具 举报

回复
论坛徽章:
32
奥运会纪念徽章:蹦床
日期:2008-10-24 13:19:51迷宫蛋
日期:2012-05-17 21:15:50奥运会纪念徽章:皮划艇激流回旋
日期:2012-08-07 09:26:35ITPUB 11周年纪念徽章
日期:2012-10-09 18:06:20紫蛋头
日期:2012-12-23 18:10:202013年新春福章
日期:2013-02-25 14:51:24宝马
日期:2013-07-31 20:46:28路虎
日期:2013-07-31 21:49:04大众
日期:2013-07-31 22:17:19奥迪
日期:2013-08-02 21:26:22
8#
发表于 2011-11-26 21:39 | 只看该作者
能够加一些容错能力比较就更好了

使用道具 举报

回复
论坛徽章:
0
9#
发表于 2012-5-31 08:39 | 只看该作者
感谢对ReiKing的关注,我是ReiKing的厂家,如果有机会我们欢迎技术交流,更好的了解ReiKing产品的功能。功能、易用性、性能、调度方式、监控方式ReiKing还是很强的。欢迎访问:www.reiking.com.cn

使用道具 举报

回复
论坛徽章:
0
10#
发表于 2012-5-31 08:44 | 只看该作者
感谢对ReiKing的关注,我是ReiKing的厂家,如果有机会我们欢迎技术交流,更好的了解ReiKing产品的功能。功能、易用性、性能、调度方式、监控方式ReiKing还是很强的。
请问你是如何得到我们的测试产品的。我们的产品控制还是比较严的,需要加密狗等。能否和我联系,让我们同事过去支持,希望能对ReiKing产品真正的了解^_^,这样测试才比较公正。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表