楼主: wangfans

[精华] 有奖讨论: ETL 工具 VS SQL 代码

[复制链接]
论坛徽章:
1
2011新春纪念徽章
日期:2011-02-18 11:43:32
发表于 2012-9-11 16:05 | 显示全部楼层
本帖最后由 coolsilver 于 2012-9-12 23:23 编辑

团队里一直在用sql的方式,没用过工具,有个问题:
用工具的话,比如powercenter,在上面建好etl后,元数据的血缘分析是不是工具本身就直接能支持了,不再需要生产环境里的数据?

使用道具 举报

回复
论坛徽章:
3
ITPUB十周年纪念徽章
日期:2011-11-01 16:27:27ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00祖国65周年纪念徽章
日期:2015-05-15 14:07:01
发表于 2012-9-11 16:44 | 显示全部楼层
再来的人推荐一下新手如何快速理解和使用informatica工具撒,文档也行。一步步详细说明一个实例最好了,便于理解。

使用道具 举报

回复
论坛徽章:
33
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44复活蛋
日期:2013-02-16 21:33:062013年新春福章
日期:2013-02-25 14:51:24鲜花蛋
日期:2013-06-20 09:44:48夏利
日期:2013-09-23 08:54:16雪佛兰
日期:2013-12-08 09:36:44雪佛兰
日期:2014-01-29 16:16:21雪铁龙
日期:2014-02-14 14:49:362014年新春福章
日期:2014-02-18 16:42:02马上有房
日期:2014-02-18 16:42:02
发表于 2012-9-23 19:26 | 显示全部楼层
ETL工具对于懒得写代码的人是福音
后期也利于管理.
数据流一目了然.

sql不评论

使用道具 举报

回复
论坛徽章:
1
奥运会纪念徽章:皮划艇激流回旋
日期:2012-09-24 21:38:26
发表于 2012-9-24 21:49 | 显示全部楼层
ETL工具做流程控制,SQL代码用来做复杂的大数据的转换。

使用道具 举报

回复
论坛徽章:
0
发表于 2012-10-24 08:46 | 显示全部楼层
ETL工具优势在于不同系统之间的桥接还有管理方便
sql的优势在于调整维护简单

使用道具 举报

回复
论坛徽章:
2
生肖徽章2007版:兔
日期:2011-01-20 12:58:492011新春纪念徽章
日期:2011-02-18 11:43:35
发表于 2012-10-25 08:59 | 显示全部楼层
我觉得应该要区分是ETL调度还是ETL处理,而且也不仅仅是SQL。

使用道具 举报

回复
论坛徽章:
0
发表于 2012-11-22 09:33 | 显示全部楼层
sql(含存储过程)做转换清晰逻辑,开源etl做调度。  省成本。效率高。

使用道具 举报

回复
论坛徽章:
27
2012新春纪念徽章
日期:2012-01-04 11:54:46马上有钱
日期:2014-02-18 16:43:09问答徽章
日期:2014-04-09 12:42:38马上有房
日期:2014-05-07 12:51:382014年世界杯参赛球队: 加纳
日期:2014-07-11 17:11:34马上有车
日期:2014-08-09 21:52:57马上有房
日期:2014-11-03 13:03:57美羊羊
日期:2015-03-04 14:52:282015年新春福章
日期:2015-03-06 11:58:182015年新春福章
日期:2015-04-27 17:22:07
发表于 2012-12-1 20:15 | 显示全部楼层
有工具当然用工具了

使用道具 举报

回复
论坛徽章:
5
2011新春纪念徽章
日期:2011-02-18 11:43:34ITPUB十周年纪念徽章
日期:2011-11-01 16:25:51ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:482013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2013-12-18 09:29:11
发表于 2012-12-13 23:52 | 显示全部楼层
什么东西都不是绝对的,ETL工具和SQL都有自己的优势和劣势。ETL工具的一大作业就是在数据库资源有限的情况
下将ETL处理产生的负载从数据库服务器转移到ETL服务器中,如果数据库服务性能足够强大,数据处理效率远比ETL
服务器高(譬如GREENPLUM、TERADATE等MPP架构的数据库,这类数据库与传统数据库相比在大数据处理上存在
很大的优势),这时候就可以使用SQL进行ETL处理。

使用道具 举报

回复
论坛徽章:
5
2011新春纪念徽章
日期:2011-02-18 11:43:34ITPUB十周年纪念徽章
日期:2011-11-01 16:25:51ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:482013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2013-12-18 09:29:11
发表于 2012-12-13 23:55 | 显示全部楼层
调度方面,ETL工具基本都自带调度功能,不过都相对简单,在一个复杂的ETL环境中,譬如ODS,都会借助第三方调度工具。
很多大的BI公司都有自己的调度产品。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表