ITPUB论坛－中国专业的IT技术社区

登录 注册
ITPUB论坛－中国专业的IT技术社区»论坛 › ≡ 大数据与数据库 ≡ › 数据仓库与数据挖掘 › 有奖讨论： ETL 工具 VS SQL 代码
1 ...234567891011下一页
返回列表 发新帖
楼主: wangfans

[精华] 有奖讨论： ETL 工具 VS SQL 代码

[复制链接]
coolsilver
论坛徽章:
1
2011新春纪念徽章 日期:2011-02-18 11:43:32
发表于 2012-9-11 16:05 | 显示全部楼层
本帖最后由 coolsilver 于 2012-9-12 23:23 编辑

团队里一直在用sql的方式，没用过工具，有个问题：
用工具的话，比如powercenter，在上面建好etl后，元数据的血缘分析是不是工具本身就直接能支持了，不再需要生产环境里的数据？

使用道具 举报

回复
wagneryou
论坛徽章:
3
ITPUB十周年纪念徽章 日期:2011-11-01 16:27:27ITPUB 11周年纪念徽章 日期:2012-10-09 18:16:00祖国65周年纪念徽章 日期:2015-05-15 14:07:01
发表于 2012-9-11 16:44 | 显示全部楼层
再来的人推荐一下新手如何快速理解和使用informatica工具撒，文档也行。一步步详细说明一个实例最好了，便于理解。

使用道具 举报

回复
xnk9499
论坛徽章:
33
ITPUB新首页上线纪念徽章 日期:2007-10-20 08:38:44复活蛋 日期:2013-02-16 21:33:062013年新春福章 日期:2013-02-25 14:51:24鲜花蛋 日期:2013-06-20 09:44:48夏利 日期:2013-09-23 08:54:16雪佛兰 日期:2013-12-08 09:36:44雪佛兰 日期:2014-01-29 16:16:21雪铁龙 日期:2014-02-14 14:49:362014年新春福章 日期:2014-02-18 16:42:02马上有房 日期:2014-02-18 16:42:02
发表于 2012-9-23 19:26 | 显示全部楼层
ETL工具对于懒得写代码的人是福音
后期也利于管理.
数据流一目了然.

sql不评论

使用道具 举报

回复
thy84919
论坛徽章:
1
奥运会纪念徽章:皮划艇激流回旋 日期:2012-09-24 21:38:26
发表于 2012-9-24 21:49 | 显示全部楼层
ETL工具做流程控制，SQL代码用来做复杂的大数据的转换。

使用道具 举报

回复
klash
论坛徽章:
0
发表于 2012-10-24 08:46 | 显示全部楼层
ETL工具优势在于不同系统之间的桥接还有管理方便
sql的优势在于调整维护简单

使用道具 举报

回复
jams007
论坛徽章:
2
生肖徽章2007版:兔 日期:2011-01-20 12:58:492011新春纪念徽章 日期:2011-02-18 11:43:35
发表于 2012-10-25 08:59 | 显示全部楼层
我觉得应该要区分是ETL调度还是ETL处理，而且也不仅仅是SQL。

使用道具 举报

回复
lxw_cq
论坛徽章:
0
发表于 2012-11-22 09:33 | 显示全部楼层
sql（含存储过程）做转换清晰逻辑，开源etl做调度。  省成本。效率高。

使用道具 举报

回复
greatfoot
论坛徽章:
27
2012新春纪念徽章 日期:2012-01-04 11:54:46马上有钱 日期:2014-02-18 16:43:09问答徽章 日期:2014-04-09 12:42:38马上有房 日期:2014-05-07 12:51:382014年世界杯参赛球队: 加纳 日期:2014-07-11 17:11:34马上有车 日期:2014-08-09 21:52:57马上有房 日期:2014-11-03 13:03:57美羊羊 日期:2015-03-04 14:52:282015年新春福章 日期:2015-03-06 11:58:182015年新春福章 日期:2015-04-27 17:22:07
发表于 2012-12-1 20:15 | 显示全部楼层
有工具当然用工具了

使用道具 举报

回复
legendaryhefei
论坛徽章:
5
2011新春纪念徽章 日期:2011-02-18 11:43:34ITPUB十周年纪念徽章 日期:2011-11-01 16:25:51ITPUB 11周年纪念徽章 日期:2012-10-09 18:14:482013年新春福章 日期:2013-02-25 14:51:24优秀写手 日期:2013-12-18 09:29:11
发表于 2012-12-13 23:52 | 显示全部楼层
什么东西都不是绝对的，ETL工具和SQL都有自己的优势和劣势。ETL工具的一大作业就是在数据库资源有限的情况
下将ETL处理产生的负载从数据库服务器转移到ETL服务器中，如果数据库服务性能足够强大，数据处理效率远比ETL
服务器高（譬如GREENPLUM、TERADATE等MPP架构的数据库，这类数据库与传统数据库相比在大数据处理上存在
很大的优势），这时候就可以使用SQL进行ETL处理。

使用道具 举报

回复
legendaryhefei
论坛徽章:
5
2011新春纪念徽章 日期:2011-02-18 11:43:34ITPUB十周年纪念徽章 日期:2011-11-01 16:25:51ITPUB 11周年纪念徽章 日期:2012-10-09 18:14:482013年新春福章 日期:2013-02-25 14:51:24优秀写手 日期:2013-12-18 09:29:11
发表于 2012-12-13 23:55 | 显示全部楼层
调度方面，ETL工具基本都自带调度功能，不过都相对简单，在一个复杂的ETL环境中，譬如ODS，都会借助第三方调度工具。
很多大的BI公司都有自己的调度产品。

使用道具 举报

回复

1 ...234567891011下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有　联系我们　
京ICP备09055130号-4 　北京市公安局海淀分局网监中心备案编号：11010802021510　广播电视节目制作经营许可证：编号（京）字第1149号   
快速回复 返回顶部 返回列表