楼主: wangfans

[精华] 有奖讨论: ETL 工具 VS SQL 代码

[复制链接]
论坛徽章:
3
ITPUB十周年纪念徽章
日期:2011-11-01 16:25:512012新春纪念徽章
日期:2012-01-04 11:56:44咸鸭蛋
日期:2012-03-07 09:39:33
发表于 2012-2-28 12:01 | 显示全部楼层
一直用手写的SQL,说几个缺点吧:

1.团队水平层次不齐,有些代码写的太烂,尤其是阿三
2.数据量很大的job,比如10M,速度很慢,要3-4小时,(有转换过程在其中),不知工具会不会提高速度
3.找数据源有时费劲

使用道具 举报

回复
认证徽章
论坛徽章:
66
现任管理团队成员
日期:2011-05-07 01:45:08版主9段
日期:2013-04-21 02:21:02ITPUB年度最佳版主
日期:2014-02-19 10:05:27ITPUB年度最佳版主
日期:2013-01-30 17:30:25ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05优秀写手
日期:2013-12-18 09:29:15元宝章
日期:2015-02-10 19:57:54金牌徽章
日期:2015-02-10 19:59:42银牌徽章
日期:2015-02-10 19:59:42铜牌徽章
日期:2015-02-10 19:59:41
发表于 2012-2-28 12:28 | 显示全部楼层
KantCheng 发表于 2012-2-28 09:52
,想不到楼主是这个数据仓库模块的版主啊,久仰久仰。。。

欢迎常来做客,分享经验!

使用道具 举报

回复
认证徽章
论坛徽章:
66
现任管理团队成员
日期:2011-05-07 01:45:08版主9段
日期:2013-04-21 02:21:02ITPUB年度最佳版主
日期:2014-02-19 10:05:27ITPUB年度最佳版主
日期:2013-01-30 17:30:25ITPUB年度最佳技术原创精华奖
日期:2012-03-13 17:12:05优秀写手
日期:2013-12-18 09:29:15元宝章
日期:2015-02-10 19:57:54金牌徽章
日期:2015-02-10 19:59:42银牌徽章
日期:2015-02-10 19:59:42铜牌徽章
日期:2015-02-10 19:59:41
发表于 2012-2-28 12:29 | 显示全部楼层
周应侯 发表于 2012-2-27 18:33
sql手写好些~这样才是真正的dba

真正的DBA是不做ETL的

使用道具 举报

回复
论坛徽章:
171
ITPUB社区OCM联盟徽章
日期:2013-07-30 11:25:46最佳人气徽章
日期:2013-03-19 17:13:45ITPUB年度最佳技术原创精华奖
日期:2013-03-22 13:18:30ITPUB季度 技术新星
日期:2012-05-22 15:10:11BLOG每日发帖之星
日期:2012-02-15 16:43:07生肖徽章2007版:马
日期:2012-03-07 10:13:26蓝锆石
日期:2012-02-24 10:13:15萤石
日期:2012-02-24 10:13:15海蓝宝石
日期:2012-02-24 10:13:15紫水晶
日期:2012-03-01 21:28:36
发表于 2012-2-28 15:24 | 显示全部楼层
wangfans 发表于 2012-2-28 12:29
真正的DBA是不做ETL的

赞同~

使用道具 举报

回复
论坛徽章:
3
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44ITPUB十周年纪念徽章
日期:2011-11-01 16:19:412013年新春福章
日期:2013-02-25 14:51:24
发表于 2012-2-28 15:45 | 显示全部楼层
第一要根据商务项目的规模,现在有些BI项目甲方规划的投入就很少了,如果再买第三方工具乙方根本就没钱赚了,一般这样的项目开发时候使用sql做etl过程的多,或者是乙方自己开发的etl工具,但是基本不能达到DS那样的水平。
第二在够大的BI项目或者甲方有ETL工具的投入时候才会采用,但是也要和sql结合使用。
第三要看etl逻辑的复杂度,一般的清洗工作etl工具使用比sql灵活简单,但是在复杂业务逻辑处理就不行了,例如有数据拆分,一条记录根据业务规则拆分几条,这样要涉及数值型小数保留位数,最后拆分后的几条记录合计值是否能保证和拆分前一致这样的问题都是存在的。

使用道具 举报

回复
认证徽章
论坛徽章:
67
现任管理团队成员
日期:2012-06-02 02:10:00ITPUB元老
日期:2012-09-12 14:06:14ITPUB社区千里马徽章
日期:2013-06-09 10:15:34季节之章:冬
日期:2012-09-04 11:05:30季节之章:春
日期:2012-09-05 09:20:36优秀写手
日期:2013-12-18 09:29:09马上有房
日期:2014-04-10 13:35:362014年新春福章
日期:2014-04-14 09:54:08马上有车
日期:2014-02-28 16:43:13马上加薪
日期:2014-02-19 11:55:14
发表于 2012-2-28 16:15 | 显示全部楼层
一些异构的数据库还是需要用ETL工具的吧。遇到需要把文本,MF数据,DB2,SQLServer, paradox的数据一起抽取到用oracle的warehouse中,似乎只有用ETL工具。
另外ETL在大型企业里的分工还是很细的,
做mapping,建workflow,做monitor,做数据处理都是由不同的team来完成的, 我之前的一个项目,老美负责做mapping,workflow.
中国这边只有monitor的权限,主要monitor ETL工具的装载速度和进度,如果遇到性能问题或者数据错误,就page DBA团队或者另外的团队来处理。
大公司对权限要求比较高,类似于这样的需求都必须通过ETL工具来实现的。

使用道具 举报

回复
论坛徽章:
1
咸鸭蛋
日期:2011-12-13 11:03:10
发表于 2012-2-28 16:18 | 显示全部楼层
ETL工具相对于SQL的一个很大的优势在于代码的可维护性上
写SQL,取决于开发人员的经验与习惯,如原开发人员离职,由其他人接手任务的话,读懂之前开发人员的代码会花费较长的时间
但在复杂的数据处理中,还是应该用SQL来处理,嵌套在ETL工具中。

使用道具 举报

回复
论坛徽章:
2
数据库板块每日发贴之星
日期:2009-07-28 01:01:022013年新春福章
日期:2013-02-25 14:51:24
发表于 2012-2-28 16:57 | 显示全部楼层
infomatic  很好很强大

使用道具 举报

回复
论坛徽章:
0
发表于 2012-2-28 17:41 | 显示全部楼层
sql处理能力比etl工具强

使用道具 举报

回复
论坛徽章:
3
紫蛋头
日期:2011-12-30 18:36:402012新春纪念徽章
日期:2012-01-04 11:50:44
发表于 2012-2-28 18:53 | 显示全部楼层
ETL工具显然有助于标准化。
好的DBA可以写出更优美精炼的语句,但是不利于维护和标准化。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表