楼主: wangfans

[精华] 有奖讨论: ETL 工具 VS SQL 代码

[复制链接]
论坛徽章:
3
2011新春纪念徽章
日期:2011-02-18 11:43:35ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26优秀写手
日期:2014-08-19 06:00:13
发表于 2012-6-30 17:27 | 显示全部楼层
ETL 工具开发效率高、便于后期维护。SQL代码灵活,如果开发人员编码水平过硬,数据处理效率高

使用道具 举报

回复
认证徽章
论坛徽章:
176
现任管理团队成员
日期:2011-05-07 01:45:08版主7段
日期:2012-07-05 02:21:03ITPUB长老会成员
日期:2015-05-07 15:11:10ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB牛人
日期:2010-10-25 12:41:322010数据库技术大会纪念徽章
日期:2015-04-23 10:33:192011数据库大会纪念章
日期:2015-04-23 10:33:192012数据库大会纪念章
日期:2015-04-23 10:33:192013数据库大会纪念章
日期:2015-04-23 10:33:19
发表于 2012-6-30 23:28 | 显示全部楼层
表讨论了哦,具体问题具体分析哦

使用道具 举报

回复
论坛徽章:
35
ITPUB9周年纪念徽章
日期:2010-10-08 09:32:25劳斯莱斯
日期:2013-11-04 15:42:11奥迪
日期:2013-11-04 15:42:11福特
日期:2013-11-04 15:42:11比亚迪
日期:2013-11-02 11:33:55法拉利
日期:2013-11-10 17:40:262014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:11马上有对象
日期:2014-03-06 14:09:44马上有房
日期:2014-05-06 18:40:39
发表于 2012-7-1 15:28 | 显示全部楼层
为何一定是非此即彼呢? 我做过的几个项目都是两者合用,各取所长!

使用道具 举报

回复
论坛徽章:
2
沸羊羊
日期:2015-03-04 14:51:522015年新春福章
日期:2015-03-06 11:58:18
发表于 2012-7-7 17:53 | 显示全部楼层
个人感觉吧大家轻喷, 从以前工作的中来总结出来一些东西吧   
   etl 和sql是完全不同的方面,
   etl正如其名一样,当然大家也可以说elt 呼呼,更多的是清洗装载过程,当然你也可以说我可以直接用SQL创建呀,
   etl更多的是一种方案,一个数据仓库上数据来源清洗加载的过程,拿我们以前举例,可以定制自己 的触发机制以及通过系统 的子线程 来分配任务运行机制,
当然你也可以用SQL+其它语言来解决 。
  如果说不同的方面,我个人感觉SQL只是一种语言,一种操作数据的方式,而ETL更多的是一种方案,一种数据加工挖掘的方案。
说的比较乱,大家轻喷,因为本来接触的都是原来底层PERL写的ETL整个过程,比较侧身TD 的AUTOMATION

使用道具 举报

回复
论坛徽章:
0
发表于 2012-7-15 09:04 来自手机 | 显示全部楼层
在实际项目中都是二者相结合的,一般情况下,能用etl工具就尽量用工具开发,便于后期维护。到对于一些复杂的逻辑还是用sql实现比较好,毕竟比较灵活

使用道具 举报

回复
论坛徽章:
3
迷宫蛋
日期:2012-12-07 09:05:002013年新春福章
日期:2013-02-25 14:51:24狮子座
日期:2016-04-28 16:34:48
发表于 2012-7-18 14:17 | 显示全部楼层
连etl工具都没用过的飘过,不防大家给介绍下都有什么etl工具

使用道具 举报

回复
认证徽章
论坛徽章:
20
ITPUB 11周年纪念徽章
日期:2012-10-31 14:48:002014年新春福章
日期:2014-04-14 09:54:082014年新春福章
日期:2014-04-14 09:54:082014年世界杯参赛球队: 伊朗
日期:2014-06-13 11:29:242014年世界杯参赛球队: 澳大利亚
日期:2014-07-01 16:27:592014年世界杯参赛球队: 尼日利亚
日期:2014-07-24 11:03:13马上有对象
日期:2014-08-19 10:34:03秀才
日期:2015-12-21 09:48:11秀才
日期:2016-01-13 12:14:262014年新春福章
日期:2014-04-14 09:54:08
发表于 2012-7-20 11:00 | 显示全部楼层
我喜欢写SQL赶脚有成就感

使用道具 举报

回复
论坛徽章:
0
发表于 2012-8-16 15:11 | 显示全部楼层
ETL工具
开发效率上,要好很多,无论是异构源数据,清洗规则,还是transforming,用熟了很快;
后期维护,那是一个天一个地(碰上一个习惯不好的coder,看代码真要看到吐血的...);
至于说功能,应该也差不到哪去,曾用工具实现了线性拟合,没觉得代码强在哪

使用道具 举报

回复
论坛徽章:
7
授权会员
日期:2005-10-30 17:05:33会员2007贡献徽章
日期:2007-09-26 18:42:10ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41鲜花蛋
日期:2012-07-16 15:24:59ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:072013年新春福章
日期:2013-02-25 14:51:24
发表于 2012-8-17 09:31 | 显示全部楼层
zhangfengh 发表于 2012-2-27 13:18
简单的使用etl工具,复杂的自己规划写sql

同意

使用道具 举报

回复
论坛徽章:
25
奥运会纪念徽章:皮划艇激流回旋
日期:2008-06-25 18:18:362010年世界杯参赛球队:希腊
日期:2010-01-15 14:12:042010年世界杯参赛球队:巴西
日期:2010-01-19 13:26:092010新春纪念徽章
日期:2010-03-01 11:19:072010年世界杯参赛球队:科特迪瓦
日期:2010-03-10 11:31:032010年世界杯参赛球队:丹麦
日期:2010-03-10 15:49:082010广州亚运会纪念徽章:棋类
日期:2010-11-22 15:28:082011新春纪念徽章
日期:2011-02-18 11:43:36IT宝贝
日期:2011-02-20 00:07:002010广州亚运会纪念徽章:体育舞蹈
日期:2011-02-22 15:36:25
发表于 2012-8-21 23:37 | 显示全部楼层
认同大家的观点:
1.  工具容易规范化,易于维护;
2. 工具有自身的特有优势,比如各个点的并行处理。CDC、行列转换、SCD的简单设置就可实现。元数据管理等;
3. 工具能实现的基本SQL也能实现,有时可能要写复杂SQL而已;
4. SQL在处理复杂逻辑时灵活性更高,优势明细;
5. SQL的不易维护和管理。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表