楼主: wangfans

[精华] 有奖讨论: ETL 工具 VS SQL 代码

[复制链接]
论坛徽章:
2
2012新春纪念徽章
日期:2012-01-04 11:54:46ITPUB 11周年纪念徽章
日期:2012-10-09 18:09:19
发表于 2012-6-1 07:49 | 显示全部楼层
KantCheng 发表于 2012-2-28 09:50
两个都用过,感觉informatica易于后期管理,尤其是纠正数据,后期补数据的时候,数据流一目了然。
...

感觉是缺少元数据管理的原因。

使用道具 举报

回复
论坛徽章:
0
发表于 2012-6-7 14:45 | 显示全部楼层
plsql~

使用道具 举报

回复
论坛徽章:
2
灰彻蛋
日期:2012-05-29 14:52:242013年新春福章
日期:2013-02-25 14:51:24
发表于 2012-6-15 15:43 | 显示全部楼层
我先用的SQL写的,后也用了ETL工具,相比较而言:对数据加工规模大(比如在源数据的基础上变动大,比如字段数较多),加工强度高(需要在源数据的基础上经过复杂的处理,才能得到目的格式数据)的情况,编写SQL脚本还是比较好的;而对于源数据处理从程度上说比较小的情况,用ETL工具。

使用道具 举报

回复
论坛徽章:
2
2012新春纪念徽章
日期:2012-01-04 11:51:22咸鸭蛋
日期:2012-02-13 14:32:37
发表于 2012-6-20 21:23 | 显示全部楼层
本帖最后由 lele5000 于 2012-6-20 21:28 编辑

自己写SQL、存储过程在短时期看来是很快,也得心应手。但是从长远来看 不利于维护。

随着项目的推进,存储过程越来越多,我改了这个会不会影响其它的?
ETL的逻辑全部在代码里,成千上万行的代码可读性怎么样?编码的规范性又怎么样?

我要追踪一个指标的数据世袭方便吗?
有的人会有说我们有映射文档的? 呵呵,文档同步么?


ETL工具提供了图形界面,尤其在做字段映射是的时候方便不少,而这些东西又是完全没有技术含量的  自己纯手工写SQL是浪费生命的表现。

在说了,用ETL工具并不代表不需要SQL,只是不用或者很少你写了,你是个SQL高手,用起ETL工具来更会事半功倍!

就凭ETL工具提供了无数据这一功能就应该首选ETL工具


另外说一句,很多人认为用工具没有纯手工打造的人牛B,那是这些人根本就没把工具玩透。

使用道具 举报

回复
论坛徽章:
32
奥运会纪念徽章:摔跤
日期:2012-08-23 11:03:05青年奥林匹克运动会-击剑
日期:2014-09-19 10:58:152014年世界杯参赛球队:巴西
日期:2014-07-07 12:19:232014年世界杯参赛球队: 瑞士
日期:2014-05-19 12:18:36马上有钱
日期:2014-04-08 12:12:232014年新春福章
日期:2014-04-04 14:20:47马上有钱
日期:2014-02-18 16:43:092014年新春福章
日期:2014-02-18 16:43:09红旗
日期:2014-02-14 15:15:55优秀写手
日期:2013-12-18 09:29:16
发表于 2012-6-24 18:36 | 显示全部楼层
wuxidba 发表于 2012-2-28 12:01
一直用手写的SQL,说几个缺点吧:

1.团队水平层次不齐,有些代码写的太烂,尤其是阿三

分析下数据模型,转换模式可以分类,代码可以自动生成的.这样可以保证大的代码框架是一致的,便于后期维护,优化.我现在就是这么干的,搞了个代码生成工具.

使用道具 举报

回复
论坛徽章:
0
发表于 2012-6-25 17:35 | 显示全部楼层
看情况吧,不过个人认为SQL更快点,工具最后不都是要生成SQL的嘛

使用道具 举报

回复
论坛徽章:
7
ITPUB9周年纪念徽章
日期:2010-10-08 09:28:52数据库板块每日发贴之星
日期:2010-11-28 01:01:012011新春纪念徽章
日期:2011-02-18 11:43:35ITPUB十周年纪念徽章
日期:2011-11-01 16:25:22灰彻蛋
日期:2012-04-22 15:50:51紫蛋头
日期:2012-12-27 15:05:08茶鸡蛋
日期:2013-07-17 11:24:34
发表于 2012-6-26 14:54 | 显示全部楼层
工具只不过是好维护
SQL 方便

哪个更易于工作就用哪个

使用道具 举报

回复
论坛徽章:
1
2010广州亚运会纪念徽章:摔跤
日期:2010-11-22 15:41:33
发表于 2012-6-28 10:43 | 显示全部楼层
团队适合ETL工具;个人适合SQL。

我是Team Leader的话,还是希望使用ETL。

使用道具 举报

回复
论坛徽章:
18
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44奥运会纪念徽章:自行车
日期:2012-07-06 12:50:51咸鸭蛋
日期:2012-03-26 22:59:12ITPUB十周年纪念徽章
日期:2011-11-01 16:21:15迷宫蛋
日期:2011-08-31 09:47:222010广州亚运会纪念徽章:帆船
日期:2011-05-02 11:08:272011新春纪念徽章
日期:2011-04-20 10:50:082011新春纪念徽章
日期:2011-02-18 11:42:47ITPUB9周年纪念徽章
日期:2010-10-08 09:28:51生肖徽章2007版:蛇
日期:2009-11-10 10:54:15
发表于 2012-6-28 12:55 | 显示全部楼层
hughs1551 发表于 2012-2-28 15:45
第一要根据商务项目的规模,现在有些BI项目甲方规划的投入就很少了,如果再买第三方工具乙方根本就没钱赚了 ...

使用道具 举报

回复
认证徽章
论坛徽章:
176
现任管理团队成员
日期:2011-05-07 01:45:08版主7段
日期:2012-07-05 02:21:03ITPUB长老会成员
日期:2015-05-07 15:11:10ITPUB年度最佳版主
日期:2011-04-08 18:37:09ITPUB年度最佳版主
日期:2011-12-28 15:24:18ITPUB牛人
日期:2010-10-25 12:41:322010数据库技术大会纪念徽章
日期:2015-04-23 10:33:192011数据库大会纪念章
日期:2015-04-23 10:33:192012数据库大会纪念章
日期:2015-04-23 10:33:192013数据库大会纪念章
日期:2015-04-23 10:33:19
发表于 2012-6-29 22:39 | 显示全部楼层
没想到老狐狸也会参与讨论,

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表