ITPUB论坛－专业的IT技术社区

登录 注册
ITPUB论坛－专业的IT技术社区»论坛 › ≡ 大数据与数据库 ≡ › 数据仓库与数据挖掘 › 有奖讨论： ETL 工具 VS SQL 代码
12345678910... 11下一页
返回列表 发新帖
楼主: wangfans
收藏 | 打印 上一主题 下一主题

[精华] 有奖讨论： ETL 工具 VS SQL 代码

[复制链接]
xdw8933
论坛徽章:
2
2012新春纪念徽章 日期:2012-01-04 11:54:46ITPUB 11周年纪念徽章 日期:2012-10-09 18:09:19
41#
发表于 2012-6-1 07:49 | 只看该作者
KantCheng 发表于 2012-2-28 09:50
两个都用过，感觉informatica易于后期管理，尤其是纠正数据，后期补数据的时候，数据流一目了然。
...

感觉是缺少元数据管理的原因。

使用道具 举报

回复
clown_cj
论坛徽章:
0
42#
发表于 2012-6-7 14:45 | 只看该作者
plsql~

使用道具 举报

回复
ninglin12
论坛徽章:
2
灰彻蛋 日期:2012-05-29 14:52:242013年新春福章 日期:2013-02-25 14:51:24
43#
发表于 2012-6-15 15:43 | 只看该作者
我先用的SQL写的，后也用了ETL工具，相比较而言：对数据加工规模大（比如在源数据的基础上变动大，比如字段数较多），加工强度高（需要在源数据的基础上经过复杂的处理，才能得到目的格式数据）的情况，编写SQL脚本还是比较好的；而对于源数据处理从程度上说比较小的情况，用ETL工具。

使用道具 举报

回复
lele5000
论坛徽章:
2
2012新春纪念徽章 日期:2012-01-04 11:51:22咸鸭蛋 日期:2012-02-13 14:32:37
44#
发表于 2012-6-20 21:23 | 只看该作者
本帖最后由 lele5000 于 2012-6-20 21:28 编辑

自己写SQL、存储过程在短时期看来是很快，也得心应手。但是从长远来看 不利于维护。

随着项目的推进，存储过程越来越多，我改了这个会不会影响其它的？
ETL的逻辑全部在代码里，成千上万行的代码可读性怎么样？编码的规范性又怎么样？

我要追踪一个指标的数据世袭方便吗？
有的人会有说我们有映射文档的？ 呵呵，文档同步么？


ETL工具提供了图形界面，尤其在做字段映射是的时候方便不少，而这些东西又是完全没有技术含量的  自己纯手工写SQL是浪费生命的表现。

在说了，用ETL工具并不代表不需要SQL，只是不用或者很少你写了，你是个SQL高手，用起ETL工具来更会事半功倍！

就凭ETL工具提供了无数据这一功能就应该首选ETL工具


另外说一句，很多人认为用工具没有纯手工打造的人牛B，那是这些人根本就没把工具玩透。

使用道具 举报

回复
yellowlee
论坛徽章:
32
奥运会纪念徽章:摔跤 日期:2012-08-23 11:03:05青年奥林匹克运动会-击剑 日期:2014-09-19 10:58:152014年世界杯参赛球队：巴西 日期:2014-07-07 12:19:232014年世界杯参赛球队: 瑞士 日期:2014-05-19 12:18:36马上有钱 日期:2014-04-08 12:12:232014年新春福章 日期:2014-04-04 14:20:47马上有钱 日期:2014-02-18 16:43:092014年新春福章 日期:2014-02-18 16:43:09红旗 日期:2014-02-14 15:15:55优秀写手 日期:2013-12-18 09:29:16
45#
发表于 2012-6-24 18:36 | 只看该作者
wuxidba 发表于 2012-2-28 12:01
一直用手写的SQL，说几个缺点吧：

1.团队水平层次不齐，有些代码写的太烂，尤其是阿三

分析下数据模型,转换模式可以分类,代码可以自动生成的.这样可以保证大的代码框架是一致的,便于后期维护,优化.我现在就是这么干的,搞了个代码生成工具.

使用道具 举报

回复
tanzuwen
论坛徽章:
0
46#
发表于 2012-6-25 17:35 | 只看该作者
看情况吧，不过个人认为SQL更快点，工具最后不都是要生成SQL的嘛

使用道具 举报

回复
wkc168
论坛徽章:
7
ITPUB9周年纪念徽章 日期:2010-10-08 09:28:52数据库板块每日发贴之星 日期:2010-11-28 01:01:012011新春纪念徽章 日期:2011-02-18 11:43:35ITPUB十周年纪念徽章 日期:2011-11-01 16:25:22灰彻蛋 日期:2012-04-22 15:50:51紫蛋头 日期:2012-12-27 15:05:08茶鸡蛋 日期:2013-07-17 11:24:34
47#
发表于 2012-6-26 14:54 | 只看该作者
工具只不过是好维护
SQL 方便

哪个更易于工作就用哪个

使用道具 举报

回复
panwang
论坛徽章:
1
2010广州亚运会纪念徽章:摔跤 日期:2010-11-22 15:41:33
48#
发表于 2012-6-28 10:43 | 只看该作者
团队适合ETL工具；个人适合SQL。

我是Team Leader的话，还是希望使用ETL。

使用道具 举报

回复
caipig333
论坛徽章:
18
ITPUB新首页上线纪念徽章 日期:2007-10-20 08:38:44奥运会纪念徽章:自行车 日期:2012-07-06 12:50:51咸鸭蛋 日期:2012-03-26 22:59:12ITPUB十周年纪念徽章 日期:2011-11-01 16:21:15迷宫蛋 日期:2011-08-31 09:47:222010广州亚运会纪念徽章:帆船 日期:2011-05-02 11:08:272011新春纪念徽章 日期:2011-04-20 10:50:082011新春纪念徽章 日期:2011-02-18 11:42:47ITPUB9周年纪念徽章 日期:2010-10-08 09:28:51生肖徽章2007版:蛇 日期:2009-11-10 10:54:15
49#
发表于 2012-6-28 12:55 | 只看该作者
hughs1551 发表于 2012-2-28 15:45
第一要根据商务项目的规模，现在有些BI项目甲方规划的投入就很少了，如果再买第三方工具乙方根本就没钱赚了 ...

使用道具 举报

回复
wangkxxe
论坛徽章:
176
现任管理团队成员 日期:2011-05-07 01:45:08版主7段 日期:2012-07-05 02:21:03ITPUB长老会成员 日期:2015-05-07 15:11:10ITPUB年度最佳版主 日期:2011-04-08 18:37:09ITPUB年度最佳版主 日期:2011-12-28 15:24:18ITPUB牛人 日期:2010-10-25 12:41:322010数据库技术大会纪念徽章 日期:2015-04-23 10:33:192011数据库大会纪念章 日期:2015-04-23 10:33:192012数据库大会纪念章 日期:2015-04-23 10:33:192013数据库大会纪念章 日期:2015-04-23 10:33:19
50#
发表于 2012-6-29 22:39 | 只看该作者
没想到老狐狸也会参与讨论，

使用道具 举报

回复

12345678910... 11下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有　联系我们 未成年人举报专区　
京ICP备16024965号-8 　北京市公安局海淀分局网监中心备案编号：11010802021510　广播电视节目制作经营许可证：编号（京）字第1149号   
快速回复 返回顶部 返回列表