ITPUB论坛－中国专业的IT技术社区

登录 注册
ITPUB论坛－中国专业的IT技术社区»论坛 › ≡ 大数据与数据库 ≡ › 数据仓库与数据挖掘 › 有奖讨论： ETL 工具 VS SQL 代码
1 ...234567891011下一页
返回列表 发新帖
楼主: wangfans

[精华] 有奖讨论： ETL 工具 VS SQL 代码

[复制链接]
Sniffor
论坛徽章:
0
发表于 2013-4-12 00:05 | 显示全部楼层
工具的好处是结构和流程比代码清晰，工具的图形界面比代码看起来更直观，但有些比较复杂的流程和处理则需要代码来配合完成。

使用道具 举报

回复
傀儡戏子
论坛徽章:
4
ITPUB十周年纪念徽章 日期:2011-11-01 16:23:26ITPUB 11周年纪念徽章 日期:2012-10-09 18:07:312014年新春福章 日期:2014-02-18 16:42:02马上有房 日期:2014-02-18 16:42:02
发表于 2013-4-20 14:58 | 显示全部楼层
二者互相补充，我一般是习惯于，复杂的业务逻辑由程序实现，调度和简单的业务逻辑由工具实现；
工具和代码都有各自的应用场景，比如工具在异构数据源之间的同步有优势，但适用于数据量不是很大的情况下；另工具的调度的功能也特别好，这样你就不用再写专门的程序来实现调度了，在工具基础层可以方便的进行二次开发设计，对异常情况可以较好的进行处理。

使用道具 举报

回复
jiezhu2007
论坛徽章:
0
发表于 2013-5-28 23:35 来自手机 | 显示全部楼层
结构化数据，数据库引擎效率更高。

使用道具 举报

回复
andhai
论坛徽章:
19
奥迪 日期:2014-01-06 17:03:11阿斯顿马丁 日期:2013-09-18 17:52:02保时捷 日期:2013-08-22 15:19:42保时捷 日期:2013-08-26 14:38:58马自达 日期:2013-09-13 10:46:36三菱 日期:2013-09-03 16:40:23雪佛兰 日期:2013-09-18 17:54:38ITPUB社区千里马徽章 日期:2013-06-09 10:15:34紫蛋头 日期:2013-05-09 09:35:45双黄蛋 日期:2013-06-19 15:10:52
发表于 2013-8-12 11:29 | 显示全部楼层
ETL不懂，SQL现在基本没有解决不了的

使用道具 举报

回复
andhai
论坛徽章:
19
奥迪 日期:2014-01-06 17:03:11阿斯顿马丁 日期:2013-09-18 17:52:02保时捷 日期:2013-08-22 15:19:42保时捷 日期:2013-08-26 14:38:58马自达 日期:2013-09-13 10:46:36三菱 日期:2013-09-03 16:40:23雪佛兰 日期:2013-09-18 17:54:38ITPUB社区千里马徽章 日期:2013-06-09 10:15:34紫蛋头 日期:2013-05-09 09:35:45双黄蛋 日期:2013-06-19 15:10:52
发表于 2013-8-21 14:52 | 显示全部楼层

使用道具 举报

回复
南北思静
论坛徽章:
9
蜘蛛蛋 日期:2012-05-15 22:04:44比亚迪 日期:2013-11-27 11:47:28日产 日期:2013-12-17 15:51:03优秀写手 日期:2013-12-18 09:29:082014年新春福章 日期:2014-02-18 16:44:08马上有对象 日期:2014-02-18 16:44:08马上有车 日期:2014-03-01 23:04:212015年新春福章 日期:2015-03-04 14:53:162015年新春福章 日期:2015-03-06 11:58:39
发表于 2013-9-30 15:32 | 显示全部楼层
我觉得首先得分场景。有些时候是无法用sql取处理的，比如你要从数据库向hadoop或其他非结构化数据库上同步数据 。

使用道具 举报

回复
iqlife
论坛徽章:
7
ITPUB社区12周年站庆徽章 日期:2013-10-08 17:44:42ITPUB社区12周年站庆徽章 日期:2013-11-07 10:34:33优秀写手 日期:2013-12-18 09:29:112014年新春福章 日期:2014-02-18 16:50:09马上有车 日期:2014-02-18 16:50:09马上有钱 日期:2014-03-20 15:53:11马上有车 日期:2014-03-31 15:10:16
发表于 2013-10-23 13:18 | 显示全部楼层
BI类的必须使用ETL工具，不管以前的我写ORACLE SQL多NB，到了BI类的项目，绝对不行用PLSQL写什么代码

不是不愿意去写，是写完了，维护工作量太大了

使用道具 举报

回复
mukuwusheng
招聘 : 数据分析/ETL
论坛徽章:
0
发表于 2013-12-13 15:07 | 显示全部楼层
这个问题我也一直在琢磨，觉得还是跟你的业务要求有关系，比如保险行业的ODS层比较火，业务对‘即时OLAP’有很高的要求，当然sp的编写就必不可少了，方便，高校。其他行业的话，就我做的项目，基本是纯ETL开发工具处理。还是跟行业，跟业务相关吧，只不过现在纯为报表分析的DW搭建用的ETL工具占比多，也不能泛泛而论哪个好哪个不好。

使用道具 举报

回复
雨林慕辉
论坛徽章:
14
蜘蛛蛋 日期:2012-03-07 10:09:01马上有对象 日期:2014-02-18 16:44:082014年新春福章 日期:2014-02-18 16:44:08生肖徽章2007版:兔 日期:2012-03-07 10:15:11复活蛋 日期:2012-03-07 10:09:01蛋疼蛋 日期:2012-03-07 10:09:01迷宫蛋 日期:2012-03-07 10:09:01灰彻蛋 日期:2012-03-07 10:09:01紫蛋头 日期:2012-03-07 10:09:01鲜花蛋 日期:2012-03-07 10:09:01
发表于 2014-6-4 11:25 | 显示全部楼层
ffw_880106 发表于 2013-1-28 10:46
“很多人认为用工具没有纯手工打造的人牛B，那是这些人根本就没把工具玩透”
非常赞同你的观点！
顺便说 ...

对哦，我觉得考虑问题可以代入企业，在他们考虑的是尽最大可能压缩成本解决问题。

使用道具 举报

回复
落叶_gjs
论坛徽章:
0
发表于 2014-6-24 22:14 | 显示全部楼层
SQL在于可控性强，资源节约，数据库系统内部的ETL过程，性能更好。
ETL在于ETL工具的扩展性和并发性，但是同时也在于更多硬件资源的消耗，对于文本的ETL过程性能效果更好。
现在主流的过程不是ETL，而是ELT，所以感觉SQL性能会更强一些！

使用道具 举报

回复

1 ...234567891011下一页
返回列表 发新帖
高级模式
B Color Image Link Quote Code Smilies
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有　联系我们　
京ICP备09055130号-4 　北京市公安局海淀分局网监中心备案编号：11010802021510　广播电视节目制作经营许可证：编号（京）字第1149号   
快速回复 返回顶部 返回列表