楼主: wangfans

[精华] 有奖讨论: ETL 工具 VS SQL 代码

[复制链接]
论坛徽章:
0
发表于 2013-4-12 00:05 | 显示全部楼层
工具的好处是结构和流程比代码清晰,工具的图形界面比代码看起来更直观,但有些比较复杂的流程和处理则需要代码来配合完成。

使用道具 举报

回复
论坛徽章:
4
ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26ITPUB 11周年纪念徽章
日期:2012-10-09 18:07:312014年新春福章
日期:2014-02-18 16:42:02马上有房
日期:2014-02-18 16:42:02
发表于 2013-4-20 14:58 | 显示全部楼层
二者互相补充,我一般是习惯于,复杂的业务逻辑由程序实现,调度和简单的业务逻辑由工具实现;
工具和代码都有各自的应用场景,比如工具在异构数据源之间的同步有优势,但适用于数据量不是很大的情况下;另工具的调度的功能也特别好,这样你就不用再写专门的程序来实现调度了,在工具基础层可以方便的进行二次开发设计,对异常情况可以较好的进行处理。

使用道具 举报

回复
论坛徽章:
0
发表于 2013-5-28 23:35 来自手机 | 显示全部楼层
结构化数据,数据库引擎效率更高。

使用道具 举报

回复
论坛徽章:
19
奥迪
日期:2014-01-06 17:03:11阿斯顿马丁
日期:2013-09-18 17:52:02保时捷
日期:2013-08-22 15:19:42保时捷
日期:2013-08-26 14:38:58马自达
日期:2013-09-13 10:46:36三菱
日期:2013-09-03 16:40:23雪佛兰
日期:2013-09-18 17:54:38ITPUB社区千里马徽章
日期:2013-06-09 10:15:34紫蛋头
日期:2013-05-09 09:35:45双黄蛋
日期:2013-06-19 15:10:52
发表于 2013-8-12 11:29 | 显示全部楼层
ETL不懂,SQL现在基本没有解决不了的

使用道具 举报

回复
论坛徽章:
19
奥迪
日期:2014-01-06 17:03:11阿斯顿马丁
日期:2013-09-18 17:52:02保时捷
日期:2013-08-22 15:19:42保时捷
日期:2013-08-26 14:38:58马自达
日期:2013-09-13 10:46:36三菱
日期:2013-09-03 16:40:23雪佛兰
日期:2013-09-18 17:54:38ITPUB社区千里马徽章
日期:2013-06-09 10:15:34紫蛋头
日期:2013-05-09 09:35:45双黄蛋
日期:2013-06-19 15:10:52
发表于 2013-8-21 14:52 | 显示全部楼层

使用道具 举报

回复
论坛徽章:
9
蜘蛛蛋
日期:2012-05-15 22:04:44比亚迪
日期:2013-11-27 11:47:28日产
日期:2013-12-17 15:51:03优秀写手
日期:2013-12-18 09:29:082014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08马上有车
日期:2014-03-01 23:04:212015年新春福章
日期:2015-03-04 14:53:162015年新春福章
日期:2015-03-06 11:58:39
发表于 2013-9-30 15:32 | 显示全部楼层
我觉得首先得分场景。有些时候是无法用sql取处理的,比如你要从数据库向hadoop或其他非结构化数据库上同步数据 。

使用道具 举报

回复
论坛徽章:
7
ITPUB社区12周年站庆徽章
日期:2013-10-08 17:44:42ITPUB社区12周年站庆徽章
日期:2013-11-07 10:34:33优秀写手
日期:2013-12-18 09:29:112014年新春福章
日期:2014-02-18 16:50:09马上有车
日期:2014-02-18 16:50:09马上有钱
日期:2014-03-20 15:53:11马上有车
日期:2014-03-31 15:10:16
发表于 2013-10-23 13:18 | 显示全部楼层
BI类的必须使用ETL工具,不管以前的我写ORACLE SQL多NB,到了BI类的项目,绝对不行用PLSQL写什么代码

不是不愿意去写,是写完了,维护工作量太大了

使用道具 举报

回复
招聘 : 数据分析/ETL
论坛徽章:
0
发表于 2013-12-13 15:07 | 显示全部楼层
这个问题我也一直在琢磨,觉得还是跟你的业务要求有关系,比如保险行业的ODS层比较火,业务对‘即时OLAP’有很高的要求,当然sp的编写就必不可少了,方便,高校。其他行业的话,就我做的项目,基本是纯ETL开发工具处理。还是跟行业,跟业务相关吧,只不过现在纯为报表分析的DW搭建用的ETL工具占比多,也不能泛泛而论哪个好哪个不好。

使用道具 举报

回复
论坛徽章:
14
蜘蛛蛋
日期:2012-03-07 10:09:01马上有对象
日期:2014-02-18 16:44:082014年新春福章
日期:2014-02-18 16:44:08生肖徽章2007版:兔
日期:2012-03-07 10:15:11复活蛋
日期:2012-03-07 10:09:01蛋疼蛋
日期:2012-03-07 10:09:01迷宫蛋
日期:2012-03-07 10:09:01灰彻蛋
日期:2012-03-07 10:09:01紫蛋头
日期:2012-03-07 10:09:01鲜花蛋
日期:2012-03-07 10:09:01
发表于 2014-6-4 11:25 | 显示全部楼层
ffw_880106 发表于 2013-1-28 10:46
“很多人认为用工具没有纯手工打造的人牛B,那是这些人根本就没把工具玩透”
非常赞同你的观点!
顺便说 ...

对哦,我觉得考虑问题可以代入企业,在他们考虑的是尽最大可能压缩成本解决问题。

使用道具 举报

回复
论坛徽章:
0
发表于 2014-6-24 22:14 | 显示全部楼层
SQL在于可控性强,资源节约,数据库系统内部的ETL过程,性能更好。
ETL在于ETL工具的扩展性和并发性,但是同时也在于更多硬件资源的消耗,对于文本的ETL过程性能效果更好。
现在主流的过程不是ETL,而是ELT,所以感觉SQL性能会更强一些!

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表