楼主: wangfans

[精华] 有奖讨论: ETL 工具 VS SQL 代码

[复制链接]
论坛徽章:
0
发表于 2012-12-14 16:06 | 显示全部楼层
如果是大批量的处理,个人觉得是ETL比较方便,易于管理。SQL灵活性更强一点吧,但是后期维护比较麻烦,重新解读语句,比较花时间。ETL也可以基于SQL上进行,看具体需求而行了。

使用道具 举报

回复
求职 : 数据库管理员
论坛徽章:
186
授权会员
日期:2008-07-27 22:25:202014年新春福章
日期:2014-02-18 16:42:02马上有房
日期:2014-02-18 16:42:02马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上加薪
日期:2014-02-19 11:55:14版主4段
日期:2015-02-26 02:21:03慢羊羊
日期:2015-03-04 14:51:35
发表于 2013-1-7 18:29 | 显示全部楼层
认同大家的观点:
1.  工具容易规范化,易于维护;
2. 工具有自身的特有优势,比如各个点的并行处理。CDC、行列转换、SCD的简单设置就可实现。元数据管理等;
3. 工具能实现的基本SQL也能实现,有时可能要写复杂SQL而已;
4. SQL在处理复杂逻辑时灵活性更高,优势明细;
5. SQL的不易维护和管理。

使用道具 举报

回复
论坛徽章:
0
发表于 2013-1-28 10:46 | 显示全部楼层
lele5000 发表于 2012-6-20 21:23
自己写SQL、存储过程在短时期看来是很快,也得心应手。但是从长远来看 不利于维护。

随着项目的推进,存 ...

“很多人认为用工具没有纯手工打造的人牛B,那是这些人根本就没把工具玩透”
非常赞同你的观点!
顺便说句:在打造企业级的应用平台时,是纯SQL无法企及的坎。

很多人理解ETL工具都狭义的理解为ETL任务设计管理工具了,
在我看来,ETL工具要分 ETL任务设计管理和ETL调度监控管理两个方面。
最近网上这个TASKCTL貌似火了,而且现在还开源了。

free的ETL调度平台 + free的ETL任务设计(例如用kettle) = free的ETL解决方案,多好啊

使用道具 举报

回复
认证徽章
论坛徽章:
43
现任管理团队成员
日期:2011-05-07 01:45:08ITPUB元老
日期:2012-09-12 14:50:28版主5段
日期:2014-06-11 02:21:31阿斯顿马丁
日期:2013-11-19 10:38:16祖母绿
日期:2012-11-06 12:43:12路虎
日期:2013-11-20 11:37:53雪佛兰
日期:2013-09-05 13:28:25ITPUB9周年纪念徽章
日期:2010-10-08 09:28:512015中国数据库技术大会纪念徽章
日期:2015-04-24 16:04:24秀才
日期:2015-05-26 13:32:07
发表于 2013-2-20 09:09 | 显示全部楼层
ETL也可以自己写SQL的,所以复杂点的需要定期执行的流程ETL更好

使用道具 举报

回复
论坛徽章:
1
2013年新春福章
日期:2013-02-25 14:51:24
发表于 2013-2-21 11:51 | 显示全部楼层
两种方式都常用的,一般基于成本、客户需求以及今后规划来考虑选择方案。
通常,复杂的逻辑一般在ETL工具中调用存储过程实现。

ETL工具带来的便利:
1.规范的操作流,即提供了标准的ETL工作流(抽取、清洗、规范化、加载)中的每一步功能的定制。
2.提供元数据管理。
3.工作流调度。

使用道具 举报

回复
论坛徽章:
3
2010新春纪念徽章
日期:2010-03-01 11:19:55ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222013年新春福章
日期:2013-02-25 14:51:24
发表于 2013-2-25 17:22 | 显示全部楼层
从数据管控,数据治理方面考虑还是采用ETL工具,使用SQL在元数据的管理,知识转移以及后期维护方面灵活性不如ETL

使用道具 举报

回复
论坛徽章:
13
ITPUB9周年纪念徽章
日期:2010-10-08 09:31:21秀才
日期:2017-08-18 11:04:35秀才
日期:2017-02-22 15:16:26秀才
日期:2016-08-15 10:08:08秀才
日期:2016-02-18 09:39:10知识
日期:2015-09-25 09:22:23秀才
日期:2015-09-14 10:08:30秀才
日期:2015-08-06 13:55:21祖母绿
日期:2014-09-11 13:38:41马上有钱
日期:2014-03-20 15:53:11
发表于 2013-3-12 13:17 | 显示全部楼层
这个东西分什么时段的人用,刚入手的,绝对要熟悉etl了,有了丰富的经验之后会发现sql舒服,给我们实施的人员,人家自己写了个etl抽取,在项目上会更加方便

使用道具 举报

回复
论坛徽章:
54
2010新春纪念徽章
日期:2010-01-04 11:01:51青年奥林匹克运动会-三人篮球
日期:2014-09-11 13:25:37itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55itpub13周年纪念徽章
日期:2014-10-08 15:19:55马上有车
日期:2014-10-17 17:06:47马上有钱
日期:2014-10-23 14:14:29
发表于 2013-3-13 08:52 | 显示全部楼层
难道大家用etl工具就完全不写sql和存储过程了吗?

使用道具 举报

回复
论坛徽章:
0
发表于 2013-3-27 20:16 | 显示全部楼层
我最常用的还是sql 比较灵活

使用道具 举报

回复
论坛徽章:
0
发表于 2013-3-27 23:29 | 显示全部楼层
etl 和sql其实要看情况使用

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表