楼主: wangfans

[精华] 有奖讨论: ETL 工具 VS SQL 代码

[复制链接]
论坛徽章:
0
发表于 2014-7-4 13:48 | 显示全部楼层
我认为没可比性。ETL工具关键在于用。
我遇到的很多项目,ETL工具的用途鸡肋。就算项目有ETL工具,也很少一部分任务用ETL工具,大部分用脚本,sql,存储过程。
倒是我认为一款专业的调度工具应用就很大,不论是项目开发阶段,还是运维阶段,都很有意义。而且,专业调度工具的作用,也不是你在项目中开发些代码可以替代的。

使用道具 举报

回复
论坛徽章:
737
季节之章:春
日期:2015-07-31 17:16:29ITPUB季度 技术新星
日期:2014-07-17 14:37:00季节之章:秋
日期:2015-07-31 17:16:14季节之章:夏
日期:2015-07-31 17:16:29股神
日期:2014-10-15 09:23:31衰神
日期:2014-10-20 22:47:12季节之章:冬
日期:2015-07-31 17:16:14红钻
日期:2014-12-16 17:51:41洛杉矶湖人
日期:2016-09-23 08:18:15布鲁克林篮网
日期:2016-09-23 08:17:18
发表于 2014-7-9 23:05 | 显示全部楼层
这个帖子讨论的挺不错,想在项目里面二者兼用,存在的意义不一样。。。。

使用道具 举报

回复
论坛徽章:
0
发表于 2015-1-28 10:02 | 显示全部楼层
SQL代码更方便灵活
ETL直观易于维护

使用道具 举报

回复
论坛徽章:
1
美羊羊
日期:2015-03-28 00:45:30
发表于 2015-2-3 14:48 | 显示全部楼层
看需求,看项目成本

使用道具 举报

回复
论坛徽章:
0
发表于 2015-3-12 11:39 | 显示全部楼层
SQL的效率高,数据处理容易控制,但是后期维护实在不方便.etl更能节省开发量

使用道具 举报

回复
认证徽章
论坛徽章:
2
沸羊羊
日期:2015-03-04 14:51:522015年新春福章
日期:2015-03-06 11:58:18
发表于 2015-4-8 20:09 | 显示全部楼层
ETL用来控制流程,即使在ETL里面也是一样用sql/SP ,ETL的便利在于他帮我们封装了后台代码,简单的几个控件拖来拖去就能实现功能。但是有时候ETL不能提供最高效的后台代码结构,所以开发人员也可以嵌入自己的代码。

使用道具 举报

回复
论坛徽章:
4
优秀写手
日期:2014-04-04 06:00:14秀才
日期:2015-09-10 09:29:01秀才
日期:2016-12-21 16:55:07娜美
日期:2018-02-09 12:04:16
发表于 2015-4-21 17:51 | 显示全部楼层
前些天同事遇到11gbug,创建数据链无法抽取数据,我就设置kettle抽取的

使用道具 举报

回复
论坛徽章:
0
发表于 2015-5-13 21:40 | 显示全部楼层
成品 ETL 工具与手工写脚本之比较
一、灵活性来讲:ETL 工具比较灵活,需要在此平台上设置规则定义,前期是需要工 具先前必须已有支持功能,如果需要扩展,要 ETL 工具源厂商开发。而自己写脚本只需先 前好好调研需求,自己写能实现的功能即可。俗话说得好“求人不如求己”哈哈哈!
二、难易度:ETL 工具相对上手比较容易,工程师只需具备两个必要条件:1 、对数 据库熟悉 2、对客户的业务逻辑了解。手动写脚本呢?不仅要具备操作 ETL 工具的条件, 还要必须有一定技术水平。
三、后期管理与维护:ETL 工具非常容易,这点上是用工具的最给力的优势。可能也是 ETL 工具诞生的缘由吧!原因:人力少不说,如有新的需求,只需稍加改动,图形配置定 义即可。而手工编码呢?较难。需要重又开发写程序,随着数据信息的日积月累,􏰀日数据 的递增,更新。开发的速度赶不上需求的更新,严重到先前开发架构不合理甚至于有可能推 倒重来的风险。如果取中间,既有图形配置有兼具脚本开发功能,有款中国的 Beeload/ BeeDI
四、性能和效率:这方面取决于多方面如:1、硬件:服务器 CPU 内存 2、数据库类 型 数据类型 3、网络状况 4 、ETL 工具的配置 设计。。。。。整体来说 工具属于较高 范畴,各家成熟 ETL 不一致、各有千秋。手工写脚本就要看编程者的水平啦!因人而异, 如果直接在数据库上写存储过兴许比任何一家成品工具高得多。在性能上,工具当属老美的 informatica IBM 的 DS
五、开发周期:工具只需操作上源厂商负责培训,再把客户目前需求了解透彻,周期很 短,上线见效快。手工编码不仅需要把客户(当前)需求了解透彻,未来需求也要有所预测, 再进行开发。这样周期就不得而知了。
六、工作􏰁:从上述些显然保守点得出:ETL 工具属中等,手工编码属较重。写好程序 还需大􏰁测试工具,不断修正 BUG 与完善。成熟工具已把这些工具先前做过了,即使有, 也是可以容忍个别,源厂商可以分担修正。
七、投入成本价格:ETL 工具前期成本投入较多,钞票先付。后期维护成本相对低。编写 脚本,先期投入人力(工程师的工薪)中期大􏰁测试人力,后期维护人力(工程师的工薪) 看似相对较低。貌似不要票子的开源滴 ETL 工具 Kettle,后期才付费(服务费与培训费)
总之不管是用工具还是自己写脚本,要全盘考虑,根据各自项目大小,成本,愿意付出 哪部分,适合的才是最佳滴!

使用道具 举报

回复
发表于 2015-5-26 13:44 | 显示全部楼层
我觉得抽取、清洗、简单的转换操作可以通过etl工具实现,较复杂的业务逻辑还是通过SP实现比较好,这样易于维护

使用道具 举报

回复
发表于 2015-6-1 16:22 | 显示全部楼层
我觉得抽取、清洗、简单的转换操作可以通过etl工具实现,较复杂的业务逻辑还是通过SQL实现比较好,这样易于维护、成本低

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表