楼主: innovate511

[精华] ETL架构是否可标准化?

[复制链接]
论坛徽章:
0
41#
发表于 2010-1-13 14:26 | 只看该作者
最近我们也在搞代码标准化。需求的整理是一个很大的麻烦,还有维护。如果这些做好了。会大大的提高etl的维护效率

使用道具 举报

回复
论坛徽章:
0
42#
发表于 2010-1-13 19:49 | 只看该作者
ETL的开发正在向SOA方向靠

使用道具 举报

回复
论坛徽章:
51
2015年新春福章
日期:2015-03-06 11:57:31茶鸡蛋
日期:2012-03-18 19:28:08鲜花蛋
日期:2012-02-29 11:37:262012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-01-04 11:50:44ITPUB十周年纪念徽章
日期:2011-11-01 16:20:28
43#
 楼主| 发表于 2010-1-13 21:51 | 只看该作者
ETL的思想得到应用,对于初学者最好让他们使用工具,因为如果使用脚本/SP的话,可能他们为了实现基本功能,给你拼N多SQL,很多硬编码。如果使用工具则不同,如果禁止核心ETL工作调用SQL/SP的话,将迫使他们理解E,T,L,怎样合理、高效、易维护地去开发。

当然,要在脑子里有这种严谨的思维习惯,规范不可或缺,ETL的SOA方向主要还是思想、公用功能,而不是MAPPING,毕竟最终每个源、目标表的表结构都不同。所以最好的办法是针对不同情况,对主流ETL的情况进行分别形成模板,告诉团队成员,这样的ETL需求,需要怎么入手才能开发最快、最高效和符合规范,运行也符合高效策略。

使用道具 举报

回复
论坛徽章:
0
44#
发表于 2010-1-17 18:14 | 只看该作者
赞同楼主规范化的观点,但觉得楼主对工具的作用太理想化了,用工具,如果没有管理好,六七年下来也是乱的烂的,用代码,管理好效果也不差。关键是管理和规范。
另外,规范的建立并非一朝一夕,好的规范建立之后要长久执行,不比建立容易,要有稳定的团队,也要能顶得住进度的压力

使用道具 举报

回复
论坛徽章:
183
2008版在线时间
日期:2010-06-01 00:01:32奥运纪念徽章
日期:2013-07-18 13:55:12大众
日期:2013-09-29 21:57:31大众
日期:2013-11-19 14:51:47凯迪拉克
日期:2013-12-06 09:40:33奔驰
日期:2013-12-10 08:41:56优秀写手
日期:2013-12-18 09:29:122014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36
45#
发表于 2010-1-19 12:28 | 只看该作者
楼主,招我得了

使用道具 举报

回复
论坛徽章:
22
ITPUB元老
日期:2006-12-13 17:04:38ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41生肖徽章2007版:鼠
日期:2008-01-02 17:35:53生肖徽章2007版:虎
日期:2008-01-02 17:35:53生肖徽章2007版:兔
日期:2008-01-02 17:35:53生肖徽章2007版:猴
日期:2008-01-02 17:35:53生肖徽章2007版:鸡
日期:2008-01-02 17:35:53ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44会员2007贡献徽章
日期:2007-09-26 18:42:10授权会员
日期:2006-12-13 17:02:18
46#
发表于 2010-1-28 12:09 | 只看该作者
楼主的意思我感觉是不是ETL设计的标准化.
无论使用哪个工具,要实现的处理逻辑是一样的.这个逻辑应该是从ETL的概要设计到详细设计阶段.

使用道具 举报

回复
论坛徽章:
0
47#
发表于 2010-1-30 10:29 | 只看该作者
受教了

使用道具 举报

回复
论坛徽章:
1
2010新春纪念徽章
日期:2010-03-01 11:07:27
48#
发表于 2010-3-22 13:10 | 只看该作者
学习中。。

使用道具 举报

回复
论坛徽章:
14
2009新春纪念徽章
日期:2009-01-04 14:52:282013年新春福章
日期:2013-02-25 14:51:24ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042011新春纪念徽章
日期:2011-01-04 10:35:172010广州亚运会纪念徽章:马术
日期:2010-11-22 15:29:06ITPUB9周年纪念徽章
日期:2010-10-08 09:31:212010系统架构师大会纪念
日期:2010-09-03 16:39:572010年世界杯参赛球队:希腊
日期:2010-06-22 12:15:492010数据库技术大会纪念徽章
日期:2010-05-13 09:34:232010新春纪念徽章
日期:2010-03-01 11:06:13
49#
发表于 2010-3-22 22:52 | 只看该作者
拜读了

[ 本帖最后由 xieg_sky 于 2010-3-22 22:53 编辑 ]

使用道具 举报

回复
论坛徽章:
1
ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59
50#
发表于 2011-9-6 11:01 | 只看该作者

求新解

不知道楼主现在对这方面有没有什么新的见解?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表