ETL架构是否可标准化？

graysun

个人观点: ETL可以标准化, 我们可以将标准化分为不同的层次,或者叫不同层次的抽象.
非常同意上面兄台的看法, E-T-L已经是一种层次上的抽象, 将所有的数据源汇总成E(文本,Oracle, DB2, SQL Server, Webservice, 实时,批量,Teradata), T, L应该不需要再说．
那么楼主的标准化应该是超过这个层次上的标准化，主要侧重在开发标准化，维护标准化，过程标准化，正如大家所说，这个过程很难，很复杂．
如果针对所有的项目类型，所有的项目需求，所有的行业，所有的流派实现标准化，确实是个困难的工作．那么我们有没有可能退尔求其次．
我们仅针对自己的项目，自己的模型，自己喜欢的工具讨论一些标准化．

我是找砖的人，欢迎大家指正

graysun

daxue 发表于 2010-1-17 18:14
赞同楼主规范化的观点，但觉得楼主对工具的作用太理想化了，用工具，如果没有管理好，六七年下来也是乱的烂 ...

有句话叫公欲善其事，必先利其器．我想是有道理的．
现在的区别到底选用哪种类型的工具的问题．写代码并不意味着不用工具．

管理是个通用的问题，我觉得可以不谈．

graysun

esestt 发表于 2009-7-16 16:32
我不是实施供应商，以前一直做内部项目的，自己开发、实施、管理、维护。在刚开始这个行业的前两年， ...

仁者见仁，智者见智．
应该选择适合自己的工具，不同的目的有不同的选择，这不是标准化的问题．

xsmdel

innovate511 发表于 2010-1-13 21:51
ETL的思想得到应用，对于初学者最好让他们使用工具，因为如果使用脚本/SP的话，可能他们为了实现基本功能， ...

共鸣啊。最近带几个实习生就出现这样的状况。很多硬代码。思维不清楚。

xsmdel

一个有意思话题。顶顶。

cognizanthunter

学习，不知道现在怎么样了

innovate511

没搞具体技术了，ETL更是没沾边了，在搞业务运营和业务的数据分析

lhyangel2012

innovate511 发表于 2009-6-1 12:43
我在另一个帖子提到过
“现有的ETL工具都支持多种手段实现ETL，而更易维护、更易快速复制开发的手段则必须 ...

太对了，不然后续维护就悲剧了，，，

lhyangel2012

innovate511 发表于 2009-6-1 12:44
我举的例子就是要使用工具，但工具实现某个逻辑的方法太多，所以需要找出最适合某种情况的作为某种情况的 ...

对的，，，不然就乱套了，标准要是改 都改。

消逝的猪

在我看来，具体的ETL处理过程更属于偏重于业务层面的。标准化成本不小。
鉴于本人是制造业运维部门的。我只关心诸如调度、监控运维方面，如：人工干预、自动化流程、实时监控、调度分析（历史回放、运行预测）等功能。
我觉得这块更偏重于技术层面。更具体业务无关。更适用于标准化，产品化。