ETL架构是否可标准化？

Federation

拜读中..........

Federation

楼主是做什么工作的？

innovate511

我在另一个帖子提到过
“现有的ETL工具都支持多种手段实现ETL，而更易维护、更易快速复制开发的手段则必须有一个统一的规范。就像去年我放开团队去开发ETL，结果即便总体规范和思路统一，但实际具体到逐个的mapping，以及session设置、workflow调度，都有很多明显差异，导致后期较难维护。

工具给的规范都是泛泛的，我这里说的标准，可能需要详细到某个细节该怎么处理。如汇总，按照工具的特性，就是在mapping里需要先sort再agg，处理mapping之前的事务，就只能调用统一开发的SP，而不能在session里pre sql里写SQL！这些细节必须规范，而工具的规范不会这么细，而作为团队的大批量开发，你必须细到这个程度，形成标准！！”

innovate511

原帖由 louyu_fight 于 2009-5-21 21:30 发表
楼主，不使用工具，核心逻辑配置是怎么做到的？

我举的例子就是要使用工具，但工具实现某个逻辑的方法太多，所以需要找出最适合某种情况的作为某种情况的标准开发。

innovate511

原帖由 Federation 于 2009-6-1 11:41 发表
楼主是做什么工作的？

一个做DWBI项目的而已，经历过的很多项目、项目角色，从不同的角度看项目，觉得需要脚踏实地去创新的地方很多，这只是其中一个看法而已。

limingqiu5021

说的不错,楼主缺人找我得了

Cognoser

原帖由 limingqiu5021 于 2009-6-1 15:57 发表
说的不错,楼主缺人找我得了

算我一个

Intelligencer

拜读～

ren_yymm

完全赞成楼主的意见,标准很重要,尤其是一个大项目!
希望以后有机会和楼主多交流.....

vikiv

感觉etl没什么技术难度，主要还是规则，还有后期的维护，比较头疼啊