Etl考虑

cxgtommy · 发表于 2002-5-22 22:01

大家是怎么处理ETL的？

ligengocp · 发表于 2002-5-24 19:31

去了解ORACLE OWB，并不一定要用会，里面有ETL的流程。

如果后台选用ORACLE，OWB是你比较好ETL工具

cxgtommy · 发表于 2002-5-25 21:41

那玩艺只能跑在oracle数据库里面，生成一堆的pl/sql，感觉不爽。应该说，如果源和目标都是oracle还可以考虑，如果源是五花八门，owb就很不爽了

ligengocp · 发表于 2002-5-27 19:09

OWB的数据源也可以接其它的东西。

OWB是一个数据项目管理工具，它可以管理整个数据仓库项目的生命周期，而且由于ORACLE编写的，对于大数据的转换加载，其优势不言而喻

roamer · 发表于 2002-5-28 09:04

ETL工具太多了，每个数据库/仓库厂商都提供，还有好多三方厂家提供的。Oracle有OWB，DB2有WareHouse Manager。。。，三方比较流行的是Ascential的DataStage。如果采用工具，就得看实际得应用了，如果在整个系统中只有DB2数据库，那么WareHouse Manager当然是首选，她可以利用DB2好多特用的功能，如EEE Load等，但是缺点是需要单独的一台Windows NT服务器，造价倒是不算高，但是Windows平台的稳定性太成问题。如果数据源异常复杂，选用工具还是使用三方的产品比较好，对数据源的广谱支持更好些。

如果提取逻辑非常复杂，任何工具中都需要自己写嵌入代码来实现。

我自己的考虑是自己开发，这样既可以节省掉买ETL服务器和ETL软件的开销（一笔不小的数目），又可以利用各种数据源/数据仓库的特殊功能，况且各种ETL软件都需要一个熟悉使用的过程，DataStage还容易掌握一些，Warehouse Manager稍困难点，但是至少也需要一个星期的时间去摸索。

cxgtommy · 发表于 2002-5-29 11:38

甭管handcode或者tools，反正都得把数据拿过来，大家最头痛的是啥？

roamer · 发表于 2002-5-29 12:18

我倒是觉得ETL并不是一个很重要得环节，无论采用那种方式，只要性能达到并且对生产系统影响不是很大就可以了。可能我的配置不是很好，用DataStage实现最简单的提取最高只能达到200记录/秒。

cxgtommy · 发表于 2002-5-30 13:18

不会吧？我这里datastage随便找台笔记本从oracle->oracle都能得到2000多条每秒抽取速度。你是怎么做的，可以交流一下。

做银行的数据量象对不大，转换复杂，电信的数据量大，转换简单，不过确实都把不对业务系统造成影响放在首要位置

roamer · 发表于 2002-5-30 13:23

我们是10M的网，我也是在笔记本上试的，从Oracle到DB2,从Oracle到Oracle我也试过，都不是很理想，你怎么配置的呢？

cxgtommy · 发表于 2002-5-30 18:32

在input页面中，你把transcation size跟array size搞大一点，大概1000条的样子，你再试试

[精华] Etl考虑

owb好用吗？

ETL是必经之路，大家聊聊心得