接ETL考虑。。。。。

supkim · 发表于 2002-6-3 11:15

本人正在准备做一个ETL工具，希望大家给点意见
1。数据源为DBF文件
2。在数据抽取时，定制抽取规则，以及转换规则怎么样实现最好
3。是否要包含元数据管理，如果包括的话，怎么样来实现
希望大家多给意见，谢谢了：）

cxgtommy · 发表于 2002-6-3 12:12

1。打算读文件结构还是走odbc？是否只打算支持windows平台
2。dbf历史久远，不同表的关联、代理主键生成、主键重复、复杂的过滤、大数据量读取的优化、增量变化这是比较突出的问题
3。你不会是从dbf->dbf吧？metadata至少要把目标、源、转换规则管理起来

dbf现在用的地方还有，做这etl还是有意义，稍加改动就可以支持文件了，不过能加点主流的关系数据库就更好了

gagarou · 发表于 2002-6-3 16:08

我这里也有同样的转换问题，数据源是dbf(2.5 )格式，MS SQL SERVER作数据仓库，有没有什么比较好的工具！

supkim · 发表于 2002-6-3 16:29

ETL工具中：数据抽取，数据转换，数据加载是些什么的概念，它们之间有什么区别？
如果数据源是oralce，那么在抽取，转换，加载方面要注意些什么问题呢，

cxgtommy · 发表于 2002-6-4 00:56

抽取可以简单理解为访问各种数据源，以及访问的功能、灵活程度等等
转换是中间的数据处理过程，毕竟数据仓库跟业务系统很多东西都变了
装载就是装载到数据仓库中，因为很多时候，数据仓库需要装载的数据量很大，而装载速度比读的操作要慢得多，所以这快要考虑性能

这些是中性的说法，跟oracle不oracle没关系

supkim · 发表于 2002-6-6 16:01

在ETL系统中进行数据转换时，一般要进行一些基本的字段映射，以保持与数据仓库中多维结构相对应。另外还需要进行一些比较复杂的运算。现在就请大家来谈谈这些比较复杂的运算都包括哪些运算？

yorgo · 发表于 2002-6-7 17:30

我觉得有重复性的查询
根据粒度的聚合运算

supkim · 发表于 2002-6-13 09:29

做一个ETL工具，哪位大哥能提供一些相对成熟的思路和想法。。
再问一个问题，聚合运算的含义是什么，怎么来实现？

cxgtommy · 发表于 2002-6-13 10:43

聚合运算就是一些常见的统计运算
sum,count,avg,standard derivation.....

supkim · 发表于 2002-6-14 10:46

oralce提供了ETL工具，请问大家谈用过这个工具的感受？
有没有人用sql loader进行过开发，请谈谈感受？
多谢！

[精华] 接ETL考虑。。。。。

需要这样的工具

to cxgtommy

浏览过的版块