接ETL考虑。。。。。

supkim · 发表于 2002-7-4 08:29

现在最大的问题是哪些指标做为维，哪些指标做为指标维，要分起来还真的有点麻烦

ligengocp · 发表于 2002-7-4 20:14

我的朋友做过300G的DBF到ORACLE抽取,只需要1个小时;NCR需要23个小时.

方法透露一点,,使用C与SQLLOAD,将DBF文件当成普通文本文件来读..当然数据源与目标数据库的网络通道要多要宽,此外后台数据库的表设计一定要到位,表的分区要大,不要写日志等.

roamer · 发表于 2002-7-4 20:19

使用SQLLDR有一些缺点，主要是在程序中调用，不象自己的程序一样可以判断返回值，而且说心里话，速度也不是很快。

cxgtommy · 发表于 2002-7-5 17:47

其实把表空间预开辟，去掉索引，去掉外键，建分区，起多个sql loader装数据的话会快一些。不过oracle 9i支持external table，就应该不用loader了。

teradata的话，不知道奶粉兄的平台情况怎样？是NT的？几个节点？是用fast loader还是其他的？建得索引的情况怎样。。。。。

ligengocp · 发表于 2002-7-6 14:38

最初由 cxgtommy 发布
[B]其实把表空间预开辟，去掉索引，去掉外键，建分区，起多个sql loader装数据的话会快一些。不过oracle 9i支持external table，就应该不用loader了。

teradata的话，不知道奶粉兄的平台情况怎样？是NT的？几个节点？是用fast loader还是其他的？建得索引的情况怎样。。。。。

[/B]

Sorry,我对TERDATA的具体技术不太解的.

cxgtommy · 发表于 2002-7-7 22:07

哦，能帮忙问一下吗？

justforit · 发表于 2002-9-30 21:59

TERADATA是用FASTLOAD和BTEQ两个工具来做ETL
FASTLOAD主要是载入临时表
BTEQ主要是做一些变换,导入到数据库中

我思我在 · 发表于 2002-10-1 07:00

请参考一下PowerMart，专门用于数据提取、清洗、加载，功能的确强大，我就是用它将源数据加载到数据仓库，至于究竟有多强大，你用用就知道，对开发ETL很有帮助。

在数据仓库设计时，确定维的一般方法：属性确定成维，计算确定为指标（或度量）

请大家参考《数据仓库》这本书，很经典的

我思我在 · 发表于 2002-10-1 07:02

微软的DTS便是，只不过功能不是很好，还需要写很多VBScript

michael1020 · 发表于 2002-10-23 14:55

数据映射，加载，清洗。聚合计算不能算在ETL范围内

[精华] 接ETL考虑。。。。。

如果你要做ETL的话

便宜的ETL工具

数据映射

浏览过的版块