接ETL考虑。。。。。

finite · 发表于 2004-9-15 21:22

我自己做了一个etl 实际上是从实时数据库导入到中心数据库（Oracle 9i）中，实际上没有数据清晰的问题，但是有数据转换，我们公司主要针对测试行业，这个行业一次导入大概是1200万遍试验数据，维数大概是6-8个，我最终测试鳓以下时间，大概导入依次需要1个小时，当然这个不算快，当时我用的是ole db直接将数据写入数据库，将数据与内存绑定，感觉效果不错。
不知道有没有可以直接写Oracle数据文件的方法，我感觉这个将更快写，不过我不是很清楚Oralce数据文件的格式。

xingyucwz · 发表于 2004-9-28 10:40

写ETL工具，不需要一开始就求全，先要完全目前的工作。大家可能都用过datastage等等的ETL工具，那么在使用过程中都或多或少的遇到了问题，也就是说工具本身也有解决不了的事情，而这些工具，相信也是经历了大大小小项目的考验。那么自己写ETL也需要有这么积累的时间。如果真的有捷径，就多用用现在已经成型的工具，然后再融合自己的项目经验写一个或提出超前的设计思路。

microlong2000 · 发表于 2004-10-19 13:23

我是用SQL SERVER实现的，很方便的，我是按月抽取！

xxy2000 · 发表于 2004-10-20 23:30

我做了个ETL工具,使用解释器实现数据转换,使用JDBC连结数据库,不知是否能够满足实际应用需求,想请大家评价一下,可以到以下地址下载软件
http://www.beecradle.com/blsetup.exe
具体软件介绍可以登录以下网站查看
http://www.beecradle.com

qq6810 · 发表于 2004-12-6 19:39

最初由 ligengocp 发布
[B]我的朋友做过300G的DBF到ORACLE抽取,只需要1个小时;NCR需要23个小时.

方法透露一点,,使用C与SQLLOAD,将DBF文件当成普通文本文件来读..当然数据源与目标数据库的网络通道要多要宽,此外后台数据库的表设计一定要到位,表的分区要大,不要写日志等. [/B]

NCR要是真象你这么说的，只怕可以直接关门。结果倒过来我是勉强相信的。呵呵