有没比SQL*LOADER更快的文本数据导入方法？

newkid

earth2mars 发表于 2012-11-10 21:34
外部表可以建成压缩表么？

不行，文本压缩了就认不出来了。即使支持的话肯定也要先解开。你为什么要用压缩？
目标表当然是可以压缩的。

damoyizhan

newkid 发表于 2012-11-11 03:02
不行，文本压缩了就认不出来了。即使支持的话肯定也要先解开。你为什么要用压缩？
目标表当然是可以压缩 ...

我一个山寨项目就是用 oracle javasource 来unzip压缩包，然后用外部表导入txt文本入库的，
速度还可以，不用并行，百万级的数据，是select insert百万级的堆表速度的2/3.

yulihua49

有。
批量导入，多批commit一次（sqlldr是每批commit一次）；
多线程导入（必须是多核服务器）。
如果是异地文件导入，可以使用中间件，将文件多线程压缩后传到数据库服务器，多线程解压导入。百兆网比sqlldr快。千兆网不一定，但也有好处，同一个网可以容纳更多的作业量。
我们现在就是这些方法，都比sqlldr快。

nuaaguang

文本文件先导入数据库然后处理插入到表中
可以参考下怎么把excel导入到表中方法

earth2mars

yulihua49 发表于 2012-11-14 16:10
有。
批量导入，多批commit一次（sqlldr是每批commit一次）；
多线程导入（必须是多核服务器）。

谢谢，具体怎么做呢？

newkid

yulihua49 发表于 2012-11-14 16:10
有。
批量导入，多批commit一次（sqlldr是每批commit一次）；
多线程导入（必须是多核服务器）。

sqlldr也可以指定commit的批次大小。
你说的这些用外部表都可以轻松做到。

lhnjchina

挑战极限的人无处不在啊

carniege

应该有,直接写数据块,就是直接写在文件里,跳过oracle

yulihua49

earth2mars 发表于 2012-11-20 22:30
谢谢，具体怎么做呢？

今天结果出来了。
2个数据库服务器做RAC，光纤磁盘阵列做RAID10。
3个应用服务器，每个16线程做计算，通过一个队列将数据提交给一个数据库连接。做批量插入，每批1000记录。
一个管理服务器，负责读文件，发送给3个应用服务器。

单个应用服务器相当于一个sqlldr，每秒可加载10000个记录（记录比较大）。
3个每秒27535记录。

earth2mars

yulihua49 发表于 2012-12-3 12:56
今天结果出来了。
2个数据库服务器做RAC，光纤磁盘阵列做RAID10。
3个应用服务器，每个16线程做计算， ...

如果仅仅是每秒加载数据几万行是不快的
sqlldr每秒可以加载20万行，笔记本，行长200字节