有没比SQL*LOADER更快的文本数据导入方法？

newkid

yulihua49 发表于 2012-12-7 20:25
这个我看过。可是，跟加载问题有什么关系？
里边有个：
text *sqlstmt = (text *)"INSERT INTO yourc ...

批量绑定和直接路径加载是两码事。前者是指客户和服务器之间的数据传递方式，后者是只不用常规路径插入（常规路径是在内存中完成插入，有REDO）, 直接写入数据文件。

〇〇

yulihua49 发表于 2012-12-7 20:25
这个我看过。可是，跟加载问题有什么关系？
里边有个：
text *sqlstmt = (text *)"INSERT INTO yourc ...

http://www.itpub.net/thread-1271979-5-1.html 145楼
[itpub.net]awr.rar (43.1 KB, 下载次数: 4)

2012-12-8 07:12 上传

点击文件名下载附件

看附件中c.c有1行
if(fn=='c')//根据文件名判断，c常规路径，d直接路径

yulihua49

〇〇 发表于 2012-12-8 07:13
http://www.itpub.net/thread-1271979-5-1.html 145楼

看附件中c.c有1行

看到了。又有新技术要学了，多谢。
直接路径会比常规路径高效不少吧？
这个技术有些什么约束和限制呢？
那么，sqlldr是否可以支持直接路径呢？如何设置？

yulihua49

earth2mars 发表于 2012-12-7 21:38
yulihua老师是我佩服的人！
其实我想学的是方法，而不是别人做好的工具自己拿来用用，希望有一天自己也 ...

我也有很多东西要学，一起探讨吧。

〇〇

yulihua49 发表于 2012-12-8 20:05
看到了。又有新技术要学了，多谢。
直接路径会比常规路径高效不少吧？
这个技术有些什么约束和限制呢 ...

直接路径加载在高水位标志上填充数据，必须提交后才能select
sqlldr direct=true

earth2mars

yulihua49 发表于 2012-12-8 20:05
看到了。又有新技术要学了，多谢。
直接路径会比常规路径高效不少吧？
这个技术有些什么约束和限制呢 ...

直接路径不能两个session同时insert，会阻塞的
直接路径会引起高水位的问题

SQLLDR的直接路径比常规路径快很多。

yulihua49

earth2mars 发表于 2012-12-8 20:55
直接路径不能两个session同时insert，会阻塞的
直接路径会引起高水位的问题

这有点郁闷，我是靠多会话提供性能的。
不过有空我还是想试试。

earth2mars

yulihua49 发表于 2012-12-10 20:59
这有点郁闷，我是靠多会话提供性能的。
不过有空我还是想试试。

直接路径可是比常规路径快好几倍的
另外多会话，如果是单硬盘，只会更慢，因为只有一个磁头
当然SSD可能例外，不过一般生产环境硬件都比较好

〇〇

yulihua49 发表于 2012-12-10 20:59
这有点郁闷，我是靠多会话提供性能的。
不过有空我还是想试试。

sqlldr有parallel选项，支持多个文件导入

yulihua49

〇〇 发表于 2012-12-10 21:25
sqlldr有parallel选项，支持多个文件导入

这两天抽空试了试。新的RAC系统老是在调试，状态比较乱，数据没有典型性，下周还要继续试。
sqlldr，加载我这个数据，3992639条记录。
常规的，16分34.8秒，直接路径7分42秒。
我的多线程计算加载2分20秒。RAC环境似乎多线程好一些。单机环境直接路径好一些。