NEWKID：oci确实比存储过程快。

newkid

yulihua49 发表于 2013-5-14 15:34
另外：
alter session force parallel query
好像在此测试中不起作用。

查询在这里不是瓶颈，写文件的动作还是串行的，所以你这个设置不起作用。

newkid

yulihua49 发表于 2013-5-14 15:20
newkid是我最佩服的大侠，只有与他过招才过瘾。
不是与他个人争高低，更重要的是技术手段的比拼。
我 ...

你让我很有存在感啊。
PLSQL写文件要通过UTIL_FILE,那是个用C语言写的包，但是比起直接用C写文件还是多了一层。你该去找OO说的那个sqluloader2比拼。

yulihua49

newkid 发表于 2013-5-14 22:47
你让我很有存在感啊。
PLSQL写文件要通过UTIL_FILE,那是个用C语言写的包，但是比起直接用C写文件还是多了 ...

测了最简单的select，读出后扔掉。
并行发生了，还是在所有RAC节点上，出现了N多线程。
但是性能上没有好处。

把读数据和写文件并行起来，只获得了5%左右的好处。

〇〇

newkid 发表于 2013-5-14 22:47
你让我很有存在感啊。
PLSQL写文件要通过UTIL_FILE,那是个用C语言写的包，但是比起直接用C写文件还是多了 ...

sqluldr2也是oci写的，不是自相残杀？

yulihua49

yulihua49 发表于 2012-11-20 13:53
报告结果，NEWKID果真身手不凡。
你那个程序是10分55秒完成。
但是我把程序移到数据库服务器上，避免 ...

今天，OCI的批量读（BULK）试验成功，采用每批1000行的方式，双线程，一个负责从数据库读，一个负责转换csv格式（比普通文本格式开销大）并写文件。
性能比单条单线程模式提高了约26%。形成流水线式的并行操作。
应该不止于此，受100M LAN制约的结果，如果不是这个因素，还应该更快些。

这就意味着，即使100M LAN的异地卸载程序，性能也超过了存储过程的本地卸载。

kuaileshizhe200

yulihua49 发表于 2012-11-20 13:53
报告结果，NEWKID果真身手不凡。
你那个程序是10分55秒完成。
但是我把程序移到数据库服务器上，避免 ...

我执行一直报操作文件无效，什么原因？
新建文件目录，也授权了呀

yellowlee

looric 发表于 2012-11-15 09:38
导出成csv也可以试试看sqlplus，没准更快呢。
还可以试试看java

java的代码简洁，好看，易用，不过效率确实一般

newkid

kuaileshizhe200 发表于 2014-3-11 15:15
我执行一直报操作文件无效，什么原因？
新建文件目录，也授权了呀

ORACLE必须对那个操作系统目录有读写权限。
你先用最简单的代码去测试这个目录。
也可以挑原有的DBA_DIRECTORIES里面的目录来测试。

yulihua49

newkid 发表于 2014-3-15 03:30
ORACLE必须对那个操作系统目录有读写权限。
你先用最简单的代码去测试这个目录。
也可以挑原有的DBA_DI ...

报告新进展。
单独的多线程加载器已经做好，在单节点上与sqlldr的直接路径模式一样快。
先前说的达到1.2-1.5倍速度，没有出现。
分析原因是，原来那个加载的是csv文件，解析开销较大，所以sqlldr慢了。我是用了4-12个线程解析csv。
现在是普通分隔符的文本，没有解析开销，所以时间没有差别。

尽管与其速度相同，但是如果在rac环境多个节点并发就可以成倍提高速度，我现在没有RAC环境。
sqlldr的 directpath不允许并发，所以它没有这个潜力。

kuaileshizhe200

newkid 发表于 2014-3-15 03:30
ORACLE必须对那个操作系统目录有读写权限。
你先用最简单的代码去测试这个目录。
也可以挑原有的DBA_DI ...

newkid大师，首先谢谢您的指导，我已经找到问题了，是文件权限问题，linux系统的oracle 用户对导出文件夹必须有读写权限。那个存储过程导出的文件应该是在数据库服务器上。