NEWKID：oci确实比存储过程快。

newkid

yulihua49 发表于 2014-3-15 15:45
报告新进展。
单独的多线程加载器已经做好，在单节点上与sqlldr的直接路径模式一样快。
先前说的达到1. ...

谁说sqlldr不能并行直接路径加载？
http://docs.oracle.com/cd/B19306 ... _modes.htm#i1008225
Intrasegment Concurrency with Direct Path

SQL*Loader permits multiple, concurrent sessions to perform a direct path load into the same table, or into the same partition of a partitioned table. Multiple SQL*Loader sessions improve the performance of a direct path load given the available resources on your system.

This method of data loading is enabled by setting both the DIRECT and the PARALLEL parameters to true, and is often referred to as a parallel direct path load.

此外，存储过程的优势在于作为SQL的一种粘合剂，如果是这种数据加载、卸载、毫无技术含量的SELECT *, 它的效率当然体现不出来。我在本例使用存储过程，只是因为易于实现。

2009532140

楼主玩的高达上啊...

yulihua49

newkid 发表于 2014-3-17 06:28
谁说sqlldr不能并行直接路径加载？
http://docs.oracle.com/cd/B19306_01/server.102/b14215/ldr_modes. ...

哦，以前我看错了文档。
那么，在RAC环境，sqlldr可以在文件一级并行。
我可以在文件内（块一级）并行。

〇〇

yulihua49 发表于 2012-11-14 11:26
OCI虽然高效，但使用过于复杂。
你那位同事，自己是高手，但没有传他人。
我们现在包装了，而且开源，使 ...

oci有直接路径加载到表
没有直接路径写到外部文件
数据泵双向都有

samt007

确实牛，顶一个。

newkid

〇〇 发表于 2014-6-7 12:34
oci有直接路径加载到表
没有直接路径写到外部文件
数据泵双向都有

Sqluldr是直接路径的吗？
直接路径饶过SQL引擎，做不到一致读，而且只能单表。

qingyun

呵呵，用plsql的文件传输当然不算快了，但是用前台工具开发生成数据导出文件秒杀proc c或oci那是毛毛雨的事情。可以做成多线程同时导出拼接文件

〇〇

newkid 发表于 2014-6-8 10:50
Sqluldr是直接路径的吗？
直接路径饶过SQL引擎，做不到一致读，而且只能单表。

不是，他说文档上好像有个参数，但没法用

yulihua49

qingyun 发表于 2014-6-8 19:45
呵呵，用plsql的文件传输当然不算快了，但是用前台工具开发生成数据导出文件秒杀proc c或oci那是毛毛雨的事 ...

好奇怪啊，前台工具不是oci的吗？是什么写的？ODBC？JDBC？如果这些玩意儿就别在oci面前丢脸了。

oci不可以多线程吗？我用oci一直多线程啊。

你要是秒杀sqlldr的direct模式，咱们PK一下。

qingyun

肯定没有sqldr快，只要是sql的方式，管你用什么引擎，我都有信心开发出速度no1的程序