NEWKID：oci确实比存储过程快。

jiqing1004

yulihua49 发表于 2012-11-14 11:26
OCI虽然高效，但使用过于复杂。
你那位同事，自己是高手，但没有传他人。
我们现在包装了，而且开源，使 ...

之前用过pipeline 函数导出数据也非常快，还可以并行
可以测试对比一下，参考如下链接中 a parallel-enabled pipelined function unloader

http://www.oracle-developer.net/display.php?id=429

dingjun123

oci的确是好东西，太复杂了点，otl_stream简单

xgghxkhuang

newkid 发表于 2012-11-13 23:05
可以，目前只支持DATAPUMP格式。我曾经在ASKTOM问他为什么不支持CSV格式，TOM的回答是可以向ORACLE提出一 ...

可以卸载成文件吗？

lastwinner

babujie2001 发表于 2012-11-14 11:54
只是感慨一下，20年。。。现在回头向你们学习来了。。。。

膜拜前辈先

newkid

xgghxkhuang 发表于 2012-11-14 14:48
可以卸载成文件吗？

可以，外部表当然是文件。即CTAS外部表。这个文件只能是DATAPUMP格式。

newkid

yulihua49 发表于 2012-11-14 10:59
好，那我们握手言和了。
在动态解析数据时，可能其他工具开销都比较大。
oci可以高效解决数据动态解析 ...

我准备用一种高级技术改写你的存储过程，争取这几天吧，看有没办法抽空。

newkid

yulihua49 发表于 2012-11-14 10:59
好，那我们握手言和了。
在动态解析数据时，可能其他工具开销都比较大。
oci可以高效解决数据动态解析 ...

你也来参加我们的编程比赛怎么样？
http://www.itpub.net/thread-1736930-1-1.html

就用你的C语言，注意咱们可不是拼速度，而是代码量，越小越好。

newkid

babujie2001 发表于 2012-11-14 11:09
20年前，很牛的同事用OCI完成foxpro 和 oracle的通讯接口，foxpro直接编程oracle....

20年前可能只有版本5或6? 没有记错吧？
他可能就是写了一个接口转换程序把FOXPRO文件转换到ORACLE里面，并不是用FOXPRO访问ORACLE.
我确实在97年写过FOXPRO插入到ORACLE的程序，用的是ODBC。
我写的最后一个FOXPRO程序在2006年光荣退休，总共运行了十年！甚至在我出国后没人维护的情况下还稳定运行了三年！

newkid

newkid 发表于 2012-11-15 01:17
我准备用一种高级技术改写你的存储过程，争取这几天吧，看有没办法抽空。

新版过程：

CREATE OR REPLACE PROCEDURE SQL_TO_CSV2
(
         P_QUERY IN VARCHAR2,                        -- PLSQL文
         P_DIR IN VARCHAR2,                          -- 导出的文件放置目录
         P_FILENAME IN VARCHAR2                      -- CSV名
)
IS
         L_THECURSOR INTEGER DEFAULT DBMS_SQL.OPEN_CURSOR;
         L_COLCNT NUMBER := 0;
         L_SEPARATOR VARCHAR2(1) := ',';
         L_DESCTBL DBMS_SQL.DESC_TAB;
         P_MAX_LINESIZE NUMBER := 32000;
         lv_sql VARCHAR2(32000);
BEGIN
         EXECUTE IMMEDIATE 'ALTER SESSION SET NLS_DATE_FORMAT=''YYYYMMDD HH24:MI:SS''';

lv_sql := '

DECLARE
         L_OUTPUT UTL_FILE.FILE_TYPE;
         L_ROW Varchar2(32000) := NULL;
   CURSOR c IS '||P_QUERY||';
   TYPE tp_rows IS TABLE OF c%ROWTYPE INDEX BY PLS_INTEGER;
   r tp_rows;
BEGIN
         L_OUTPUT := UTL_FILE.FOPEN('''||P_DIR||''', '''||P_FILENAME||'.tmp'', ''W'', '||P_MAX_LINESIZE||');
         OPEN c;
         
         LOOP
         FETCH c BULK COLLECT INTO r LIMIT 2000;
         
         FOR i IN 1..r.COUNT LOOP
             L_ROW := ';

         DBMS_SQL.PARSE( L_THECURSOR, P_QUERY, DBMS_SQL.NATIVE );
         DBMS_SQL.DESCRIBE_COLUMNS( L_THECURSOR, L_COLCNT, L_DESCTBL );
         FOR I IN 1 .. L_COLCNT LOOP
             IF i>1 THEN
                lv_sql := lv_sql||'||'''||L_SEPARATOR||'''||';
             END IF;
             lv_sql := lv_sql||'r(i).'||L_DESCTBL(I).COL_NAME;
         END LOOP;
         DBMS_SQL.CLOSE_CURSOR(L_THECURSOR);
         lv_sql := lv_sql||';
             UTL_FILE.put_line(L_OUTPUT,L_ROW);

         END LOOP;
             EXIT WHEN c%NOTFOUND;
         END LOOP;
         CLOSE c;

         UTL_FILE.FCLOSE( L_OUTPUT );
EXCEPTION
         WHEN OTHERS THEN
         UTL_FILE.FCLOSE( L_OUTPUT );
         DBMS_OUTPUT.PUT_LINE(DBMS_UTILITY.FORMAT_ERROR_BACKTRACE);
         RAISE;
END;';

    --DBMS_OUTPUT.PUT_LINE(lv_sql);
    EXECUTE IMMEDIATE lv_sql;

         -- UTL_FILE.fremove(P_DIR,to_char(sysdate,'yyyymmdd_')|| P_FILENAME||'.csv');
         -- UTL_FILE.frename(P_DIR,P_FILENAME||'.tmp',P_DIR,to_char(sysdate,'yyyymmdd_')|| P_FILENAME||'.csv');


END;
/

你可以调整批量大小，暂定2000行一批。

looric

导出成csv也可以试试看sqlplus，没准更快呢。
还可以试试看java