用过程语言实现group by cube的代码挑战赛

〇〇

改为
text *cb = (text *) "\
    CREATE OR REPLACE PACKAGE BODY update_parts AS\
        PROCEDURE add_parts (n            IN   INTEGER,\
                             descrip      IN   part_description,\
                             partno       IN   part_number) is\
        BEGIN\
            FORALL i IN 1..n \
                INSERT INTO part_nos\
                    VALUES (partno(i), descrip(i));\
        END add_parts;\
    END update_parts;";

12万行很快

D:\app\instantclient10_1>D:\app\oci\samples\blt
Connecting to ORACLE...
Dropping table...
Creating table...
Creating package...
Creating package body...
Parsing PL/SQL block...time=655

Binding arrays...
Executing block...time=187
SQL> select count(*) from part_nos;

  COUNT(*)
----------
    120000

1080000行

D:\app\instantclient10_1>D:\app\oci\samples\blt
Connecting to ORACLE...
Dropping table...
Creating table...
Creating package...
Creating package body...
Parsing PL/SQL block...time=733

Binding arrays...
Executing block...time=1544
SQL> select count(*) from part_nos;

  COUNT(*)
----------
   1080000

〇〇

test code

〇〇

还剩下一个难点没有解决
翻遍网络，好像非direct path只能调用存储过程forall才能批量装载

〇〇

作了一个完整的,还有错误
create table yourcube
(
C1 NUMBER(30,0),
C2 NUMBER(30,0),
C3 NUMBER(30,0),
C4 NUMBER(30,0),
SV NUMBER(30,0),  
CV NUMBER(30,0),  
GId NUMBER(30,0)   
);

D:\app\instantclient10_1>..\map9b LT/LT@10.6.132.43/orcl query="select c1,c2,c3,c4,v from t" file=NUL

       0 rows exported at 2010-03-08 14:38:12
recn=0
  500000 rows exported at 2010-03-08 14:38:13
recn=500000
1000000 rows exported at 2010-03-08 14:38:14
         output file  closed at 1000000 rows.

sum=1
sum(c1+c2+c3+v)=500111497488
sum(c4)=51690810
从数据库把表读入内存3291ms
4,5,67,114,152760
申请map内存16ms
申请一层内存15ms
新建一层节点500ms,recn=1000000,每毫秒读2000行,每毫秒写2000节点
申请后面内存31ms,1000000
新建后面节点2277ms,recn=2299600,每毫秒读439行key,每毫秒写570节点
0,first=2,renc=0
1,first=1000007F,renc=1000003
2,first=20007F00,renc=1000002
3,first=30007F7F,renc=2260123
4,first=407F0000,renc=1000001
5,first=507F007F,renc=2260125
6,first=607F7F00,renc=2284774
7,first=707F7F7F,renc=2284669
8,first=8F000000,renc=1000000
9,first=9F00007F,renc=2260124
10,first=AF007F00,renc=2273610
11,first=BF007F7F,renc=2284668
12,first=CF7F0000,renc=2284775
13,first=DF7F007F,renc=2299366
14,first=EF7F7F00,renc=2299485
15,first=FF7F7F7F,renc=2299599
汇总后面节点140ms,recn=2299600,每毫秒读7142行，每毫秒写9282行

Total number of rows to be inserted is 1000000

Connected to ORACLE as ocitest
插入结果表time=2558
释放所有动态内存2777ms,2299600
释放所有map内存203ms,2299600
总时间5975ms,2299600
3步（读入+运算+写出）总时间9266ms

Exiting with SUCCESS status 0

[ 本帖最后由 〇〇 于 2010-3-8 16:45 编辑 ]

〇〇

汇总后面节点140ms,recn=2299600,每毫秒读7142行，每毫秒写9282行

Connected to ORACLE as ocitest

Total number of rows to be inserted is 1000000
插入结果表time=2340

Total number of rows to be inserted is 1299600
插入结果表time=3650
释放所有动态内存16ms,2299600
释放所有map内存203ms,2299600
总时间9470ms,2299600
3步（读入+运算+写出）总时间12792ms

Exiting with SUCCESS status 0

〇〇

能输出部分正确的结果了,写入null的问题没有解决

〇〇

删除没用的注释
D:\lt\dl>map9c LT/LT query="select * from(select mod(level,9)c1,mod(level,19)c2,mod(level,109)c3,mod(case when mod(level,13)>0 then le
vel end ,113)c4, level v from dual connect by level<=1E6)" file=NUL

       0 rows exported at 2010-03-08 21:04:46
recn=0
  500000 rows exported at 2010-03-08 21:04:49
recn=500000
1000000 rows exported at 2010-03-08 21:04:52
         output file  closed at 1000000 rows.

sum=1
sum(c1+c2+c3+v)=500067498723
sum(c4)=51690810
从数据库把表读入内存6187ms
4,5,67,114,152760
申请map内存0ms
申请一层内存0ms
新建一层节点484ms,recn=941716,每毫秒读2066行,每毫秒写1945节点
申请后面内存16ms,941716
新建后面节点1000ms,recn=1346870,每毫秒读941行key,每毫秒写405节点
0,first=29,renc=0
1,first=1000007F,renc=941719
2,first=20007F00,renc=941718
3,first=30007F7F,renc=1327777
4,first=407F0000,renc=941717
5,first=507F007F,renc=1327779
6,first=607F7F00,renc=1333194
7,first=707F7F7F,renc=1333167
8,first=8F000000,renc=941716
9,first=9F00007F,renc=1327778
10,first=AF007F00,renc=1331000
11,first=BF007F7F,renc=1333166
12,first=CF7F0000,renc=1333195
13,first=DF7F007F,renc=1346646
14,first=EF7F7F00,renc=1346755
15,first=FF7F7F7F,renc=1346869
汇总后面节点32ms,recn=1346870,每毫秒读29428行，每毫秒写12661行

Total number of rows to be inserted is 100
插入结果表time=15

Total number of rows to be inserted is 100
插入结果表time=0
释放所有动态内存0ms,1346870
释放所有map内存313ms,1346870
总时间1891ms,1346870
3步（读入+运算+写出）总时间8078ms

Exiting with SUCCESS status 0

D:\lt\dl>

[ 本帖最后由 〇〇 于 2010-3-9 07:59 编辑 ]

〇〇

用难看的方式实现了大整数和NULL
text *sqlstmt = (text *)"INSERT INTO yourcube (c1,c2,c3,c4,cv,sv,gid) \
values (decode(:c1,15,NULL,:c1),decode(:c2,127,NULL,:c2),decode(:c3,127,NULL,:c3),\
decode(:c4,127,NULL,:c4),:cv,:sv+:sv1*4294967296,:gid)";

速度慢很多
D:\app\instantclient10_1>..\map9d LT/LT@10.6.132.43/orcl query="select c1,c2,c3,c4,v from t" file=NUL

       0 rows exported at 2010-03-09 12:34:29
recn=0
  500000 rows exported at 2010-03-09 12:34:30
recn=500000
1000000 rows exported at 2010-03-09 12:34:32
         output file  closed at 1000000 rows.

sum=1
sum(c1+c2+c3+v)=500111497488
sum(c4)=51690810
从数据库把表读入内存3073ms
4,5,67,114,152760
申请map内存0ms
申请一层内存15ms
新建一层节点468ms,recn=1000000,每毫秒读2136行,每毫秒写2136节点
申请后面内存32ms,1000000
新建后面节点2121ms,recn=2299600,每毫秒读471行key,每毫秒写612节点
0,first=2,renc=0
1,first=1000007F,renc=1000003
2,first=20007F00,renc=1000002
3,first=30007F7F,renc=2260123
4,first=407F0000,renc=1000001
5,first=507F007F,renc=2260125
6,first=607F7F00,renc=2284774
7,first=707F7F7F,renc=2284669
8,first=8F000000,renc=1000000
9,first=9F00007F,renc=2260124
10,first=AF007F00,renc=2273610
11,first=BF007F7F,renc=2284668
12,first=CF7F0000,renc=2284775
13,first=DF7F007F,renc=2299366
14,first=EF7F7F00,renc=2299485
15,first=FF7F7F7F,renc=2299599
汇总后面节点140ms,recn=2299600,每毫秒读7142行，每毫秒写9282行

Total number of rows to be inserted is 1000000
插入结果表time=4618

Total number of rows to be inserted is 1299600
插入结果表time=5741
释放所有动态内存0ms,2299600
释放所有map内存218ms,2299600
总时间13603ms,2299600
3步（读入+运算+写出）总时间16676ms

Exiting with SUCCESS status 0

[ 本帖最后由 〇〇 于 2010-3-9 12:41 编辑 ]

〇〇

还有错误
SQL> select count(*) from (select * from tcube minus select * from yourcube);

  COUNT(*)
----------
    140932
很奇怪
SQL> select gid,count(*)cnt from yourcube group by rollup(gid) order by 1;

       GID        CNT
---------- ----------
         0    1000001
         1     199782
         2     106708
         3        873
         4     144585
         5       1071
         6       1026
         7          9
         8     809047
         9      11543
        10      11058
        11         97
        12      13566
        13        119
        14        114
        15          1
              2299600

已选择17行。

SQL> select gid,count(*)cnt from tcube group by rollup(gid) order by 1;

       GID        CNT
---------- ----------
         0    1000000
         1     103887
         2      99522
         3        873
         4     122094
         5       1071
         6       1026
         7          9
         8     934620
         9      11543
        10      11058
        11         97
        12      13566
        13        119
        14        114
        15          1
              2299600

已选择17行。

SQL> select count(*) from (select * from yourcube minus select * from tcube);

  COUNT(*)
----------
    140931
个数不一样的gid都是2的n次幂

[ 本帖最后由 〇〇 于 2010-3-9 13:06 编辑 ]

〇〇

map9e.rar (8.56 KB, 下载次数: 25)

2010-3-10 14:28 上传

点击文件名下载附件

void initialize_data(int colindex,ub1 *arr,
sword len,sb2 * indp,
ub2 *flen,
sword numinsert,int *k,int *C,int *v2) //copy data from big array to small array

{

     
      sword rowindex;                                               /* index */
      sword numchars;                     /* number of characters to extract */
      text *str = (text *)"ABCDEFGHIJKLMNOPQRSTUVWXYZ";
int y;
y=pass;//pass++
for (rowindex = 0; rowindex < numinsert; rowindex++,y++)
{
       
        switch(colindex)
        {
                case 0:        *((char *)arr+rowindex)=(char)((k[y]>>24)&15);break;
                case 1:        *((char *)arr+rowindex)=(char)((k[y]>>16)&255); break;
                case 2:        *((char *)arr+rowindex)=(char)((k[y]>>8)&255); break;  
                case 3:        *((char *)arr+rowindex)=(char)(k[y]&255); break;      
                case 4:        *((int *)arr+rowindex)=C[y]; break;
                case 5:        *((int *)arr+rowindex)=(*((__int64*)v2+y))&0xFFFFFFFFL; break;
                case 6:        *((char *)arr+rowindex)=(16+((k[y]>>24)>>4))&15; break;
                case 7:        *((int *)arr+rowindex)=((*((__int64*)v2+y))>>32)&0xFFFFFFFFL; break;
        }
flen[rowindex]=len;
indp[rowindex]=0;　//赋值正常
//printf("%d,",indp[rowindex]);
//if((colindex==0 && (*((int *)arr+rowindex)==15))||((colindex>=1 && colindex <=3)&&(*((int *)arr+rowindex)==127)))
//if(colindex==0)
indp[rowindex]=-1;//赋值出错
}

附件这个例子插入NULL是正确的，同样的写法

void initialize_data(arr, len, flen, numinsert,indp)
ub1 *arr;
sword len;
ub2 *flen;
sword numinsert;
sb2 * indp;
{

      static int pass = 0;
      sword colindex;                                               /* index */
      sword numchars;                     /* number of characters to extract */
      text *str = (text *)"ABCDEFGHIJKLMNOPQRSTUVWXYZ";


      for (colindex = 0; colindex < numinsert; colindex++)
      {
          numchars = (pass * MAX_ROWS_PER_INSERT) + colindex + 1;
          memcpy((dvoid *)(arr + colindex*len), (dvoid *)str, numchars);
          *(arr + colindex*len + numchars ) = '\0';        /* null terminate */
          /*printf("iteration %d string is %s  length is %d\n",
                 pass, arr + colindex *len,
                 strlen((char *)(arr + colindex *len)));*/

/* GOTCHA!! - The null must be found within the length specified so add one */
/* or just use the max length allowed for the array element */

          *(flen + colindex) = strlen((char *)(arr + colindex*len)) + 1;
                               /* *(flen + colindex) = 30;  <--- or use this */
                             if(flen[colindex]%3==1)
                              indp[colindex]=-1;       }

     // pass++;

}

[ 本帖最后由 〇〇 于 2010-3-10 14:28 编辑 ]