用过程语言实现group by cube的代码挑战赛

〇〇

我也遇上了笔记本比服务器快的事件，但毫秒级不多

lenovo t61
453ms,recn=152760
547ms,recn=234600,c1=-1,c2=127,c3=127,c4=127,count=1000000,sum=500000500000

hp dl360
483ms,recn=152760
577ms,recn=234600,c1=-1,c2=127,c3=127,c4=127,count=1000000,sum=500000500000

newkid

OO把全部身家贡献出来，再到其他开发版去吆喝几声，看看有没有人来玩。

〇〇

增加
#define __int64 long long
在aix 6.1 gcc 4.2上完成但打印longlong有问题
把%I64d改成%lld通过

# g++ -O2 map3.cpp
map3.cpp:198:2: warning: no newline at end of file
ld: 0711-224 WARNING: Duplicate symbol: .__divdi3
ld: 0711-224 WARNING: Duplicate symbol: .__moddi3
ld: 0711-224 WARNING: Duplicate symbol: .__udivdi3
ld: 0711-224 WARNING: Duplicate symbol: .__umoddi3
ld: 0711-224 WARNING: Duplicate symbol: .__udivmoddi4
ld: 0711-345 Use the -bloadmap or -bnoquiet option to obtain more information.
# ./a.out
348766ms,recn=152760
0.373871ms,recn=234600,c1=-1,c2=127,c3=127,c4=127,count=1000000,sum=500000500000

〇〇

把记录数增加1倍

# ./a.out
864028ms,recn=152760
0.479483ms,recn=234600,c1=-1,c2=127,c3=127,c4=127,count=2000000,sum=2000001000000

D:\app>map3
936ms,recn=152760
0.639000ms,recn=234600,c1=-1,c2=127,c3=127,c4=127,count=2000000,sum=-1453759936
产生第一层的时间增加，后面其他分组组合没有增加时间不变

再比较sql
SQL> drop table t purge;

表已删除。

SQL> create table t as select  mod(level,4)c1,mod(level,5)c2,mod(level,67)c3,
  2  mod(case when mod(level,13)>0 then level end ,113)c4, level v from dual connect by level<=2E6;

表已创建。

SQL> set timi on
SQL> drop table tcube  purge;

表已删除。

已用时间:  00: 00: 00.04
SQL> create table tcube as select c1,c2,c3,c4,sum(v)sv,count(v)cv,grouping_id(c1,c2,c3,c4)gid from t group by cube(c1,c2,c3,c4);

表已创建。

已用时间:  00: 00: 10.31
SQL> create table tncube as select c1,c2,c3,c4,sum(v)sv,count(v)cv,grouping_id(c1,c2,c3,c4)gid from t group by c1,c2,c3,c4;

表已创建。

已用时间:  00: 00: 02.55
SQL> drop table tcube  purge;

表已删除。

已用时间:  00: 00: 00.01
SQL> create table tcube as select c1,c2,c3,c4,sum(v)sv,count(v)cv,grouping_id(c1,c2,c3,c4)gid from t group by cube(c1,c2,c3,c4);

表已创建。

已用时间:  00: 00: 09.39
cube比没有cube多6秒
SQL>
SQL> select count(*)from tncube;

  COUNT(*)
----------
    152760

已用时间:  00: 00: 00.12
SQL> select count(*)from tcube;

  COUNT(*)
----------
    234600

已用时间:  00: 00: 00.17
SQL> select * from tcube where gid=15;

        C1         C2         C3         C4         SV         CV        GID
---------- ---------- ---------- ---------- ---------- ---------- ----------
                                            2.0000E+12    2000000         15

已用时间:  00: 00: 00.03

所以,sql cube的速度不如C

〇〇

再增加1倍,cube和第一层还是差6秒，怀疑又是精度造成的
SQL> create table t as select  mod(level,4)c1,mod(level,5)c2,mod(level,67)c3,
  2  mod(case when mod(level,13)>0 then level end ,113)c4, level v from dual connect by level<=2E6;

表已创建。

已用时间:  00: 00: 16.11
SQL> insert into t select  mod(level,4)c1,mod(level,5)c2,mod(level,67)c3,
  2  mod(case when mod(level,13)>0 then level end ,113)c4, level+2E6 v from dual connect by level<=2E6;

已创建2000000行。

已用时间:  00: 00: 12.46
SQL> create table tncube as select c1,c2,c3,c4,sum(v)sv,count(v)cv,grouping_id(c1,c2,c3,c4)gid from t group by c1,c2,c3,c4;

表已创建。

已用时间:  00: 00: 05.30
SQL> create table tcube as select c1,c2,c3,c4,sum(v)sv,count(v)cv,grouping_id(c1,c2,c3,c4)gid from t group by cube(c1,c2,c3,c4);

表已创建。

已用时间:  00: 00: 11.56

D:\app>map3
1700ms,recn=152760
0.593000ms,recn=234600,c1=-1,c2=127,c3=127,c4=127,count=4000000,sum=-1522072448

# ./a.out
1675592ms,recn=152760
0.469210ms,recn=234600,c1=-1,c2=127,c3=127,c4=127,count=4000000,sum=8000002000000

〇〇

第一层好像就是精度引起的，后面其他组合还是没有变化
SQL> desc t
名称                                      是否为空? 类型
----------------------------------------- -------- ----------------------------
C1                                                 NUMBER
C2                                                 NUMBER
C3                                                 NUMBER
C4                                                 NUMBER
V                                                  NUMBER

SQL> drop table t purge;

表已删除。

已用时间:  00: 00: 00.04
SQL> create table t(c1 number(1,0),c2 number(1,0),c3 number(2,0),c4 number(3,0),v number(8,0));

表已创建。

已用时间:  00: 00: 00.00

SQL> desc t
名称                                      是否为空? 类型
----------------------------------------- -------- ----------------------------
C1                                                 NUMBER(1)
C2                                                 NUMBER(1)
C3                                                 NUMBER(2)
C4                                                 NUMBER(3)
V                                                  NUMBER(8)

SQL> insert into t select  mod(level,4)c1,mod(level,5)c2,mod(level,67)c3,
  2  mod(case when mod(level,13)>0 then level end ,113)c4, level v from dual connect by level<=2E6;

已创建2000000行。

已用时间:  00: 00: 10.67
SQL> insert into t select  mod(level,4)c1,mod(level,5)c2,mod(level,67)c3,
  2  mod(case when mod(level,13)>0 then level end ,113)c4, level+2E6 v from dual connect by level<=2E6;

已创建2000000行。

已用时间:  00: 00: 13.71
SQL> drop table tcube purge;

表已删除。

已用时间:  00: 00: 00.09
SQL> drop table tncube purge;

表已删除。

已用时间:  00: 00: 00.40
SQL> create table tncube as select c1,c2,c3,c4,sum(v)sv,count(v)cv,grouping_id(c1,c2,c3,c4)gid from t group by c1,c2,c3,c4;

表已创建。

已用时间:  00: 00: 03.16
SQL>
SQL> create table tcube as select c1,c2,c3,c4,sum(v)sv,count(v)cv,grouping_id(c1,c2,c3,c4)gid from t group by cube(c1,c2,c3,c4);

表已创建。

已用时间:  00: 00: 10.68
SQL>
SQL>

〇〇

在4百万行
newkid的plsql从14.71秒到

PL/SQL 过程已成功完成。

已用时间:  00: 00: 41.80

nyfor

〇〇

每个分组取值增加，汇总行数增加，时间增加

1. 
   
2. /* compiled by cl of vc2003*/
   
3. #include <time.h>
   
4. #include <stdio.h>
   
5. #include <stdlib.h>
   
6. #include <map>
   
7. #include <iostream>
   
8. #define add_key {if((key_recn.find(key))== key_recn.end())key_recn[key]=c++;}
   
9. #define addkey {if((key_recn2.find(key))== key_recn2.end())key_recn2[key]=c++;}
   
10. #define __int64 long long
    
11. using namespace std;
    
12. struct ltstr
    
13. {
    
14.   bool operator()(const char* s1, const char* s2) const
    
15.   {
    
16.     return strcmp(s1, s2) < 0;
    
17.   }
    
18. };
    
19. struct ltint
    
20. {
    
21.   bool operator()(const int s1, const int s2) const
    
22.   {
    
23.     return (s1<s2) ;
    
24.   }
    
25. };
    
26. int main()
    
27. {
    
28. int s[3][3]={ {4,5,67},{9,19,109},{9,97,119}};
    
29. //printf("%d,%d",t[0][1],t[1][2]);
    
30. //return 0;
    
31. for(int r=0;r<3;r++)
    
32. {       
    
33. long t=clock();
    
34. printf("%d,%d,%d,114,%d\n",s[r][0],s[r][1],s[r][2],s[r][0]*s[r][1]*s[r][2]*114);       
    
35. char* c1=(char*)malloc(1E6L);
    
36. char* c2=(char*)malloc(1E6L);
    
37. char* c3=(char*)malloc(1E6L);
    
38. char* c4=(char*)malloc(1E6L);
    
39. int*  v1=(int* )malloc(4E6L);
    
40. 
    
41. printf("申请源表内存%dms\n",clock()-t);
    
42. t=clock();
    
43. 
    
44. __int64* v2;//store sum(v1);
    
45. 
    
46. for (int i=0;i<1E6L;i++)
    
47. {
    
48.         int j=i+1;
    
49.         c1[i]=j%s[r][0];
    
50.         c2[i]=j%s[r][1];
    
51.         c3[i]=j%s[r][2];
    
52.         c4[i]=(j%13?j%113:127);
    
53.         v1[i]=j;
    
54. }
    
55. 
    
56. 
    
57. map<const int, int, ltint> key_recn;
    
58. map<const int, int, ltint> key_recn2;
    
59. int c=0;
    
60. printf("填充源表数据%dms,recn=%d,每毫秒%d行\n",clock()-t,c,(long)1E6/(clock()-t));
    
61. t=clock();
    
62. 
    
63. for (int i=0;i<1E6L;i++)
    
64. {
    
65.         int key=(c1[i]<<24)+(c2[i]<<16)+(c3[i]<<8)+c4[i];
    
66.         //printf("key=%d\n",key);
    
67.         add_key;
    
68. 
    
69. }
    
70. 
    
71. printf("新建一层节点%dms,recn=%d,每毫秒读%d行,每毫秒写%d节点\n",clock()-t,c,(long)1E6/(clock()-t),c/(clock()-t));
    
72. t=clock();
    
73. int *C=(int*)malloc(c*4);//store count(c1)
    
74. int *k=(int*)malloc(c*4);//store key
    
75. 
    
76. v2=(__int64*)malloc(c*8);
    
77. 
    
78. memset(C,0,c*4); //need?
    
79. memset(v2,0,c*8);
    
80. printf("申请一层内存%dms\n",clock()-t);
    
81. t=clock();
    
82. 
    
83. 
    
84. for (int i=0;i<1E6L;i++)
    
85. {
    
86. int recn=key_recn[(c1[i]<<24)+(c2[i]<<16)+(c3[i]<<8)+c4[i]];
    
87. k[recn]=(c1[i]<<24)+(c2[i]<<16)+(c3[i]<<8)+c4[i];
    
88. C[recn]++;
    
89. v2[recn]=v2[recn]+v1[i];
    
90. 
    
91. }
    
92. printf("写入一层数据%dms,recn=%d,每毫秒读%d行，每毫秒写%d行\n",clock()-t,c,(long)1E6/(clock()-t),c/(clock()-t));
    
93. t=clock();
    
94. int c_2=c;
    
95. for (int i=0;i<c_2;i++)
    
96. {
    
97.         int key=(k[i]&0xFFFFFF)+((0x80+15)<<24);//set c1 null ,gid=8
    
98.         addkey;
    
99. 
    
100.         key=(k[i]&0xFF00FFFF)+((0x40)<<24)+(127<<16);//set c2 null,gid=4
     
101.         addkey;
     
102. 
     
103.         key=(k[i]&0xFFFF00FF)+((0x20)<<24)+(127<<8);//set c3 null,gid=2
     
104.         addkey;
     
105. 
     
106.         key=(k[i]&0xFFFFFF00)+((0x10)<<24)+(127);//set c4 null,gid=1
     
107.         addkey;
     
108. 
     
109.         key=(k[i]&0xFFFF00)+((0x90+15)<<24)+(127);//set c1,c4 null ,gid=9
     
110.         addkey;
     
111. 
     
112.         key=(k[i]&0xFF00FF00)+((0x50)<<24)+(127<<16)+(127);//set c2,c4 null,gid=5
     
113.         addkey;
     
114. 
     
115.         key=(k[i]&0xFFFF0000)+((0x30)<<24)+(127<<8)+(127);//set c3,c4 null,gid=3
     
116.         addkey;
     
117. 
     
118.         key=(k[i]&0xFF0000FF)+((0x60)<<24)+(127<<16)+(127<<8);//set c2,c3 null,gid=6
     
119.         addkey;
     
120. 
     
121.         key=(k[i]&0x00FF00FF)+((0xA0+15)<<24)+(127<<8);//set c1,c3 null,gid=10
     
122.         addkey;
     
123. 
     
124.         key=(k[i]&0xFFFF)+((0xC0+15)<<24)+(127<<16);//set c1,c2 null,gid=12
     
125.         addkey;
     
126. 
     
127.         key=(k[i]&0xFF00)+((0xD0+15)<<24)+(127<<16)+(127);//set c1,c2,c4 null,gid=13
     
128.         addkey;
     
129. 
     
130.         key=(k[i]&0xFF)+((0xE0+15)<<24)+(127<<16)+(127<<8);//set c1,c2,c3 null,gid=14
     
131.         addkey;
     
132. 
     
133.         key=(k[i]&0xFF0000)+((0xB0+15)<<24)+(127<<8)+(127);//set c1,c3,c4 null,gid=11
     
134.         addkey;
     
135. 
     
136.         key=(k[i]&0xFF000000)+((0x70)<<24)+(127<<16)+(127<<8)+(127);//set c2,c3,c4 null,gid=7
     
137.         addkey;
     
138. 
     
139.         key=((0xF0+15)<<24)+(127<<16)+(127<<8)+(127);//set c1,c2,c3,c4 null,gid=15
     
140.         addkey;
     
141. }
     
142. printf("新建后面节点%dms,recn=%d,每毫秒读%d行key,每毫秒写%d节点\n",clock()-t,c,c_2/(clock()-t),(c-c_2)/(clock()-t));
     
143. t=clock();
     
144. 
     
145. int mask[15]={
     
146. 0x00FFFFFF,
     
147. 0xFF00FFFF,
     
148. 0xFFFF00FF,
     
149. 0xFFFFFF00,
     
150. 0x00FFFF00,
     
151. 0xFF00FF00,
     
152. 0xFFFF0000,
     
153. 0xFF0000FF,
     
154. 0x00FF00FF,
     
155. 0x0000FFFF,
     
156. 0x0000FF00,
     
157. 0x000000FF,
     
158. 0x00FF0000,
     
159. 0xFF000000,
     
160. 0x00000000};
     
161. 
     
162. int null[15]={
     
163. ((0x80+15)<<24),
     
164. ((0x40)<<24)+(127<<16),
     
165. ((0x20)<<24)+(127<<8),
     
166. ((0x10)<<24)+(127),
     
167. ((0x90+15)<<24)+(127),
     
168. ((0x50)<<24)+(127<<16)+(127),
     
169. ((0x30)<<24)+(127<<8)+(127),
     
170. ((0x60)<<24)+(127<<16)+(127<<8),
     
171. ((0xA0+15)<<24)+(127<<8),
     
172. ((0xC0+15)<<24)+(127<<16),
     
173. ((0xD0+15)<<24)+(127<<16)+(127),
     
174. ((0xE0+15)<<24)+(127<<16)+(127<<8),
     
175. ((0xB0+15)<<24)+(127<<8)+(127),
     
176. ((0x70)<<24)+(127<<16)+(127<<8)+(127),
     
177. ((0xF0+15)<<24)+(127<<16)+(127<<8)+(127)
     
178. };
     
179. 
     
180. 
     
181. int *C2=(int*)malloc((c-c_2)*4);//store count(c1)
     
182. int *k2=(int*)malloc((c-c_2)*4);//store key
     
183. __int64* v3=(__int64*)malloc((c-c_2)*8);
     
184. 
     
185. memset(C2,0,(c-c_2)*4); //need?
     
186. memset(v3,0,(c-c_2)*8);
     
187. printf("申请后面内存%dms\n",clock()-t);
     
188. t=clock();
     
189. 
     
190. int y=0;
     
191. for (int i=0;i<c_2;i++)
     
192. {
     
193. for(int j=0;j<15;j++)
     
194. {
     
195. int recn=key_recn2[(k[i]&mask[j])+null[j]]-c_2;
     
196. k2[recn]=(k[i]&mask[j])+null[j];
     
197. C2[recn]+=C[i];
     
198. v3[recn]=v3[recn]+v2[i];
     
199. 
     
200. y=recn;
     
201. }
     
202. }
     
203. printf("汇总后面节点%dms,recn=%d,每毫秒读%d行，每毫秒写%d行\n",clock()-t,c,c_2/(clock()-t),(c-c_2)/(clock()-t));
     
204. t=clock();
     
205. /*
     
206. printf("%fms,recn=%d,c1=%d,c2=%d,c3=%d,c4=%d,count=%d,sum=%I64d\n",(float)(clock()-t)/CLOCKS_PER_SEC ,c,
     
207. (k2[y]>>24),((k2[y]>>16)&255),((k2[y]>>8)&255),(k2[y]&255),C2[y],v3[y]);
     
208. */
     
209. free(c1);
     
210. free(c2);
     
211. free(c3);
     
212. free(c4);
     
213. free(v1);
     
214. free(v2);
     
215. free(C);
     
216. free(k);
     
217. free(C2);
     
218. free(k2);
     
219. free(v3);
     
220. printf("释放所有动态内存%dms\n",clock()-t);
     
221. 
     
222. 
     
223. 
     
224. }
     
225. return 0;
     
226. }
     
227. ~~~~~~~~~~~~~~~~~~~~~~~~~
     
228. 4,5,67,114,152760
     
229. 申请源表内存0ms
     
230. 填充源表数据62ms,recn=0,每毫秒16129行
     
231. 新建一层节点203ms,recn=152760,每毫秒读4926行,每毫秒写752节点
     
232. 申请一层内存0ms
     
233. 写入一层数据172ms,recn=152760,每毫秒读5813行，每毫秒写888行
     
234. 新建后面节点250ms,recn=234600,每毫秒读611行key,每毫秒写327节点
     
235. 申请后面内存0ms
     
236. 汇总后面节点266ms,recn=234600,每毫秒读574行，每毫秒写307行
     
237. 释放所有动态内存0ms
     
238. 9,19,109,114,2124846
     
239. 申请源表内存0ms
     
240. 填充源表数据16ms,recn=0,每毫秒62500行
     
241. 新建一层节点500ms,recn=941716,每毫秒读2000行,每毫秒写1883节点
     
242. 申请一层内存0ms
     
243. 写入一层数据296ms,recn=941716,每毫秒读3378行，每毫秒写3181行
     
244. 新建后面节点2016ms,recn=1346870,每毫秒读467行key,每毫秒写200节点
     
245. 申请后面内存0ms
     
246. 汇总后面节点2344ms,recn=1346870,每毫秒读401行，每毫秒写172行
     
247. 释放所有动态内存0ms
     
248. 9,97,119,114,11843118
     
249. 申请源表内存0ms
     
250. 填充源表数据16ms,recn=0,每毫秒62500行
     
251. 新建一层节点437ms,recn=1000000,每毫秒读2288行,每毫秒写2288节点
     
252. 申请一层内存0ms
     
253. 写入一层数据219ms,recn=1000000,每毫秒读4566行，每毫秒写4566行
     
254. 新建后面节点3063ms,recn=2299600,每毫秒读326行key,每毫秒写424节点
     
255. 申请后面内存0ms
     
256. 汇总后面节点3406ms,recn=2299600,每毫秒读293行，每毫秒写381行
     
257. 释放所有动态内存0ms
     

复制代码

yulihua49

原帖由 〇〇 于 2010-2-27 11:27 发表
每个分组取值增加，汇总行数增加，时间增加

/* compiled by cl of vc2003*/
#include
#include
#include
#include
#include
#define add_key {if((key_recn.find(key))== key_recn.end())key_recn[key]=c++;}
#define addkey {if((key_recn2.find(key))== key_recn2.end())key_recn2[key]=c++;}
#define __int64 long long
using namespace std;
struct ltstr
{
  bool operator()(const char* s1, const char* s2) const
  {
    return strcmp(s1, s2) < 0;
  }
};
struct ltint
{
  bool operator()(const int s1, const int s2) const
  {
    return (s1

还是弄成微秒算吧，用gettimeofday()函数，不知win上有没有。