用c实现group by cube的思路

newkid

你的程序和GROUP BY CUBE不等价。

例子：
create table t (c1 varchar2(10),c2 varchar2(10), c3 varchar2(10), amount number);

故意插入一个空列：
insert into t values (1,2,null,1);

select c1,c2,c3,sum(amount) from t group by cube(c1,c2,c3);
C1                   C2                   C3                   SUM(AMOUNT)
-------------------- -------------------- -------------------- -----------
                                                                         1
                                                                         1
                     2                                                   1
                     2                                                   1
1                                                                        1
1                                                                        1
1                    2                                                   1
1                    2                                                   1

8 rows selected.

可以看到有些重复的行，而你的程序会把它们归并到一起。

三个列的组合你似乎写得很辛苦了，四个列应付得了吗？

再给你出个难题：
COUNT(DISTINCT C4)这样的能实现吗？

newkid

如果分组的结果有很多，ORACLE会用HASH GROUP BY, 也就是用HASH表来实现快速查找，这也比你的二叉树更高效。

yulihua49

原帖由 newkid 于 2010-2-18 22:34 发表
你的程序和GROUP BY CUBE不等价。

例子：
create table t (c1 varchar2(10),c2 varchar2(10), c3 varchar2(10), amount number);

故意插入一个空列：
insert into t values (1,2,null,1);

select c1,c2,c3,sum(amount) from t group by cube(c1,c2,c3);
C1                   C2                   C3                   SUM(AMOUNT)
-------------------- -------------------- -------------------- -----------
                                                                         1
                                                                         1
                     2                                                   1
                     2                                                   1
1                                                                        1
1                                                                        1
1                    2                                                   1
1                    2                                                   1

8 rows selected.

可以看到有些重复的行，而你的程序会把它们归并到一起。

三个列的组合你似乎写得很辛苦了，四个列应付得了吗？

再给你出个难题：
COUNT(DISTINCT C4)这样的能实现吗？

看我的数据定义，primary key，不可以null的吧？
另外，我还是没彻底弄懂，你上边的列表，什么也没归并啊？都单列着呢？
逻辑上，比如，统计各地区，各民族，各党派的代表人数，不可以null的吧？即使无党派也要给一个代码的吧？
即使有一个null，把它统计在任何党派也不错吧？算法再完善一下（任意党派代码0，数据库里不要用，在DAU里null代码是0x80000000，这样就归并不到一起了）？实在不行，你就用group by cube好了。
C没什么不可以做的，方便就做，不方便你完全可以SQL，ORACLE引擎内部也是C啊。
C写程序是比较费事，我们做一些公用程序可以一定程度减轻负担。怎么方便怎么用，看程序员的了。

“三个列的组合你似乎写得很辛苦了，四个列应付得了吗？”，复制－粘贴吧，两句一项，不怕费事就行。

你一定要用C解决任意语法问题，好办啊，写一个语言解释器，编排执行计划和状态机，处理数据buff，优化策略。。。。。

[ 本帖最后由 yulihua49 于 2010-2-19 10:57 编辑 ]

yulihua49

原帖由 newkid 于 2010-2-18 23:06 发表
如果分组的结果有很多，ORACLE会用HASH GROUP BY, 也就是用HASH表来实现快速查找，这也比你的二叉树更高效。

那我也可以hash啊？不就是算法吗？那要看花多少代价，得多少性能，合算不。我不是给你直接使用group by cube的例子吗？谁也没禁止你啊！不是OO非要弄一个C程序的吗？我的意思是可以，好坏他自己测测看嘛，哪个好用哪个呗。
再说，我的程序固然比SQL复杂，但比OO同事的那个简单多了，好懂多了，也容易改成其它需要的场合。

[ 本帖最后由 yulihua49 于 2010-2-19 11:09 编辑 ]

keor

mark!

newkid

"看我的数据定义，primary key，不可以null的吧？"
哦，昨天没看到你还定义了主键。也就是说你这程序是专门为非空列服务的？我还以为你要写一个任意三列的CUBE。
话说回来，假如真有这么一个主键，在这组合上聚合没有任何意义，因为已经是唯一的了。

"另外，我还是没彻底弄懂，你上边的列表，什么也没归并啊？都单列着呢？"
我另一贴不是给了你解释吗？这个CUBE相当于做八次的GROUP BY, 然后用UNION ALL合并起来。因为我的例子聚合结果只有一行，总共就是八行。虽然你看到有些行是相同的，但有的数据本身就是NULL, 有的NULL则是组合的结果，此NULL非彼NULL, 用下面可以看到区别：
select c1,c2,c3,sum(amount),GROUPING(c1),GROUPING(c2),GROUPING(c3)
from t group by cube(c1,c2,c3);

"逻辑上，比如，统计各地区，各民族，各党派的代表人数，不可以null的吧？即使无党派也要给一个代码的吧？"
NULL是无可替代的。别忘了还有“非代码”型数据，比如日期、数字。既然你要实现CUBE就要实现完全等价的功能。

"即使有一个null，把它统计在任何党派也不错吧？"
幸亏SQL标准不是你定的，否则就天下大乱了。NULL可以等同于任何数据？

"实在不行，你就用group by cube好了。
C没什么不可以做的，方便就做，不方便你完全可以SQL，ORACLE引擎内部也是C啊。"
你应该很清楚我是ORACLE卫道士，所以如果有人要DIY实现ORACLE原有的功能我就准备挑剔一番。


“三个列的组合你似乎写得很辛苦了，四个列应付得了吗？”，复制－粘贴吧，两句一项，不怕费事就行。
似乎没那么简单吧？我看你用了格雷码的思路，每次只修改一项。不久前我用SQL写了一个自动生成所有组合的：
http://www.itpub.net/viewthread.php?tid=1268254

"你一定要用C解决任意语法问题，好办啊，写一个语言解释器，编排执行计划和状态机，处理数据buff，优化策略。。。。。

那我也可以hash啊？不就是算法吗？那要看花多少代价，得多少性能，合算不。我不是给你直接使用group by cube的例子吗？谁也没禁止你啊！不是OO非要弄一个C程序的吗？我的意思是可以，好坏他自己测测看嘛，哪个好用哪个呗。
再说，我的程序固然比SQL复杂，但比OO同事的那个简单多了，好懂多了，也容易改成其它需要的场合。"

呵呵，还是刚才那句话，如果你要DIY我就准备找茬。OO同事的程序相当于一种报表定义语言的解释器，跟CUBE其实没什么关系。

[ 本帖最后由 newkid 于 2010-2-20 00:21 编辑 ]

newkid

我观察了GROUP BY CUBE 的执行计划，发现ORACLE很灵活多变，有时候是SORT GROUP BY, 有时候是HASH GROUP BY,有时又是 SORT GROUP BY ROLL UP 或 GENERATE CUBE, 基本上你所有的小聪明伎俩它都考虑到了，不服不行。
同样是C语言，SQL引擎访问数据是直接在内存中的，不像DAU还隔了一层，所以你要超过它是很难的。

〇〇

原帖由 newkid 于 2010-2-20 07:20 发表
我观察了GROUP BY CUBE 的执行计划，发现ORACLE很灵活多变，有时候是SORT GROUP BY, 有时候是HASH GROUP BY,有时又是 SORT GROUP BY ROLL UP 或 GENERATE CUBE, 基本上你所有的小聪明伎俩它都考虑到了，不服不行。
同样是C语言，SQL引擎访问数据是直接在内存中的，不像DAU还隔了一层，所以你要超过它是很难的。

newkid研究得深入

yulihua49

原帖由 〇〇 于 2010-2-20 09:20 发表

newkid研究得深入

那你就用group by cube好了，何必再折腾。

〇〇

我没有newkid看到的执行计划多，而且我的测试cube（无并行）比union慢