查看: 7354|回复: 25

[性能调整] 花逢春---海量数据库优化之SQL篇

[复制链接]
论坛徽章:
2
2010新春纪念徽章
日期:2010-03-01 11:07:212011新春纪念徽章
日期:2011-02-18 11:42:47
发表于 2010-3-18 23:03 | 显示全部楼层 |阅读模式
以下是某大型国有银行一个真实的案例,出于保护客户秘密的考虑,把源系统需求简化并变动了一下,但处理过程基本是一样的。

需求:

补充说明:
(正常情况下,一个账号的交易记录标志交易流水号应该是连续的,如账户aaa的相关交易流水号为1,2,3,4,5,6,8,9,10,12...如果中间出现了跳号的现像,
刚表示这笔交易有问题,就需要查询出出现断号的相关记录用于审核, 如查询出账户aaa的相关交易流水号为 8,12 的相关记录。)


按账号分组查询不连续的流水号的相关记录,

表结构(tmp_member)如下:
ID  NUMBER  --流水号
Name varchar2(10)  --用户账号

主键: ID,NAME.
   
相关记录如下(本表有100亿条记录,表存储大小1.6TB):
ID            NAME
-------  -------------
12          ddd
14          ddd
15          ddd
16          ddd
11          fff
12          fff
13          fff
14          fff
17          fff
18          fff
11          ggg
13          ggg
15          ggg
16          ggg
...


请写出SQL,返回以下结果:

NAME                         ID
-------------------- ----------
ggg                          13
ggg                          15
ddd                          14
fff                             17
....


相关的资料及SQL详见附件:

[ 本帖最后由 falwaiai 于 2010-3-19 18:24 编辑 ]

分析函数最终版.rar

822.06 KB, 下载次数: 94

按账号分组查询不连续的流水号的SQL.rar

4.21 KB, 下载次数: 78

论坛徽章:
19
2010年世界杯参赛球队:韩国
日期:2009-12-20 20:11:33沸羊羊
日期:2015-03-26 14:41:40暖羊羊
日期:2015-06-15 10:03:48天枰座
日期:2015-07-18 17:23:54托尼托尼·乔巴
日期:2017-01-25 09:38:19秀才
日期:2017-03-02 10:30:14秀才
日期:2017-03-02 10:30:35秀才
日期:2017-06-29 10:16:48技术图书徽章
日期:2017-07-11 09:10:262015年新春福章
日期:2015-03-06 11:57:31
发表于 2010-3-18 23:23 | 显示全部楼层
parallel+lag over(patition by name)应该可以解决,但是对于1.6T数据,等着看楼主的包袱.

使用道具 举报

回复
招聘 : 数据库管理员
论坛徽章:
9
生肖徽章2007版:牛
日期:2009-03-10 21:26:492010新春纪念徽章
日期:2010-01-04 08:33:082010年世界杯参赛球队:葡萄牙
日期:2010-02-22 14:35:242010新春纪念徽章
日期:2010-03-01 11:19:092010广州亚运会纪念徽章:射击
日期:2010-09-08 23:42:12ITPUB9周年纪念徽章
日期:2010-10-08 09:31:212010广州亚运会纪念徽章:拳击
日期:2010-10-30 00:46:582011新春纪念徽章
日期:2011-02-18 11:43:322011新春纪念徽章
日期:2011-03-01 08:49:39
发表于 2010-3-18 23:54 | 显示全部楼层
mark 等看下文

使用道具 举报

回复
论坛徽章:
13
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44奥运会纪念徽章:蹦床
日期:2012-09-06 08:24:582012新春纪念徽章
日期:2012-01-04 11:53:29ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26咸鸭蛋
日期:2011-10-19 20:35:25紫蛋头
日期:2011-06-20 14:37:442010广州亚运会纪念徽章:射击
日期:2011-01-03 09:21:38生肖徽章2007版:鸡
日期:2009-11-13 08:54:30参与WIN7挑战赛纪念
日期:2009-11-06 16:05:25生肖徽章2007版:虎
日期:2009-09-11 08:11:01
发表于 2010-3-19 08:24 | 显示全部楼层
期待。
最好做成word文件上传。

使用道具 举报

回复
论坛徽章:
400
紫蛋头
日期:2012-05-21 10:19:41迷宫蛋
日期:2012-06-06 16:02:49奥运会纪念徽章:足球
日期:2012-06-29 15:30:06奥运会纪念徽章:排球
日期:2012-07-10 21:24:24鲜花蛋
日期:2012-07-16 15:24:59奥运会纪念徽章:拳击
日期:2012-08-07 10:54:50奥运会纪念徽章:羽毛球
日期:2012-08-21 15:55:33奥运会纪念徽章:蹦床
日期:2012-08-21 21:09:51奥运会纪念徽章:篮球
日期:2012-08-24 10:29:11奥运会纪念徽章:体操
日期:2012-09-07 16:40:00
发表于 2010-3-19 09:09 | 显示全部楼层
需求没写清楚

使用道具 举报

回复
论坛徽章:
1
ITPUB十周年纪念徽章
日期:2011-11-01 16:25:51
发表于 2010-3-19 09:18 | 显示全部楼层
主要是partition、index、sql方面调优,期待LZ还有什么高招...

使用道具 举报

回复
论坛徽章:
13
铁扇公主
日期:2008-08-23 12:15:03奥运会纪念徽章:足球
日期:2008-08-28 20:19:082009日食纪念
日期:2009-07-22 09:30:002010年世界杯参赛球队:葡萄牙
日期:2010-03-11 08:38:072010年世界杯参赛球队:加纳
日期:2010-03-17 14:44:352012新春纪念徽章
日期:2012-01-04 11:53:29奥运会纪念徽章:拳击
日期:2012-06-18 16:33:22蛋疼蛋
日期:2013-04-03 16:41:24
发表于 2010-3-19 09:19 | 显示全部楼层
2楼是一种思路,不过少了关键的order by了,排序代价也很大

使用道具 举报

回复
论坛徽章:
32
奥运会纪念徽章:摔跤
日期:2012-08-23 11:03:05青年奥林匹克运动会-击剑
日期:2014-09-19 10:58:152014年世界杯参赛球队:巴西
日期:2014-07-07 12:19:232014年世界杯参赛球队: 瑞士
日期:2014-05-19 12:18:36马上有钱
日期:2014-04-08 12:12:232014年新春福章
日期:2014-04-04 14:20:47马上有钱
日期:2014-02-18 16:43:092014年新春福章
日期:2014-02-18 16:43:09红旗
日期:2014-02-14 15:15:55优秀写手
日期:2013-12-18 09:29:16
发表于 2010-3-19 09:43 | 显示全部楼层
没明白要干嘛

使用道具 举报

回复
招聘 : Java研发
认证徽章
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
发表于 2010-3-19 09:54 | 显示全部楼层
原帖由 〇〇 于 2010-3-19 09:09 发表
需求没写清楚

查断号,很多系统都有的需求

使用道具 举报

回复
论坛徽章:
13
会员2007贡献徽章
日期:2007-09-26 18:42:10迷宫蛋
日期:2011-12-27 14:19:29生肖徽章2007版:龙
日期:2009-05-11 16:32:10数据库板块每日发贴之星
日期:2009-05-09 01:01:04行业板块每日发贴之星
日期:2009-05-08 01:01:05数据库板块每日发贴之星
日期:2009-05-06 01:01:02生肖徽章2007版:虎
日期:2009-05-01 08:12:31ITPUB元老
日期:2009-04-28 16:13:16授权会员
日期:2009-04-28 16:10:34CTO参与奖
日期:2009-02-12 11:45:48
发表于 2010-3-19 10:19 | 显示全部楼层
顶一下,坐等

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表