查看: 5028|回复: 19

[讨论] 请教海量数据的查询优化

[复制链接]
论坛徽章:
1
ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21
发表于 2009-7-6 14:55 | 显示全部楼层 |阅读模式
先说下数据库大体情况,11G linux rac(4节点)  ,我们这个库有个表是用的分区表,以月分区。然后每天会新建一个表,是属于这个分区表,每天新建的这个表大概会产生4000--5000万的记录数。昨天晚上写了个脚本查询从1月到现在的记录,做个报表,已经8个小时了,还在查询。。这表的块石8K的。
我本想建个物化视图,但是也觉得不好用。也statspack看了性能,性能绝对没问题,所以排除了脚本的问题。所以请教哪位下,有什么办法优化没有,这速度完全受不了
招聘 : 系统架构师
认证徽章
论坛徽章:
369
秀才
日期:2015-08-10 09:03:20巨蟹座
日期:2015-09-09 14:25:25巨蟹座
日期:2015-09-10 09:03:46秀才
日期:2015-09-11 10:43:06摩羯座
日期:2015-09-20 17:10:27秀才
日期:2015-09-21 09:46:16秀才
日期:2015-09-21 11:16:42秀才
日期:2015-10-08 17:57:58天枰座
日期:2015-10-28 18:28:29秀才
日期:2015-09-06 10:42:32
发表于 2009-7-6 15:26 | 显示全部楼层
性能没问题那为什么这么慢?要不换硬件?

使用道具 举报

回复
论坛徽章:
1
ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21
 楼主| 发表于 2009-7-6 15:48 | 显示全部楼层
感谢您的回复
我说的性能 比如libararycache里的命中率 操作系统的IO CPU都没达到瓶颈 所以不知道怎样处理

使用道具 举报

回复
论坛徽章:
400
紫蛋头
日期:2012-05-21 10:19:41迷宫蛋
日期:2012-06-06 16:02:49奥运会纪念徽章:足球
日期:2012-06-29 15:30:06奥运会纪念徽章:排球
日期:2012-07-10 21:24:24鲜花蛋
日期:2012-07-16 15:24:59奥运会纪念徽章:拳击
日期:2012-08-07 10:54:50奥运会纪念徽章:羽毛球
日期:2012-08-21 15:55:33奥运会纪念徽章:蹦床
日期:2012-08-21 21:09:51奥运会纪念徽章:篮球
日期:2012-08-24 10:29:11奥运会纪念徽章:体操
日期:2012-09-07 16:40:00
发表于 2009-7-6 15:51 | 显示全部楼层

数据量确实不小,用了并行?i/o速度?

SQL> select (trunc(sysdate)-date'2009-1-1')*45e6 from dual;

(TRUNC(SYSDATE)-DATE'2009-1-1')*45E6
------------------------------------
                          8370000000

使用道具 举报

回复
论坛徽章:
1
ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21
 楼主| 发表于 2009-7-6 16:07 | 显示全部楼层
感谢回复
简单的贴下一些服务器状况
-------------------------------------
操作系统情况:
procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----
r  b   swpd   free   buff  cache   si   so    bi    bo   in    cs us sy id wa
3  0    944 8063684 267708 23462616    0    0    42   135    0     0  8  4 87  1
3  0    944 8063684 267708 23462616    0    0     2   118 1025  1428 18  1 81  0
3  0    944 8063556 267708 23462616    0    0     2    32 1081  1575 18  1 81  0
3  0    944 8063564 267708 23462616    0    0     0    40 1056  1464 18  1 81
--------------------------------------------------------------------------------------------------------
librarycache情况:
Executions       Hits PinHitRatio     Misses RelHitRatio
---------- ---------- ----------- ---------- -----------
   5586693    5571586  99.7295896        990  99.9822825
----------------------------------------------------------------------------------------------------
数据字典
Hit Ratio
----------
97.7076086

使用道具 举报

回复
认证徽章
论坛徽章:
131
2006年度最佳技术回答
日期:2007-01-24 12:58:48福特
日期:2013-10-24 13:57:422014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:11马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上加薪
日期:2014-02-19 11:55:142013年新春福章
日期:2013-02-25 14:51:24
发表于 2009-7-6 16:08 | 显示全部楼层
每个分区多大?

使用道具 举报

回复
论坛徽章:
1
ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21
 楼主| 发表于 2009-7-6 16:12 | 显示全部楼层
您说的是物理文件大小还是什么大小

使用道具 举报

回复
论坛徽章:
1
ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21
 楼主| 发表于 2009-7-6 16:17 | 显示全部楼层
我查了下 物理大小最小的都是4G

使用道具 举报

回复
论坛徽章:
13
会员2007贡献徽章
日期:2007-09-26 18:42:10迷宫蛋
日期:2011-12-27 14:19:29生肖徽章2007版:龙
日期:2009-05-11 16:32:10数据库板块每日发贴之星
日期:2009-05-09 01:01:04行业板块每日发贴之星
日期:2009-05-08 01:01:05数据库板块每日发贴之星
日期:2009-05-06 01:01:02生肖徽章2007版:虎
日期:2009-05-01 08:12:31ITPUB元老
日期:2009-04-28 16:13:16授权会员
日期:2009-04-28 16:10:34CTO参与奖
日期:2009-02-12 11:45:48
发表于 2009-7-6 16:38 | 显示全部楼层
我的感觉是,“你怎么能肯定性能不存在问题?”
海量数据查询,cpu usr才18,io wait就只有0-1,光看这就知道有问题了。
你最好把建表语句,数据样例,你的脚本,还有运行时的awr和等待事件都发上来。

使用道具 举报

回复
论坛徽章:
1
ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21
 楼主| 发表于 2009-7-6 17:33 | 显示全部楼层
感谢回复
Top 5 Timed Foreground Events
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
                                                           Avg
                                                          wait   % DB
Event                                 Waits     Time(s)   (ms)   time Wait Class
------------------------------ ------------ ----------- ------ ------ ----------
DB CPU                                              213          99.7
log file sync                            18           0     23     .2 Commit
db file sequential read                 606           0      1     .1 User I/O
control file sequential read          8,796           0      0     .0 System I/O
SQL*Net break/reset to client            21           0      0     .0 Applicatio

下面是建表的脚本,很长
create table TCDR_20090531
(
  HOSTID           NUMBER,
  TIME_T           NUMBER,
  SEQNO            NUMBER,
  CALLER           VARCHAR2(50),
  CALLEE           VARCHAR2(50),
  LEN              NUMBER,
  PROTOCOLTIME     DATE,
  BEGINTIME        DATE,
  ENDTIME          DATE,
  RINGTIME         DATE,
  REASON           NUMBER,
  TELECODE         NUMBER,
  TELECODE2        NUMBER,
  CIC1             NUMBER,
  CIC2             NUMBER,
  ORICALLEE        VARCHAR2(50),
  FEEMARK          NUMBER,
  OVERTIMEREL      NUMBER,
  OPC1             NUMBER,
  DPC1             NUMBER,
  OPC2             NUMBER,
  DPC2             NUMBER,
  SRCIP1           NUMBER,
  DSTIP1           NUMBER,
  SRCIP2           NUMBER,
  DSTIP2           NUMBER,
  RESPONSETIME     NUMBER,
  OCCUPATIONALTIME NUMBER,
  PLATPREFIX       VARCHAR2(20),
  HH_24            NUMBER,
  SS_30            NUMBER
)
  PCTFREE 10
  PCTUSED 40
  INITRANS 1
  MAXTRANS 255

  TABLESPACE XLJK
  NOLOGGING
  NOCOMPRESS
  CACHE
  PARALLEL (
    DEGREE DEFAULT INSTANCES DEFAULT
  )
PARTITION BY RANGE (HH_24)  
  SUBPARTITION BY LIST (SS_30 )   
  SUBPARTITION TEMPLATE(
      SUBPARTITION S1 VALUES (1) ,
      SUBPARTITION S2 VALUES (2) ,
      SUBPARTITION S3 VALUES (3) ,
      SUBPARTITION S4 VALUES (4) ,
      SUBPARTITION S5 VALUES (5) ,
      SUBPARTITION S6 VALUES (6) ,
      SUBPARTITION S7  VALUES (7) ,
      SUBPARTITION S8 VALUES (8) ,
      SUBPARTITION S9 VALUES (9)  ,
      SUBPARTITION S10 VALUES (10) ,
      SUBPARTITION S11 VALUES (11) ,
      SUBPARTITION S12 VALUES (12) ,
      SUBPARTITION S13 VALUES (13) ,
      SUBPARTITION S14 VALUES (14) ,
      SUBPARTITION S15 VALUES (15) ,
      SUBPARTITION S16 VALUES  (16) ,
      SUBPARTITION S17 VALUES (17) ,
      SUBPARTITION S18 VALUES (18) ,
      SUBPARTITION S19 VALUES (19) ,
      SUBPARTITION S20 VALUES (20) ,
      SUBPARTITION S21 VALUES (21) ,
      SUBPARTITION S22 VALUES (22) ,
      SUBPARTITION S23  VALUES (23) ,
      SUBPARTITION S24 VALUES (24) ,
      SUBPARTITION S25 VALUES (25) ,
      SUBPARTITION S26 VALUES (26) ,
      SUBPARTITION S27 VALUES (27) ,
      SUBPARTITION S28 VALUES (28) ,
      SUBPARTITION S29 VALUES (29) ,
      SUBPARTITION  S0 VALUES (DEFAULT)  
    )
  (PARTITION P0 VALUES LESS THAN (1)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK01  NOCOMPRESS,
   PARTITION P1 VALUES LESS THAN (2)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK02  NOCOMPRESS,
   PARTITION P2 VALUES LESS THAN (3)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK03  NOCOMPRESS,
   PARTITION P3 VALUES LESS THAN (4)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK04  NOCOMPRESS,
   PARTITION P4 VALUES LESS THAN (5)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK05  NOCOMPRESS,
   PARTITION P5 VALUES LESS THAN (6)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK06  NOCOMPRESS,
   PARTITION P6 VALUES LESS THAN (7)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK07  NOCOMPRESS,
   PARTITION P7 VALUES LESS THAN (8)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK08  NOCOMPRESS,
   PARTITION P8 VALUES LESS THAN (9)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK09  NOCOMPRESS ,
   PARTITION P9 VALUES LESS THAN (10) PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK10  NOCOMPRESS,
   PARTITION P10 VALUES LESS THAN (11)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK11  NOCOMPRESS,
   PARTITION P11 VALUES LESS THAN (12)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK12  NOCOMPRESS,
   PARTITION P12 VALUES LESS THAN (13)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK13  NOCOMPRESS,
   PARTITION P13 VALUES LESS THAN (14)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK14  NOCOMPRESS,
   PARTITION P14 VALUES LESS THAN (15)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK15  NOCOMPRESS,
   PARTITION P15 VALUES LESS THAN (16)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK16  NOCOMPRESS,
   PARTITION P16 VALUES LESS THAN (17)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK17  NOCOMPRESS,
   PARTITION P17 VALUES LESS THAN (18)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK18  NOCOMPRESS,
   PARTITION P18 VALUES LESS THAN (19)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK19  NOCOMPRESS,
   PARTITION P19 VALUES LESS THAN (20)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK20  NOCOMPRESS,
   PARTITION P20 VALUES LESS THAN (21)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK21  NOCOMPRESS,
   PARTITION P21 VALUES LESS THAN (22)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK22  NOCOMPRESS,
   PARTITION P22 VALUES LESS THAN (23)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE XLJK23  NOCOMPRESS,
   PARTITION P23 VALUES LESS THAN (MAXVALUE)  PCTFREE 10 PCTUSED 40 INITRANS 1 MAXTRANS 255 STORAGE(INITIAL 65536) TABLESPACE  XLJK24  NOCOMPRESS)

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表