ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 16685|回复: 39

[精华] 【抛砖引玉】基于AWR的ORACLE故障分析案例1

[复制链接]
发表于 2014-10-10 13:04 | 显示全部楼层 |阅读模式
本帖最后由 福富软件_flybug 于 2014-10-10 13:10 编辑

问题描述:
      某运营商核心营业ORACLE数据库在业务高峰期出现大量的大量的gc等待、latch:cache buffer chain等待事件,数据库性能短时间内急剧下降,前台营业严重影响。
AWR数据分析:
1、     AWR的TOP等待事件
1.jpg
分析:AWR的top 5等待事件大部分都和双机rac等待有关,这个有可能是数据库逻辑读过大有关!

2、    AWR基线数据负载比较
2.png
分析:数据库的总逻辑读异常放大了3倍,特别是每个事务的平均逻辑读也放大了3倍!

3、    逻辑读最大的SQL语句分析
SQL逻辑读
3.png
执行计划:
4.png
分析:平均执行一次的逻辑读是2860.2次,该语句的执行计划却没有发生变化,表的数据也没有大的变化!

SQL单次执行逻辑读明显变大:
5.png
分析:和基线数据进行比较,该SQL单次执行的逻辑读有大幅度的变大!

故障总结分析:
      TOP1 SQL的平均每次buffer gets的量比基线值增大了几百倍(5->2860),但执行计划和数据量又没有发生变化,初步判断和表prod的一致性读有关。当一个session在对表数据进行大数据量的update操作,如果还没有提交,这时如果另一个session对表的数据执行select查询就会出现逻辑读变大的情况,这个和oracle一致性读的原理有关。基于这种判断,进一步排查发现同一时段,有另外一个程序对表prod执行了批量的大数据的update动作,而且commit的时间间隔很长,通过将该程序的发起时间进行调整(不在业务高峰期执行),问题得到了解决。

论坛徽章:
177
秀才
日期:2016-02-18 09:39:10摩羯座
日期:2016-01-20 16:48:10火眼金睛
日期:2016-01-31 22:00:00巨蟹座
日期:2016-01-30 22:10:33目光如炬
日期:2016-01-03 22:00:00秀才
日期:2015-12-21 09:53:46目光如炬
日期:2015-12-20 22:00:00秀才
日期:2015-12-25 15:31:10秀才
日期:2015-12-14 15:02:13秀才
日期:2016-01-21 13:37:04
发表于 2014-10-10 13:40 | 显示全部楼层

使用道具 举报

回复
认证徽章
论坛徽章:
12
青年奥林匹克运动会-铁人三项
日期:2014-09-22 09:51:212015年新春福章
日期:2015-03-06 11:59:472015年新春福章
日期:2015-03-04 14:55:13凯迪拉克
日期:2014-11-20 09:13:05itpub13周年纪念徽章
日期:2014-11-06 15:29:09马上加薪
日期:2014-10-28 09:44:43马上有房
日期:2014-10-09 10:14:27马上有车
日期:2014-10-09 10:14:27itpub13周年纪念徽章
日期:2014-10-09 14:40:48itpub13周年纪念徽章
日期:2014-10-08 15:15:25
发表于 2014-10-10 14:04 | 显示全部楼层
学习

使用道具 举报

回复
招聘 : 数据库管理员
认证徽章
论坛徽章:
20
祖国60周年纪念徽章
日期:2009-10-09 08:28:00数据库板块每日发贴之星
日期:2011-02-20 01:01:01ITPUB季度 技术新星
日期:2011-04-02 10:31:09最佳人气徽章
日期:2012-03-13 17:39:182012新春纪念徽章
日期:2012-01-04 11:54:26ITPUB十周年纪念徽章
日期:2011-11-01 16:24:04玉石琵琶
日期:2012-02-21 15:04:38ITPUB 11周年纪念徽章
日期:2012-10-09 18:09:192013年新春福章
日期:2013-02-25 14:51:242011新春纪念徽章
日期:2011-02-18 11:43:33
发表于 2014-10-10 14:49 | 显示全部楼层
这也搞成精华帖了?

lz上传完整的awr和awrdd报告吧

使用道具 举报

回复
论坛徽章:
29
茶鸡蛋
日期:2013-01-16 10:42:10马上有对象
日期:2014-02-18 16:44:08最佳人气徽章
日期:2014-03-04 16:22:09马上有车
日期:2014-03-27 09:27:03马上加薪
日期:2014-03-27 09:33:522014年世界杯参赛球队: 韩国
日期:2014-06-05 09:57:31itpub13周年纪念徽章
日期:2014-09-28 10:55:55itpub13周年纪念徽章
日期:2014-10-08 15:16:50itpub13周年纪念徽章
日期:2014-10-08 15:16:50itpub13周年纪念徽章
日期:2014-10-08 15:16:50
发表于 2014-10-10 15:36 | 显示全部楼层
要是有更完整的报告就好了,看不到之前的比较

使用道具 举报

回复
论坛徽章:
5
2014年新春福章
日期:2014-02-18 16:48:49马上加薪
日期:2014-02-18 16:48:49优秀写手
日期:2014-05-09 05:59:53暖羊羊
日期:2015-04-02 19:01:52沸羊羊
日期:2015-07-07 16:43:58
发表于 2014-10-10 15:49 | 显示全部楼层
哈哈哈~~~

使用道具 举报

回复
论坛徽章:
9
ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00马上有房
日期:2014-10-13 16:43:18灰彻蛋
日期:2013-06-19 17:33:422014年新春福章
日期:2014-05-14 12:32:03保时捷
日期:2013-10-06 00:09:052014年新春福章
日期:2014-05-07 16:35:45青年奥林匹克运动会-现代五项
日期:2014-09-20 14:03:47优秀写手
日期:2015-03-03 06:00:14ITPUB14周年纪念章
日期:2015-10-26 17:23:44
发表于 2014-10-10 17:06 | 显示全部楼层
这样也能精华?

使用道具 举报

回复
认证徽章
论坛徽章:
19
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44美羊羊
日期:2015-06-29 21:06:54慢羊羊
日期:2015-05-01 17:38:232015年新春福章
日期:2015-03-06 11:58:18沸羊羊
日期:2015-03-04 14:51:52美羊羊
日期:2015-02-28 17:32:28马上有钱
日期:2014-12-14 22:33:02itpub13周年纪念徽章
日期:2014-09-28 10:55:542014年世界杯参赛球队: 瑞士
日期:2014-06-13 11:23:53优秀写手
日期:2014-04-10 06:00:27
发表于 2014-10-10 18:12 | 显示全部楼层
管它是不是精华,能学到东西就行,一致性读会引起大量逻辑读?

使用道具 举报

回复
 楼主| 发表于 2014-10-10 18:47 | 显示全部楼层
本帖最后由 福富软件_flybug 于 2014-10-10 18:55 编辑
parknkjun 发表于 2014-10-10 18:12
管它是不是精华,能学到东西就行,一致性读会引起大量逻辑读?

是的,因为一致性读需要读回滚段的数据,有兴趣的话你自己可以做一个测试,先开一个session对测试表执行update操作,不要commit。这时候另外开一个session对测试表执行select操作,你会发现逻辑读变大!

使用道具 举报

回复
 楼主| 发表于 2014-10-10 18:53 | 显示全部楼层
本帖最后由 福富软件_flybug 于 2014-10-10 18:57 编辑
huanhuanlove 发表于 2014-10-10 14:49
这也搞成精华帖了?

lz上传完整的awr和awrdd报告吧

不好意思,让您见笑了。俺抛的是砖,就是希望引您这样的玉。俺后续还会陆续上传一些案例,请您继续批评指正。
另外,awr报告因为涉及到客户的数据,所以不方便上传,请见谅。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP备16024965号 北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表