查看: 3871|回复: 4

row cache lock+us contention=宕机

[复制链接]
论坛徽章:
40
ITPUB元老
日期:2005-02-28 12:57:00马上加薪
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有车
日期:2014-02-19 11:55:14一汽
日期:2013-12-11 10:38:42迷宫蛋
日期:2013-02-25 17:19:322013年新春福章
日期:2013-02-25 14:51:24迷宫蛋
日期:2012-12-14 10:42:08
发表于 2010-2-9 17:44 | 显示全部楼层 |阅读模式
【NCN系列文章来自公司技术团队的同事】作者:David.guo

早上一大早,david.guo正在做梦列,梦里好多漂亮mm,突然电话响了,是lori那小子给我的电话,一般在休息天看到这种电话我都很郁闷的,肯定是出事了。

果然出事了,某个系统应用出现了严重的等待,数据库都快不行了。只能起来,连上网络,然后vpn,看看系统性能,我靠,1号节点严重的row cache lock等待,2号节点严重的us contention等待,玩大了。

后台查询下,等待锁的进程接近8000个,靠,这样的系统还能用才奇怪。

立刻检查系统,发现系统一直在等一个select sequence.nextvalue from dual.很明显,这个sequence肯定有问题,检查这个sequence,发现cache size=0,靠,不等待才奇怪,立刻修改这个sequence的cache size为200,等待了大约300s,才执行成功,期间一堆的sahred pool wait,好了以后,这个row cache lock总算好了

不到10分钟,us contention等待超过。莫非是undo出问题了?

检查系统undo,undo表空间一共68GB,两个节点,每个节点也有34GB,继续检查,发现active和unexpired的一共有67G多,靠,undo严重不够了,怪不得争用。

继续检查,发现系统中居然有两个imp的进程,最大的一个已经active了33G多的undo,这鸟玩意应该不是应用自动发起的呀。

和应用确认,然后kill这些imp进程,然后增加14G的undo,先让应用跑起来再说。

剩下的,是去和应用扯淡分析问题产生的原因。

为什么一个没有移交到维护的系统问题就这么多列,为什么出问题是周末列,唉,看来这个星期的周末又没得睡了。

[ 本帖最后由 gototop 于 2010-2-10 20:47 编辑 ]
论坛徽章:
47
蒙奇·D·路飞
日期:2017-03-27 08:04:23马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11一汽
日期:2013-09-01 20:46:27复活蛋
日期:2013-03-13 07:55:232013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:03:322012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20
发表于 2010-2-10 02:03 | 显示全部楼层
Create a cron job to periodically check to see if any sequence has cache 0. Most developers have no sense of its consequence.

Yong Huang

使用道具 举报

回复
论坛徽章:
68
2015年新春福章
日期:2015-03-06 11:57:31奥运会纪念徽章:手球
日期:2012-09-13 15:50:49奥运会纪念徽章:水球
日期:2012-08-26 20:46:49版主1段
日期:2012-05-15 15:24:112012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-01-04 11:49:54
发表于 2010-2-11 02:38 | 显示全部楼层
we have quite a few cache=0. not big deal. maybe a cron on checking enqueue is more reasonable....

使用道具 举报

回复
论坛徽章:
38
2010新春纪念徽章
日期:2010-01-04 08:33:082012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:252012新春纪念徽章
日期:2012-02-13 15:12:25版主2段
日期:2012-05-15 15:24:11优秀写手
日期:2013-12-18 09:29:08马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14
发表于 2010-2-11 09:00 | 显示全部楼层
还可以定时检查v$undostat中undo的使用情况。

使用道具 举报

回复
认证徽章
论坛徽章:
8
2009新春纪念徽章
日期:2009-01-04 14:52:28祖国60周年纪念徽章
日期:2009-10-09 08:28:002010新春纪念徽章
日期:2010-03-01 11:07:24ITPUB9周年纪念徽章
日期:2010-10-08 09:32:25ITPUB十周年纪念徽章
日期:2011-11-01 16:23:262013年新春福章
日期:2013-02-25 14:51:24沸羊羊
日期:2015-03-04 14:51:522015年新春福章
日期:2015-03-06 11:57:31
发表于 2010-2-21 08:53 | 显示全部楼层
好贴,学习。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表