RAC环境下的碰到的异常情况

ALONLIN123

最近RAC环境下，经常出现几台WEB服务器的连接池在一分钟内快速全部产生溢出，此时数据库的IDLE很高（90%左右），但是数据库中出现大量的事务提交不了，WEB系统登陆不了。检查业务系统也不存在连接泄露的情况，数据库也不存在锁表的情况。花了大量的人力时间，目前也找不到具体问题在那里。
    两台10G的数据库构成RAC，WEB服务器是采用WEBSPHERE，请问各位专家指点一下迷津。

Yong Huang

Always tell us Oracle version.

When the problem happens, start with wait events (assuming 10g or up):
select sid, event, p1, p2, p3 from v$session where wait_class != 'Idle';

Check the alert.log:
tail -f alert_$ORACLE_SID.log

> 此时数据库的IDLE很高（90%左右）

So CPU usage is very low?

Yong Huang

ALONLIN123

多谢版主的回复！！！
ORACLE的版本是：10.2.0.4.0，每次出故障时，数据库的CPU的占用率是很低的，不到10%。
我用V$SYSTEM_WAIT_CLASS视图查询等待事件的平均值，发现和RAC全局资源有关的等待事件占了整体等待事件的43%，因此一直怀疑是RAC的全局资源不足导致，但是什么原因导致RAC全局资源不足，则一直没有办法定位。

今天用dba_hist_active_sess_history表统计了在出故障时的等待事件，发现每次出故障前，都出现了LGWR wait for redo copy这个事件。请问此事件和db file parallel write、log file sync这两个时间是否有冲突？或者是坏块导致出现LGWR wait for redo copy这一事件？而且每次出故障时，都会出现大量的gc打头的RAC全局资源的其它等待事件。

请专家指点一下。谢谢！

ALONLIN123

另一个问题就是系统的日志切换太频繁，不知道是否也会导致LGWR wait for redo copy这个事件的出现？？
另外我根据dba_hist_active_sess_history，发现如果某一天没有出现LGWR wait for redo copy，系统就不会出故障。但由于dba_hist_active_sess_history只保存了10天左右的数据，因为之前无法统计，只能是后面再出故障时是否跟这个事件有关。

ALONLIN123

附件是发生故障时，用stackpack生成报告的文件，请各位专家指点一下。

[ 本帖最后由 ALONLIN123 于 2010-3-10 12:27 编辑 ]

2jliu

RAC

Yong Huang

> 发现每次出故障前，都出现了LGWR wait for redo copy这个事件。请问此事件和db file parallel write、
> log file sync这两个时间是否有冲突？或者是坏块导致出现LGWR wait for redo copy这一事件？而且每次
> 出故障时，都会出现大量的gc打头的RAC全局资源的其它等待事件。

Not sure what you mean by 冲突. When LGWR waits for a server (shadow) process to copy redo into log buffer, LGWR waits on "LGWR wait for redo copy" event. It's related to "log file sync" and "log file parallel write" but definitely not related to "db file parallel write". I personally never had a high wait on "LGWR wait for redo copy". Why would server processes be slow to write redo into log buffer, which is in memory not disk? Maybe too many processes want to write lots of redo at the same time? Or there could be a bug. You can open an SR to ask Oracle.

When this happens, what does v$latchholder show? If it constantly shows one single session, can you kill that session to immediately stop the "LGWR wait for redo copy" wait by LGWR?

> 另一个问题就是系统的日志切换太频繁，不知道是否也会导致LGWR wait for redo copy这个事件的出现？？

It doesn't sound related. But frequent logfile group switch is bad. It's easy to fix. Why not fix it? How frequent is it?

Your attachment sp_100304.rar doesn't have high "LGWR wait for redo copy". You probably took that snapshot during the time the problem was not ocurring.

Yong Huang

sky_heaven

发生堵塞的时候，有没有检查下 v$log 里的状态？

ALONLIN123

版主：日志切换比较频繁是应用造成的，目前已经完成了一些重构，待升级后查看效果。
      在没有发生故障的正常情况下，没有出现过LGWR wait for redo copy这个事件，从各方面综合看，可能是BUFFER BUSY导致出现这个事件的。

sky_heaven ：发生故障时，没有检查过v$log。

Yong Huang

> 日志切换比较频繁是应用造成的，目前已经完成了一些重构，待升级后查看效果。

What do you mean by 升级? You can create bigger logfiles and switch into them and drop the small log files without stopping anything.

> 从各方面综合看，可能是BUFFER BUSY导致出现这个事件的。

You seem to have a habit of jumping to a conclusion without proof or technical background. Why would buffer busy wait cause LGWR wait for redo copy? I can't think of any connection.

Yong Huang