刚刚节点2自动重启了，已经是第 5 次了

Hades_2008 · 发表于 2010-4-8 09:24

wang兄，如果有停机时间的话，建议最好打上bundle patch #4. (8436582)

            看看它推荐的diagwait参数设置为13了么, 如果没设的话，建议设置上(希望能多保留些输出信息)
            你检查过除crsd.log和 ocssd.log进程外的其他CRS进程日志了么？比如racg进程，都没日志输出么？

            顺便问一句，你的RAC主机的网卡设置(网卡绑定IP段设置顺序）都相同吧？

         crontab里没啥特殊的程序吧？

[ 本帖最后由 Hades_2008 于 2010-4-8 09:25 编辑 ]

kool · 发表于 2010-4-8 10:30

严重关注

tolywang · 发表于 2010-4-8 13:09

原帖由 Hades_2008 于 2010-4-8 09:24 发表
wang兄，如果有停机时间的话，建议最好打上bundle patch #4. (8436582)

            看看它推荐的diagwait参数设置为13了么, 如果没设的话，建议设置上(希望能多保留些输出信息)
            你检查过除crsd.log和 ocssd.log进程外的其他CRS进程日志了么？比如racg进程，都没日志输出么？

            顺便问一句，你的RAC主机的网卡设置(网卡绑定IP段设置顺序）都相同吧？

         crontab里没啥特殊的程序吧？

谢谢Hades兄，已经下载 p8436582_10204_Linux-x86-64.ZIP , 这个patch 是为了 TRACKING BUG ?

racg 进程没有发现日志输出。

hou249bbodb3112<*wmb2bprd2*/u01/app/oracle/product/crs/racg/log>$ls
hou249bbodb3112<*wmb2bprd2*/u01/app/oracle/product/crs/racg/log>$

查看crs版本的时候发现两个节点都有一些问题：
hou249bbodb3112<*wmb2bprd2*/home/oracle>$crsctl query crs softwareversion
/u01/app/oracle/product/10gR2/bin/crsctl.bin: error while loading shared libraries: libhasgen10.so: cannot open shared object file: No such file or directory

crontab 中原来只有一个每隔分钟收集 iostat 的job ，2周前全部取消了，还是不行。

网卡绑定IP段设置顺序是指？？

garbageg · 发表于 2010-4-9 11:01

关注并学习~

Hades_2008 · 发表于 2010-4-12 08:47

不好意思 wang兄，刚刚上itpub

如果没安装bundle Patch #4, 则强烈建议安装bundle Patch .

至于说网卡绑定IP段设置顺序，就是说分别从2个节点用 ifconfig -a 查看。

比如1节点的：en0 为 10.143.11.xxx 网段(public network)上绑定 VIP
en1 为 10.143.0.xxx 网段(private network)
en2 为 172.168.10.xxx 网段 (other network) 等。。

看节点2的en0,en1,en2顺序与节点1是否一致。

另外，建议开个SR吧，与GCS组的支持人员保持同步

[ 本帖最后由 Hades_2008 于 2010-4-12 08:49 编辑 ]

Yong Huang · 发表于 2010-4-13 03:05

> racg 进程没有发现日志输出。
>
> hou249bbodb3112<*wmb2bprd2*/u01/app/oracle/product/crs/racg/log>$ls
> hou249bbodb3112<*wmb2bprd2*/u01/app/oracle/product/crs/racg/log>$

That's the wrong way to look at log files of a running process. For any troubleshooting in general, remember to use commands such as lsof and fuser. In this case, the log files are

$ lsof -p 23330 | grep REG
...
racgimon 23330 oracle 1u REG 253,3 40578 196969 /u01/app/oracle/product/10.2.0/db/log/dcdrpcora1a/racg/imonoracd1.log
...

If you don't have lsof, simply run

$ ls -l /proc/23330/fd | grep /
...
lrwx------ 1 oracle oinstall 64 Apr 12 13:54 1 -> /u01/app/oracle/product/10.2.0/db/log/dcdrpcora1a/racg/imonoracd1.log
...

> 查看crs版本的时候发现两个节点都有一些问题：
> hou249bbodb3112<*wmb2bprd2*/home/oracle>$crsctl query crs softwareversion
> /u01/app/oracle/product/10gR2/bin/crsctl.bin: error while loading shared libraries: libhasgen10.so: cannot open shared object file: No such file or directory

When you have this kind of error, generally, you need to find why it's looking for this shared library and where it expects to be at. Try

strace crsctl query crs softwareversion 2>&1 | grep libhasgen

Compare the full strace output (without grep) with that on a good server. Maybe you have a faulty installation. If so, the problem is more than "一些问题".

Yong Huang

zhang9713 · 发表于 2010-5-13 13:39

老兄，我遇见的问题与你几乎一样啊，
我的环境：2台HP DL580 1台IBM DS4800存储无SAN交换机，没有网卡Bund
软件 redhat 5.1 oracle10.2.04 RAC

现象，节点1总是无规律重新启动，重新启动前，节点1的CSS.CRS LINUX LOG都没有日志，节点2的CSS CRS等日志是在节点1重新启动后才报心跳超时啊。

现在不知道是什么进程导致服务器重新启动啊

tolywang · 发表于 2010-5-14 06:17

终于将Houston的系统迁移到墨西哥了，停掉节点2 的nodeapp服务及实例后，发现节点2 Server 照样不规律的重新启动，还没有测试两台机器的数据库应用(database, crs)都关闭是否还会重启。

刚刚关闭了RAC两个节点所有的服务(db,instance,vip, ons, lsnr 等)。但愿能找出问题点。

tolywang · 发表于 2010-5-14 06:19

关闭了Oracle RAC , GFS 是 Linux Cluster 文件系统，是否也要关闭这个gfs 才能证明和gfs 没有关系？

wwwlh · 发表于 2010-5-14 09:16

2010-03-09 22:11:24.352
[cssd(10708)]CRS-1612:node hou249bbodb3112 (2) at 50% heartbeat fatal, eviction in 15.000 seconds
心跳间负荷太大了 GFS需要消耗大量的网络带宽，Dlink的交换机性能比较烂的

[ 本帖最后由 wwwlh 于 2010-5-14 09:20 编辑 ]

[HA] 刚刚节点2自动重启了，已经是第 5 次了