查看: 3894|回复: 0

[原创] 【WebLogic故障处理】一次严重的WebLogic频繁宕机故障处理

[复制链接]
认证徽章
论坛徽章:
5
2011新春纪念徽章
日期:2011-02-18 11:43:35ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:152013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2013-12-18 09:29:09
发表于 2010-10-26 20:47 | 显示全部楼层 |阅读模式
环境描述
AIX 5308WebLogic 9.2 MP3 集群(6应用节点,1管理节点,1集群分发节点)
JDK
IBM Java 5 64-bit JDK (Service Refresh SR6b + IZ08455)


JVM
-Xms2048M –Xmx2048M

Patch ID: NGZ8
      Performance Packserver/native/aix/ppc64/libmuxer.so
系统使用过程中,平均每一个月至少宕机一次,表现为WebLogic服务节点呈挂死现象,业务系统不能使用,只能重启服务节点后系统方能使用,并且在业务系统使用过程中,速度达不到理想的效果。


故障分析1、
WebLogic
服务节点挂机现象,经检

WebLogic日志,发现在服务节点挂机之前有出“java/lang/OutOfMemoryError”等报错,同时domains目录下也生成有javacoreheapdump等文件。


l
JVM内存使用情况


***WARNING*** Java heap is almost exhausted : 0% free Java heap
Dump Event "systhrow" (00040000) Detail "java/lang/OutOfMemoryError" received
Free Java heap size: 9,664 bytes
Allocated Java heap size: 4,294,967,296 bytes
目前分配给Server的4G内存已全部使用,但又未得到新的内存,出现了OutOfMemoryError


l


线程使用情况


从线程使用情况看,只有个别线程正在运行,其它线程均在等待或被阻塞。
运行的线程正在进行数据据访问操作


l


检查内存使用情况


在重新调整JVM1G的情况下,分析了内存再次溢出的DUMP文件,从下图看出有存内存泄漏问题,而且情况较为严重,一个class共消耗内存670M,这个泄漏对象当前正在进行JDBC数据访问操作。


JVM1G的条件下,根据分析结果表明,目前内存泄漏问题主要表现在两个地方:
1) 对象com.XXXX.XXXX.XXXX.XXXX.model.DefectQueryVO
此对象分别创建了36414次、1239307次。
2)
一系列JDBC操作,这个操作说明在进行数库访问、数据交换。

因此已建议开发商软件工程师检查程序并进行优化。



故障处理结果
将相应的表进行分区处理,优化了数据库,后来使用正常。


您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年6月4日~6日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表