查看: 6823|回复: 20

【讨论】关于SQL语句精细化管理的思路,求围观讨论!

[复制链接]
论坛徽章:
1
优秀写手
日期:2014-11-18 06:00:14
发表于 2014-11-9 11:52 | 显示全部楼层 |阅读模式
公司最近想做数据库整合,就是把原来多个服务器的多个数据库整合到一个数据库中,整合后的平台是64bit redhat LINUX,数据库版本是11.2.0.4.
鉴于未来整合的数据库面对多个应用,为最大程度减少重点SQL性能恶化影响所有应用决定建立对重点SQL的监控,初步想法是对SQL进行如下几个方面的监控:
1.内存方面,比如PGA,SHARED POOL,BUFFER CACHE的使用
2.DATA方面,比如undo/redo/temp表空间/buffer gets
3.并发方面,比如LOCK/LATCH/MUTEX
4.Global cache方面(会用到多个节点的RAC)
通过对上面所列指标先搜集基线,后面如果偏离基线过多进行报警

个人认为对PGA的使用可以通过v$sql_workarea得到,shared pool的使用可以通过v$sqlarea得到,buffer cache的使用是不好监控的,只能监控buffer gets
UNDO方面我们不太好从SQL的层面搜集,只能从事务的层面搜集
redo方面的数据也不太好搜集
temp表空间的使用可以从v$sql_workarea中得到
buffer gets可以从v$sqlarea中得到,但是是总的值,某一次执行的值是不好搜集的
至于lock/latch/mutex还有GLOBAL CACHE上面的监控,不太好从SQL的角度监控,如果从相关时间的消耗上倒是相对容易些,这个各位有没有什么好的方法?

其实我个人的想法是尽量先通过resource manager来管理,对重点SQL,先进行健康检查,然后进行事后的监控
其实对这里面的一些东西,是可以通过trace的方式得到的,但是,不可能对SQL的每次执行去trace,那样可能更会损害性能,有点本末倒置的味道了

大家有什么高招,欢迎讨论!

谢谢!

论坛徽章:
1
优秀写手
日期:2014-11-18 06:00:14
 楼主| 发表于 2014-11-9 13:10 | 显示全部楼层
本帖最后由 kakag1234 于 2014-11-9 15:00 编辑

很多指标其实如果不是事后监控的话,是可以通过执行后比较和执行前的统计信息就可以得到,但是监控的话就没法这么做,所以,要在监控中取得这些值还是有些难度的
也许dba_hist_sqlstat是一个好的选择,但是似乎只能采集到部分信息

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-18 06:00:14
 楼主| 发表于 2014-11-10 21:22 | 显示全部楼层
一不小心就沉了,顶起!

使用道具 举报

回复
论坛徽章:
12
阿斯顿马丁
日期:2013-11-25 19:21:16白羊座
日期:2016-01-26 13:04:24天枰座
日期:2016-01-21 09:44:142015年新春福章
日期:2015-03-06 11:58:39慢羊羊
日期:2015-03-04 14:53:33马上有对象
日期:2014-11-17 22:22:42马上有钱
日期:2014-10-22 16:02:01itpub13周年纪念徽章
日期:2014-10-08 15:15:25itpub13周年纪念徽章
日期:2014-10-08 15:15:25优秀写手
日期:2013-12-18 09:29:09
发表于 2014-11-11 13:55 | 显示全部楼层
buffer cache的使用是不好监控的:可以通过x$bh视图监控,我觉得,你要监控这么多sql,只看这些视图的话,可能会不太准确,可能达不到你想要的结果,我的建议是通过oem进行sql层面的实时监控,sql本身有什么问题,都会被暴露出来的,不管是i/o层面,还是latch层面,还是Concurrency层面
2014-11-11_135421.png
2014-11-11_135438.png

使用道具 举报

回复
认证徽章
论坛徽章:
8
2009新春纪念徽章
日期:2009-01-04 14:52:28祖国60周年纪念徽章
日期:2009-10-09 08:28:002010新春纪念徽章
日期:2010-03-01 11:07:24ITPUB9周年纪念徽章
日期:2010-10-08 09:32:25ITPUB十周年纪念徽章
日期:2011-11-01 16:23:262013年新春福章
日期:2013-02-25 14:51:24沸羊羊
日期:2015-03-04 14:51:522015年新春福章
日期:2015-03-06 11:57:31
发表于 2014-11-11 16:22 | 显示全部楼层
可以通过对视图的查询,但比较繁琐;也可以通过系统提供的awr和awrdd,比较容易、方便。

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-18 06:00:14
 楼主| 发表于 2014-11-12 11:31 | 显示全部楼层
happywangkui 发表于 2014-11-11 13:55
buffer cache的使用是不好监控的:可以通过x$bh视图监控,我觉得,你要监控这么多sql,只看这些视图的话,可能 ...

有没有OEM的API可供参考,以便自己写一个类似的工具,我们的目的OEM不能完全达到,但是可供参考

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-18 06:00:14
 楼主| 发表于 2014-11-12 11:32 | 显示全部楼层
sqysl 发表于 2014-11-11 16:22
可以通过对视图的查询,但比较繁琐;也可以通过系统提供的awr和awrdd,比较容易、方便。

能不能说具体点?谢谢!

使用道具 举报

回复
论坛徽章:
1
优秀写手
日期:2014-11-18 06:00:14
 楼主| 发表于 2014-11-15 19:19 | 显示全部楼层
再次顶起,欢迎讨论

使用道具 举报

回复
论坛徽章:
9
ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00奥运会纪念徽章:篮球
日期:2012-10-12 15:12:022013年新春福章
日期:2013-02-25 14:51:242014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08马上加薪
日期:2014-05-30 16:34:482015年新春福章
日期:2015-03-04 14:53:162015年新春福章
日期:2015-03-06 11:58:39秀才
日期:2015-09-14 10:08:30
发表于 2014-11-15 23:44 | 显示全部楼层
“对重点业务sql和实例参数进行监控,有问题后用nagios等第三方工具进行报警”。。。
这个想法很好,我在我上家单位实施过,比如监控log io sync的时间,但后来发现管理层不是很关注这些东西,管理层只有在业务受到影响后才关心。提前处理了DB隐患,感觉不是很爽,没有救火的人绩效好。

使用道具 举报

回复
论坛徽章:
9
ITPUB 11周年纪念徽章
日期:2012-10-09 18:16:00奥运会纪念徽章:篮球
日期:2012-10-12 15:12:022013年新春福章
日期:2013-02-25 14:51:242014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08马上加薪
日期:2014-05-30 16:34:482015年新春福章
日期:2015-03-04 14:53:162015年新春福章
日期:2015-03-06 11:58:39秀才
日期:2015-09-14 10:08:30
发表于 2014-11-16 00:09 | 显示全部楼层
对于不重视DB维护的管理者,有时候需要DBA上一课,增加其重视程度。见过有的管理者,看到公司DB出问题少,居然要削减明年的DB相关预算甚至中止oracle服务购买,杯具吧,你兢兢业业维护,让DB没问题,最后就是这个结果。怎么给管理者上课呢?比如你看到DB坏了一个数据文件,OK,别大呼小叫的,闷着,如果这个文件里的数据对业务影响不大,那么暂时不会影响业务。只要不重启,问题也不大。但哪一次要重启,实例就会起不来,此时,一堆领导会焦头烂额,那个时候,他们才知道DBA重要,再也不敢削减预算了。当然了,如果公司技术氛围好,领导重视DB,每年都给DBA加薪,那就没必要玩这把戏了。哈哈

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年9月21日~23日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表