数据库调优的三板斧[已结贴]

dingjun123

调优秘籍：砍砍砍
没有必要做的动作，坚决不做

kelsoncong

继续

做个分层聚合的兄弟可能有过经验，那就是聚合后的数据的排序其实还是非常有规律性的。
Oracle11g里面的压缩表技术也比较的成熟了，分区表技术通过压缩技术减少空间的占用，可以大大的提升查询的性能。
正好个系统的数据库是11g的，经过测试以后，我把其中的几张超大的表，转换成了压缩表。 压缩率还是非常给力的。
这几张上百G的表，压缩以后都变成了30-40G左右，对这些标的分区扫描的时间也大大地缩短。性能得到了很大的提升。

未完待续....

kelsoncong

继续，

经过上面几板斧下来，性能已经得到很大的提升，而且不用担心历史数据的影响了，时间也缩短到了3个小时左右，已经满足客户的预期了，不过我最后一板斧砍下去以后，时间从3个小时缩短到了一个小时以内，效果好的我自己的都受不了。
这个斧头其实也不神秘，很多兄弟都会用的，只是我的那台服务器的CPU太强劲了，是64核的，说到这，有兄弟已经猜到要干什么了
对，就是DBA常用的必杀技，开并发。不过这个必杀技还是要看场合的，一般并发量大，用户多，操作小的oltp场景用几乎没什么效果，有时候还有副作用。
但是在现在这个场景里，低并发（大多数情况下就一个连接），大数据量，爆强CPU，开并发实在是太合适了，不开真的是对不起自己，对不起公司，对不起客户，对不起党和国家。。。

查看了一下数据库参数，已经支持并发了，下面我要做的就是在语句前面加hint,显示的要求并发操作。 这个hint一加，世界瞬间就和平了，真个过程在1个小时内就收工了，以至于客户经常怀疑我们的过程是不是没跑。

上面几板斧抡下来，基本就打完收工了，此次调优也获得了圆满成功。

kelsoncong

chen428 发表于 2012-6-25 10:06
楼主 有这样的疑问
你分区条件是什么
过程里面是动态添加分区吗?

这个系统的时间性很强，因此是根据时间分区的，
没做成动态的，基本山每年年底的时候运维的兄弟会依葫芦画瓢来手工添加的。

0x0x0x

正好这段时间在弄这个，谢谢LZ分享！

kelsoncong

lorikyo 发表于 2012-6-25 11:01
其实我觉得调优的 三板斧是，加索引，加hint,收集统计信息 over

哈哈，除了这三个，大师还有没有什么大招？

kelsoncong

dingjun123 发表于 2012-6-25 11:03
调优秘籍：砍砍砍
没有必要做的动作，坚决不做

这个的确是，有时候移除不必要的操作，效果比调优明显

finalarrow

学习了。

虽然不是DBA，但刚好也经历过类似的performance enhancement，我也加几点：
1. 如果有update动作，当数据量非常大时，采用分批 update 并批量提交，尽早释放资源
2. 复杂的SQL必要时可以拆分；分开执行的SQL根据业务规则可以适当合并（非DBA干的活了）
3. 因为是数据仓库，可以适当运用bitmap index
4. 注意partition表的分析计划，因为没数据时是空的，容易导致插入数据后因为没有作analyze导致执行计划出错
5. 根据需要采用temp table（又是开发人员的活了）
6. 数据仓库有时采用分析函数会大大加快性能

其实优化的核心还是在于开发人员，DBA只能从现有的SQL和表结构去考虑。

kelsoncong

上面是我总结了某次调优的小案例，用的招数其实是很简单很普通的，相信大家都有用过。
不过最终的效果还算不错，主要原因是在这些招数都运用在了合理的场合。

kelsoncong

我的砖头抛完了，大家的玉赶快砸过来