ITPUB论坛-中国最专业的IT技术社区

 找回密码
 注册
查看: 33802|回复: 48

[名人堂] ITPUB名人堂第29期:人生在勤 不索何获 yxyup数据库性能调优技术分享

[复制链接]
认证徽章
论坛徽章:
24
技术图书徽章
日期:2013-08-16 14:31:52问答徽章
日期:2013-11-04 08:53:14目光如炬
日期:2013-12-23 06:00:11目光如炬
日期:2013-12-30 06:00:11明星写手
日期:2014-02-22 06:00:12马上有钱
日期:2014-03-31 14:09:05沸羊羊
日期:2015-05-20 12:42:59秀才
日期:2015-06-24 13:05:36秀才
日期:2015-07-13 09:48:14
发表于 2012-11-30 09:32 | 显示全部楼层 |阅读模式
本期我们邀请采访的是拥有多年系统运维经验的数据库工程师杨向勇,Oracle数据库管理版版主,ID:yxyup。现主要负责网站后端系统架构规划设计、系统维护管理、性能优化等工作。擅长于Oracle技术、需求分析、系统分析与设计。长期负责后台数据库(OLTP)以及数据仓库(OLAP)的维护和开发支持 ,实战经验丰富,精通数据库管理、备份与恢复、容灾等高可用性设计与规划;精通高可用环境下的数据库优化与维护,特别是高并发、高压力访问下的OLTP数据库环境的优化与维护。具备优秀的数据库构架设计能力与创新能力。

arron刘:
各位PUBer大家好,本期的名人堂采访人物是来自某知名网站的系统架构师杨向勇(ID:yxyup)先生。yxyup您好,请简单的介绍一下自己,以及您的工作经验。
yxyup:
谢谢arron.
说起我的工作经历,基本上用一句话就可以说清楚了,呵呵。之前在一家游戏公司,后来到现在这家公司,在这也有5年多了。
在第一家游戏公司时主要负责玩家信息、冲值计费等系统后端的Oracle数据库维护、管理、性能调整等工作。刚开始对Oracle RDBMS、OS、小型机、存储都不太懂,但机会很机遇不错,可以接触到很多再加起带我的师傅人也很nice技术也很good。在这家公司几年不仅学习了一些技能、也逐步意识到规范操作的重要性,这点对我后来的工作帮助非常大。现在想想真是受益匪浅。后来到了现在这家公司,前两年还是主要负责数据库系统,现在主要负责系统运维管理(包括DB、系统、网络、监控、安全)、后端系统架构设计一些工作。

arron刘:
现在数据库使用Cache的地方很多,那么您能不能给我讲讲如何利用Cache机制提高数据库访问速度、如何性能调优?
yxyup:
现在用到cache地方随处可见,对于一个基于数据库的应用系统来说,cache为王一点都不假。一套架构合理的应用系统从前端到后台每个重要的环节都有自己的cache,例如网站应用系统,从最开始发起请求的IE浏览器到中间层,再到数据最终存放的存储都有自己的cache。cache虽然是多样的,但它们的最终目标是一致的,都是为了提高访问数据的效率,提升用户的体验。
至于如何利用cache,我个人认为一是要合理使用cache将热点数据缓存来,二是要根据应用设计出合理有效的缓存数据过期策略,三是要防止cache系统雪崩后带来的影响。

arron刘:
我们知道Web I/O也是一个优化很重要的方面,有没有需要特别注意的或是有哪些好的解决方案?
yxyup:
是的。大多的数据库应用系统瓶颈基本上都是在IO上。在IO方面一般会格外注意,一般采取的策略是分散访问热点,分离开读和写。比如,在数据库层上一般会采取将少量的读和写路由到一套库上,将其余的读操作会路由到另一套库上,用这种分流的方式来分散IO。Oracle有Dataguard(特别是Oracle 11g),Mysql有master-salve,sql server有复制。另外,文件级的IO也是不容忽略的,特别是在互联网行业。文件小而多,像电商网站查看一件商品详情时会打开很多小文件,这样当用户并发量在时,访问文件很快就会成为瓶颈。不过对于这种情况目前也都有比较成熟的解决方案了,比如分布式文件系统现在开源的有很多,都可以根据自己应用特点来选择合适的来使用。

arron刘:
在应用调优这一块是如何做的?如果有问题,是你们及时反馈给开发团队让他们去调优,还是他们会自己去找问题再反馈给你们?
yxyup:
这个不是绝对的,要看情况,有时因人而异,有时因问题而异。这么说吧,一个相对资深经验相对丰富的DBA,做事态度又比较积极同时又比较喜欢做事。一般遇上性能问题都会找出问题并提出优化建议,甚至拿出详细具体的解决方案。而同样的问题如是一位相对工作经历少些的DBA,也许只能查找出问题所在,没有办法给出优化建议,所以也只有将问题反馈给开发团队请他们来优化了。不过在我们目前的团队中还是要求找出问题并拿出解决方案的,对于上面的第二种情况,我们会要求这部分同事在和开发同事沟通前,先内部沟通解决出方案。

arron刘:
请给读者简单分享一下在性能调优方面的一些最佳实践,包括特别需要注意的地方。
yxyup:
关于数据库性能优化调整技能这方面的话题之前讨论很多了,很多前辈专家都讲了很多丰富经验,网上这方面的文章也随地可见,我就不再熬述了。
今天就分享一个从应用业务角度分析系统的案例吧。某个系统在进入系统主菜单的时候,展示了一些复杂的实时统计分析数据,而这个统计分析数据只有很少数的人会真正关心,由于这个系统有几百万用户在使用,而主菜单是进入其他每个模块的必经之路,因此系统运行一段时间后,就出现了CPU 方面的瓶颈。为了解决这个问题,想尽了一切方法对SQL语句进行优化,但是收效甚微。后来经过分析应用后提出了一个方案,重新修改了主菜单的界面,缺省情况下不显示实时统计数据,而只是提供一个显示实时统计数据结果的链接。而对于需要每次进入主菜单都显示实时统计结果的用户,只需要在自己的帐户设置中设置好该选项就可以了。主菜单修改后,使用实时统计的用户只有1%左右,CPU 的瓶颈问题也就迎刃而解了。这本是一个在业务需求分析阶段就应该避免的问题,后来搞到了系统出现瓶颈后被动地来优化调整,我想这就是一个DBA应该注意的地方之一吧,谢谢。

arron刘:谢谢yxyup给我们带来的精彩的经验分享,大家要是有什么问题的话可以在下面留帖提问。

嘉宾介绍:
32_avatar_middle.jpg
姓名:杨向勇
社区ID:yxyup
个人简介:ITPUB社区版主。现任职知名网络招聘公司系统运维负责人,Itpub.net Oracle数据库管理版版主(网名yxyup).7+年的工作经历,现主要负责网站后端系统架构规划设计、系统维护管理、性能优化等工作。

往期节目回顾:ITPUB社区全新打造新栏目——《ITPUB名人堂》
论坛徽章:
11
茶鸡蛋
日期:2011-12-06 16:25:55蛋疼蛋
日期:2013-01-10 11:03:47奥运纪念徽章
日期:2012-12-06 09:21:40ITPUB 11周年纪念徽章
日期:2012-10-31 14:48:00ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422012新春纪念徽章
日期:2012-01-04 11:57:13ITPUB十周年纪念徽章
日期:2011-11-01 16:25:51迷宫蛋
日期:2011-10-24 10:43:14ITPUB官方微博粉丝徽章
日期:2011-10-31 10:21:02
发表于 2012-11-30 09:34 | 显示全部楼层
顶起

使用道具 举报

回复
认证徽章
论坛徽章:
24
技术图书徽章
日期:2013-08-16 14:31:52问答徽章
日期:2013-11-04 08:53:14目光如炬
日期:2013-12-23 06:00:11目光如炬
日期:2013-12-30 06:00:11明星写手
日期:2014-02-22 06:00:12马上有钱
日期:2014-03-31 14:09:05沸羊羊
日期:2015-05-20 12:42:59秀才
日期:2015-06-24 13:05:36秀才
日期:2015-07-13 09:48:14
发表于 2012-11-30 09:38 | 显示全部楼层
marvinoracle 发表于 2012-11-30 09:34
顶起

好快啊

使用道具 举报

回复
认证徽章
论坛徽章:
82
双黄蛋
日期:2013-02-11 20:31:16奥运会纪念徽章:手球
日期:2013-03-04 18:11:38奥运会纪念徽章:射击
日期:2013-03-11 14:17:07咸鸭蛋
日期:2013-03-24 21:25:32奥运会纪念徽章:垒球
日期:2013-04-27 15:03:48奥运会纪念徽章:跳水
日期:2013-04-27 15:04:27奥运会纪念徽章:举重
日期:2013-04-27 15:04:27奥运会纪念徽章:田径
日期:2013-04-27 15:04:27奥运会纪念徽章:赛艇
日期:2013-04-27 15:04:27茶鸡蛋
日期:2013-02-28 16:07:01
发表于 2012-11-30 09:45 | 显示全部楼层
必须顶。多请些牛人,让大家多开开眼界。

使用道具 举报

回复
论坛徽章:
11
茶鸡蛋
日期:2011-12-06 16:25:55蛋疼蛋
日期:2013-01-10 11:03:47奥运纪念徽章
日期:2012-12-06 09:21:40ITPUB 11周年纪念徽章
日期:2012-10-31 14:48:00ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422012新春纪念徽章
日期:2012-01-04 11:57:13ITPUB十周年纪念徽章
日期:2011-11-01 16:25:51迷宫蛋
日期:2011-10-24 10:43:14ITPUB官方微博粉丝徽章
日期:2011-10-31 10:21:02
发表于 2012-11-30 09:46 | 显示全部楼层
arron刘 发表于 2012-11-30 09:38
好快啊

刚进来逛,就看到你发的帖子了

使用道具 举报

回复
论坛徽章:
1088
金色在线徽章
日期:2007-04-25 04:02:08金色在线徽章
日期:2007-06-29 04:02:43金色在线徽章
日期:2007-03-11 04:02:02在线时间
日期:2007-04-11 04:01:02在线时间
日期:2007-04-12 04:01:02在线时间
日期:2007-03-07 04:01:022008版在线时间
日期:2010-05-01 00:01:152008版在线时间
日期:2011-05-01 00:01:342008版在线时间
日期:2008-06-03 11:59:43ITPUB年度最佳技术原创精华奖
日期:2013-03-22 13:18:30
发表于 2012-11-30 10:14 | 显示全部楼层
杨大夫牛逼

使用道具 举报

回复
论坛徽章:
5
茶鸡蛋
日期:2012-11-29 09:39:30蜘蛛蛋
日期:2012-12-21 13:30:352013年新春福章
日期:2013-02-25 14:51:24茶鸡蛋
日期:2013-02-27 13:45:02优秀写手
日期:2013-12-18 09:29:16
发表于 2012-11-30 10:42 | 显示全部楼层
IO真是瓶颈啊

使用道具 举报

回复
论坛徽章:
394
阿斯顿马丁
日期:2014-01-03 13:53:522014年世界杯参赛球队:喀麦隆
日期:2014-07-11 12:10:53马上有对象
日期:2014-04-09 16:19:542014年世界杯参赛球队: 洪都拉斯
日期:2014-06-25 08:25:55itpub13周年纪念徽章
日期:2014-09-28 10:55:55itpub13周年纪念徽章
日期:2014-10-01 15:27:22itpub13周年纪念徽章
日期:2014-10-09 12:04:18马上有钱
日期:2014-10-14 21:37:37马上有钱
日期:2015-01-22 00:39:13喜羊羊
日期:2015-02-20 22:26:07
发表于 2012-11-30 12:14 | 显示全部楼层
冲值
->
充值

使用道具 举报

回复
认证徽章
论坛徽章:
117
咸鸭蛋
日期:2013-03-14 15:24:45马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上加薪
日期:2014-02-19 11:55:14马上有对象
日期:2014-03-10 15:11:12马上有钱
日期:2014-11-24 10:56:15ITPUB14周年纪念章
日期:2015-10-26 17:24:11马上有车
日期:2014-02-18 16:41:11
发表于 2012-11-30 12:24 | 显示全部楼层
mark 回头学习

使用道具 举报

回复
论坛徽章:
0
发表于 2012-11-30 12:46 | 显示全部楼层
study

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则

SACC2017购票7.8折优惠进行时

2017中国系统架构师大会(SACC2017)将于10月19-21日在北京新云南皇冠假日酒店震撼来袭。今年,大会以“云智未来”为主题,云集国内外顶级专家,围绕云计算、人工智能、大数据、移动互联网、产业应用等热点领域展开技术探讨与交流。本届大会共设置2大主会场,18个技术专场;邀请来自互联网、金融、制造业、电商等多个领域,100余位技术专家及行业领袖来分享他们的经验;并将吸引4000+人次的系统运维、架构师及IT决策人士参会,为他们提供最具价值的交流平台。
----------------------------------------
优惠时间:2017年8月30日前

活动链接>>
TOP技术积分榜 社区积分榜 徽章 电子杂志 团队 统计 虎吧 老博客 知识索引树 读书频道 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档 | IT博客
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛 | SAP ERP系统
CopyRight 1999-2011 itpub.net All Right Reserved. 北京皓辰网域网络信息技术有限公司版权所有 联系我们 网站律师 隐私政策 知识产权声明
京ICP证:060528号 北京市公安局海淀分局网监中心备案编号:1101082001 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表