查看: 16162|回复: 74

[讨论] 讨论:随着数据量的日益增长,你想做数据库优化还是数据库架构设计?

[复制链接]
论坛徽章:
139
2009日食纪念
日期:2009-07-22 09:30:00ITPUB8周年纪念徽章
日期:2009-09-27 10:21:21祖国60周年纪念徽章
日期:2009-10-09 08:28:002010年世界杯参赛球队:葡萄牙
日期:2010-01-18 09:23:302010年世界杯参赛球队:意大利
日期:2010-01-21 07:30:192010年世界杯参赛球队:南非
日期:2010-01-22 09:48:242010年世界杯参赛球队:加纳
日期:2010-02-13 16:34:422010新春纪念徽章
日期:2010-03-01 11:04:572010年世界杯参赛球队:斯洛伐克
日期:2010-05-21 11:24:312010年世界杯参赛球队:塞尔维亚
日期:2010-06-30 13:43:14
跳转到指定楼层
1#
发表于 2012-7-9 15:34 | 只看该作者 |只看大图 回帖奖励 |倒序浏览 |阅读模式
随着数据库中数据量越来越大,性能问题变成前所未有的重要.
数据库的性能优化更像是一个微观层面范畴,而架构设计就像是一个宏观层面的范畴.
性能优化对数据库非常重要,但是架构设计对系统的性能具有决定性的作用。

大家更喜欢做哪一个呢?你会把哪一个作为你的职业规划呢?
欢迎参与讨论。


活动时间:
2012年7月9日—7月16日

活动奖励:
活动结束,将评选出五位分享最认真的会员赠与由我编写的《让oracle跑的更快2》一本。欢迎大家多多参与!


图书信息:



作  者: 谭怀远 著
丛 书 名:ITPUB技术丛书


本期活动获奖会员:
wanenjie
jimn1982
mr_linzi
htyansp
miniid1

论坛徽章:
8
奥运会纪念徽章:拳击
日期:2012-07-03 14:15:312009日食纪念
日期:2009-07-22 09:30:002010新春纪念徽章
日期:2010-03-01 11:08:28ITPUB十周年纪念徽章
日期:2011-11-01 16:20:282012新春纪念徽章
日期:2012-01-04 11:50:44蜘蛛蛋
日期:2012-02-08 17:06:10ITPUB 11周年纪念徽章
日期:2012-10-09 18:06:20咸鸭蛋
日期:2013-06-17 10:31:44
2#
发表于 2012-7-9 16:03 | 只看该作者
都喜欢。

他们往往是唇齿相依的,不是有那么一句话么:90%以上的性能,是设计出来的。

一旦结构设计定型,优化所能做的事,通常是非常有限的。

使用道具 举报

回复
论坛徽章:
1088
金色在线徽章
日期:2007-04-25 04:02:08金色在线徽章
日期:2007-06-29 04:02:43金色在线徽章
日期:2007-03-11 04:02:02在线时间
日期:2007-04-11 04:01:02在线时间
日期:2007-04-12 04:01:02在线时间
日期:2007-03-07 04:01:022008版在线时间
日期:2010-05-01 00:01:152008版在线时间
日期:2011-05-01 00:01:342008版在线时间
日期:2008-06-03 11:59:43ITPUB年度最佳技术原创精华奖
日期:2013-03-22 13:18:30
3#
发表于 2012-7-9 16:05 | 只看该作者
全做了,神马乱七八糟的全做了,从后台干到前台,从主机干到web页面

使用道具 举报

回复
论坛徽章:
86
秀才
日期:2015-09-21 09:46:16目光如炬
日期:2014-07-28 06:00:03马上有钱
日期:2014-06-16 15:55:42马上有房
日期:2014-06-16 15:55:422014年世界杯参赛球队: 伊朗
日期:2014-06-13 11:29:242014年世界杯参赛球队:巴西
日期:2014-06-06 14:36:14马上有钱
日期:2014-04-04 13:51:21马上加薪
日期:2014-04-04 13:35:40马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02
4#
发表于 2012-7-9 16:10 | 只看该作者
先进行优良设计,再搞数据优化。

使用道具 举报

回复
论坛徽章:
26
ITPUB伯乐
日期:2012-05-22 15:05:35喜羊羊
日期:2015-05-14 12:15:30美羊羊
日期:2015-07-02 22:22:59秀才
日期:2015-08-24 09:51:48天枰座
日期:2015-11-05 16:53:35双鱼座
日期:2015-12-05 19:22:56巨蟹座
日期:2015-12-20 18:46:10摩羯座
日期:2016-05-19 09:54:17ITPUB15周年纪念
日期:2016-10-13 13:15:34秀才
日期:2017-02-22 15:16:26
5#
发表于 2012-7-9 16:58 | 只看该作者
说实在的 感觉架构应该会更有含金量的吧.
但是两个是不同的方面
架构 主要涉及到对硬件的一些了解.比如Server 网络设备等
但是数据库调优就主要是数据库的事了,当然也会了解一些硬件的东西.

使用道具 举报

回复
论坛徽章:
3
2011新春纪念徽章
日期:2011-01-04 10:37:34ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26技术图书徽章
日期:2014-05-09 11:17:21
6#
发表于 2012-7-9 17:04 | 只看该作者
我会选择调整架构,再进行调优。因为如果架构有问题,调优所起到的作用往往非常有限。最近遇到的一个数据库调优问题,先说说环境,请看下图

数据过于集中在总部业务系统数据库上,导致运行慢,每天产生归档数据大(一天约20G归档),锁紧张激烈,分店日结不完成不能进行数据分析,这个明显是系统问题,现在要做的1.把历史数据先从业务服务器移到BI上面,释放资源将历史查询功能先分离出来。2.分店销售日结JOB由每3小时传送一次改为12小时。3,分店销售上传到BI上,不要到核心业务数据库,通过DBLINK在BI上查询,有需要再插入到核心数据库中。

这些搞完再看TOP 5 SQL那些东西等,好多同时都觉得这个系统非常垃圾,不过领导当时上错没办法只是强行在使用,问题突然问题个人觉得是系统架构导致性能慢下来,不需要中间层的地方加了,需要的又不加~!

123.jpg (58.68 KB, 下载次数: 89)

123.jpg

使用道具 举报

回复
论坛徽章:
3
2011新春纪念徽章
日期:2011-01-04 10:37:34ITPUB十周年纪念徽章
日期:2011-11-01 16:23:26技术图书徽章
日期:2014-05-09 11:17:21
7#
发表于 2012-7-9 17:07 | 只看该作者
不知道这样搞是不是比较正确,请各位指导一下·!初步把历史数据移走,性能提高15%~!

使用道具 举报

回复
招聘 : 多个岗位招聘
论坛徽章:
33
2010广州亚运会纪念徽章:跆拳道
日期:2010-11-22 15:42:39灰彻蛋
日期:2012-05-16 13:17:56参与WIN7挑战赛纪念
日期:2012-05-24 10:37:35茶鸡蛋
日期:2012-05-28 17:27:32灰彻蛋
日期:2012-06-13 18:48:14双黄蛋
日期:2012-06-14 14:32:02奥运会纪念徽章:帆船
日期:2012-07-10 09:43:29奥运会纪念徽章:足球
日期:2012-08-17 09:17:32奥运会纪念徽章:帆船
日期:2012-07-26 15:46:49奥运会纪念徽章:赛艇
日期:2012-08-20 16:23:58
8#
发表于 2012-7-9 17:22 | 只看该作者
没有好的设计
再优化也白搭。
所以要做设计!

使用道具 举报

回复
论坛徽章:
25
奥运会纪念徽章:射击
日期:2013-01-28 09:12:182014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:11马上有车
日期:2014-03-20 16:13:24马上有房
日期:2014-03-20 16:14:11马上有钱
日期:2014-03-20 16:14:11马上有对象
日期:2014-03-20 16:14:11马上加薪
日期:2014-03-20 16:14:11喜羊羊
日期:2015-04-09 18:46:34秀才
日期:2016-03-24 09:20:52
9#
发表于 2012-7-9 17:45 | 只看该作者
首先我认为前期的调研很重要。非常重要。业务系统预计会有多少数据量,多少并发等等。
在此基础上设计的整体架构比后期的优化更重要。
地基不牢怎么能在此基础上盖更高更好的房子。盖上去也得塌下来。
就一豆腐渣工程。
就我们公司现在的系统,
业务挺简单,数据量一天两百万条记录,数据全部放一张表中,表中42个字段,web页面有查询更新等操作。有分页。
运行半年后,查询反应非常慢。做了以下调整:
1,分成历史和当天表。
2,WEB页面查询改成调用后台PROC。
3,把表做成分区表。
4,建全局索引(考虑过分区本地索引,但是效果不好)。
5,一次查询多页数据缓冲,不像以前翻一页查一次,数据库都忙不过来,还得查询总记录数。
6,查询时间长度做限制,前台发送一个语句查询一年的数据总数。再强的数据库都不一定能抗得过来吧。
7,感觉web页面把太多的压力都扔到了后台搞。不负责任。
8,再接下去删除数据,垃圾旧数据早该滚蛋了。

如果原先的架构不合理又不好改动,只能在豆腐渣工程上做优化了,我认为优化的效果还是得根据业务来。

使用道具 举报

回复
论坛徽章:
59
狮子座
日期:2016-03-26 13:35:402013年新春福章
日期:2013-02-25 14:51:24双黄蛋
日期:2013-02-25 11:06:15ITPUB 11周年纪念徽章
日期:2012-10-09 18:06:20灰彻蛋
日期:2012-04-25 13:19:33紫蛋头
日期:2012-03-14 11:16:09最佳人气徽章
日期:2012-03-13 17:39:18玉石琵琶
日期:2012-02-21 15:04:38鲜花蛋
日期:2011-11-30 14:13:01ITPUB十周年纪念徽章
日期:2011-11-01 16:21:15
10#
发表于 2012-7-9 17:53 | 只看该作者
肯定是架构设计了

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表