12
返回列表 发新帖
楼主: ghyghost

各位帮忙看一下一天500W数据量的优化方法

[复制链接]
论坛徽章:
131
2006年度最佳技术回答
日期:2007-01-24 12:58:48福特
日期:2013-10-24 13:57:422014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:11马上有车
日期:2014-02-19 11:55:14马上有房
日期:2014-02-19 11:55:14马上有钱
日期:2014-02-19 11:55:14马上有对象
日期:2014-02-19 11:55:14马上加薪
日期:2014-02-19 11:55:142013年新春福章
日期:2013-02-25 14:51:24
11#
发表于 2008-3-25 08:53 | 只看该作者
1。 做复合索引
2。 500W不可能总keep在数据库内吧,有没有purge计划? 可能的话,做partition

使用道具 举报

回复
论坛徽章:
22
ITPUB元老
日期:2006-12-13 17:04:38ITPUB十周年纪念徽章
日期:2011-11-01 16:19:41生肖徽章2007版:鼠
日期:2008-01-02 17:35:53生肖徽章2007版:虎
日期:2008-01-02 17:35:53生肖徽章2007版:兔
日期:2008-01-02 17:35:53生肖徽章2007版:猴
日期:2008-01-02 17:35:53生肖徽章2007版:鸡
日期:2008-01-02 17:35:53ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44会员2007贡献徽章
日期:2007-09-26 18:42:10授权会员
日期:2006-12-13 17:02:18
12#
发表于 2008-3-25 09:07 | 只看该作者
hash partition
partition index

other partition key

使用道具 举报

回复
论坛徽章:
14
奥运会纪念徽章:拳击
日期:2008-04-24 10:00:15CTO参与奖
日期:2009-02-12 11:45:482012新春纪念徽章
日期:2012-02-07 09:59:35ITPUB季度 技术新星
日期:2012-02-16 14:53:16鲜花蛋
日期:2012-03-19 18:10:462013年新春福章
日期:2013-02-25 14:51:242014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:11
13#
发表于 2008-3-25 09:09 | 只看该作者
合理分区和合理建立索引

使用道具 举报

回复
论坛徽章:
2
数据库板块每日发贴之星
日期:2008-02-11 01:03:562008新春纪念徽章
日期:2008-02-13 12:43:03
14#
发表于 2008-3-25 09:31 | 只看该作者
分区时小心点  多看看之方面的文章  因为分区用不好只会让性能更差

使用道具 举报

回复
论坛徽章:
0
15#
发表于 2008-3-25 10:00 | 只看该作者
除去分区,
1.url 在internet 全是小写, 建index 用函数lower(),
2.用并行


新手请指教

[ 本帖最后由 yaocf 于 2008-3-25 10:08 编辑 ]

使用道具 举报

回复
招聘 : HTML页面制作
论坛徽章:
74
喜羊羊
日期:2015-04-29 17:32:03夏利
日期:2013-11-30 17:08:44雪佛兰
日期:2013-09-02 10:24:402013年新春福章
日期:2013-02-25 14:51:24蜘蛛蛋
日期:2012-11-26 22:08:56ITPUB 11周年纪念徽章
日期:2012-10-09 18:03:32双黄蛋
日期:2012-05-17 22:25:44版主3段
日期:2012-05-15 15:24:11茶鸡蛋
日期:2012-04-06 17:43:25茶鸡蛋
日期:2012-03-26 21:29:09
16#
发表于 2008-3-25 11:53 | 只看该作者
1天500w的话,先要考虑数据的历史数据与实时数据的划分以及维护问题,分好以后,再考虑如何对经常操作的数据进行优化。

使用道具 举报

回复
论坛徽章:
151
2014年新春福章
日期:2014-04-17 11:38:13奥运会纪念徽章:皮划艇静水
日期:2012-07-31 15:42:58奥运会纪念徽章:田径
日期:2012-07-10 16:21:10奥运会纪念徽章:跆拳道
日期:2012-06-20 22:07:29奥运会纪念徽章:皮划艇静水
日期:2012-06-16 02:55:21奥运会纪念徽章:曲棍球
日期:2012-06-13 10:09:19蛋疼蛋
日期:2012-05-19 23:20:41迷宫蛋
日期:2012-05-16 17:35:25版主2段
日期:2012-05-15 15:24:11双黄蛋
日期:2012-03-19 19:34:04
17#
发表于 2008-3-25 11:54 | 只看该作者
原帖由 ghyghost 于 2008-3-22 11:55 发表
查询条件就是:
select a,b,c,d,e,...........where url='xxxxx' and name='xxxxxxxxx'


这两个字段在表中的重复率是多少呢?如果基本上不重复的话建个索引不就了结了

使用道具 举报

回复
论坛徽章:
151
2014年新春福章
日期:2014-04-17 11:38:13奥运会纪念徽章:皮划艇静水
日期:2012-07-31 15:42:58奥运会纪念徽章:田径
日期:2012-07-10 16:21:10奥运会纪念徽章:跆拳道
日期:2012-06-20 22:07:29奥运会纪念徽章:皮划艇静水
日期:2012-06-16 02:55:21奥运会纪念徽章:曲棍球
日期:2012-06-13 10:09:19蛋疼蛋
日期:2012-05-19 23:20:41迷宫蛋
日期:2012-05-16 17:35:25版主2段
日期:2012-05-15 15:24:11双黄蛋
日期:2012-03-19 19:34:04
18#
发表于 2008-3-25 11:56 | 只看该作者
1天500W,那么每天数据量的空间是多少?多少MB?取决于你的查询了。还有你的系统是OLTP还是DW,查询没有时间限制吗?

使用道具 举报

回复
论坛徽章:
2
授权会员
日期:2007-06-26 12:45:20ITPUB元老
日期:2007-08-16 08:36:07
19#
发表于 2008-3-25 12:05 | 只看该作者
还是需求不是很清楚,大家没法出主意。建索引,及时更新数据字典的统计信息,

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表