查看: 8748|回复: 14

[原创] 【讨论】如何优化mysql表亿级条数?

[复制链接]
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
发表于 2014-11-2 22:57 | 显示全部楼层 |阅读模式
环境 mysql 5.5.14  主从架构  一主一从  读写分离  主库插入数据 从库读取数据
状况:目前一张表数据条数是1.5亿左右,每天保持300万增长数据,数据是每天晚上load进数据库.
需求:由于客户可能需要查询以前的数据,所以数据不能删除,现在表名在很多接口中应用,所以表名也不容易修改。目前在查询条件中都已建立索引。
问题:由于数据量很大。通过范围查询时,速度是相当慢的,求大神指导入何优化?


目前想到的办法
一 对表进行分区,需求原理上讲,这样感觉似乎也没什么作用i
二 增加一从库   对两从库做负载均衡,由于环境 没实验

实在想不到好的办法,希望群友给予更好的解决方案
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
 楼主| 发表于 2014-11-2 23:12 | 显示全部楼层
补充下 查询基本都是对所建索引做条件 然后进行分组聚合

使用道具 举报

回复
论坛徽章:
15
生肖徽章2007版:猪
日期:2009-03-11 15:09:30优秀写手
日期:2013-12-18 09:29:11比亚迪
日期:2013-08-28 12:44:17复活蛋
日期:2013-06-19 15:03:392013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15奥运会纪念徽章:手球
日期:2012-08-28 17:54:31奥运会纪念徽章:柔道
日期:2012-08-14 16:26:23咸鸭蛋
日期:2012-08-14 16:26:232010广州亚运会纪念徽章:射击
日期:2012-08-14 16:26:23
发表于 2014-11-3 14:39 | 显示全部楼层
同求,类似问题

使用道具 举报

回复
论坛徽章:
10
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44ITPUB十周年纪念徽章
日期:2011-11-01 16:21:152011新春纪念徽章
日期:2011-05-06 16:49:002011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB9周年纪念徽章
日期:2010-10-08 09:28:512010新春纪念徽章
日期:2010-03-01 11:07:22生肖徽章2007版:鸡
日期:2009-09-28 12:51:472009新春纪念徽章
日期:2009-01-04 14:52:28生肖徽章2007版:鼠
日期:2008-01-02 17:35:53劳斯莱斯
日期:2013-12-16 10:42:54
发表于 2014-11-3 16:54 | 显示全部楼层
这得依赖你的查询条件了吧,理论上来说减少表扫描的体积,可以提高速度,看你具体sql是不是有按照时间的查询条件

使用道具 举报

回复
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
 楼主| 发表于 2014-11-3 18:14 | 显示全部楼层
duiego 发表于 2014-11-3 16:54
这得依赖你的查询条件了吧,理论上来说减少表扫描的体积,可以提高速度,看你具体sql是不是有按照时间的查询 ...

sql是肯定有按时间查询的 查询条件都有索引  范围查询时  由于数据量较大 导致查询过慢  是不是非得用分布式处理呢

使用道具 举报

回复
论坛徽章:
10
ITPUB新首页上线纪念徽章
日期:2007-10-20 08:38:44ITPUB十周年纪念徽章
日期:2011-11-01 16:21:152011新春纪念徽章
日期:2011-05-06 16:49:002011新春纪念徽章
日期:2011-02-18 11:43:33ITPUB9周年纪念徽章
日期:2010-10-08 09:28:512010新春纪念徽章
日期:2010-03-01 11:07:22生肖徽章2007版:鸡
日期:2009-09-28 12:51:472009新春纪念徽章
日期:2009-01-04 14:52:28生肖徽章2007版:鼠
日期:2008-01-02 17:35:53劳斯莱斯
日期:2013-12-16 10:42:54
发表于 2014-11-3 18:45 | 显示全部楼层
翱翔不屈 发表于 2014-11-3 18:14
sql是肯定有按时间查询的 查询条件都有索引  范围查询时  由于数据量较大 导致查询过慢  是不是非得用分布 ...

mysql本身其实并不太适合类似OLAP的这种操作的,所以如果遇到这种需求,我建议将其转到其他db例如oracle,进行处理,或者如果可以的话,最好能分线程进行,比如分4个线程,每一个线程处理一个月的数据,然后累加,还不行就只能分布式了

使用道具 举报

回复
论坛徽章:
4
2014年新春福章
日期:2014-02-18 16:49:31马上有钱
日期:2014-02-18 16:49:312014年新春福章
日期:2014-04-01 18:10:02优秀写手
日期:2014-10-17 06:00:14
发表于 2014-11-4 12:58 | 显示全部楼层
1.增加机器配置
2.定期清理冷门查询历史数据到oracle或hbase,然后再在这些数据库里查询

使用道具 举报

回复
论坛徽章:
3
优秀写手
日期:2014-12-24 06:00:152015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47
 楼主| 发表于 2014-11-4 16:12 | 显示全部楼层
刀尖红叶 发表于 2014-11-4 12:58
1.增加机器配置
2.定期清理冷门查询历史数据到oracle或hbase,然后再在这些数据库里查询

看上去真的很难有好的方法了

使用道具 举报

回复
认证徽章
论坛徽章:
54
秀才
日期:2017-02-22 15:18:002015年新春福章
日期:2015-03-06 11:57:31懒羊羊
日期:2015-03-04 14:48:16马上有对象
日期:2014-10-24 17:37:552014年世界杯参赛球队: 比利时
日期:2014-08-05 11:35:382014年世界杯参赛球队: 阿根廷
日期:2014-07-15 10:49:33马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11路虎
日期:2014-01-02 12:55:56ITPUB社区12周年站庆徽章
日期:2013-10-08 15:00:34
发表于 2014-11-17 21:56 | 显示全部楼层
正确理解数据是如何存储的,索引是如何组织的,SQL是如何解析和执行的,答案就快显现了

使用道具 举报

回复
认证徽章
论坛徽章:
5
ITPUB十周年纪念徽章
日期:2011-11-01 16:26:592014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:082015年新春福章
日期:2015-03-04 14:53:162015年新春福章
日期:2015-03-06 11:58:39
发表于 2014-11-18 10:12 | 显示全部楼层
调研调研 cobar ,Atlas,Fabric吧

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表