楼主: mchdba

大家公司mysql库中单表数据记录条数最多少条呢?

[复制链接]
论坛徽章:
4
ITPUB9周年纪念徽章
日期:2010-10-08 09:31:222011新春纪念徽章
日期:2011-02-18 11:43:34ITPUB十周年纪念徽章
日期:2011-11-01 16:23:262012新春纪念徽章
日期:2012-01-04 11:53:29
11#
发表于 2013-1-20 19:16 | 只看该作者
如果硬件扛得住,例如SSD环境,并且分表很麻烦,撑到几亿实际上也没有问题。我们这有的应用就到了亿级别,一样没啥问题,但是数据在SSD上。
另外一个就是数据有明显的热点,总数据量大一些也问题不大,大部分数据用不上,page就不会载入buffer。
一个例子就是监控数据,越新插入的越可能被查,越久的几乎就是死数据,不被访问,除非查问题。
以上基于InnoDB,MyISAM不一样。

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
12#
 楼主| 发表于 2013-1-20 20:43 | 只看该作者
P-Linux 发表于 2013-1-20 19:16
如果硬件扛得住,例如SSD环境,并且分表很麻烦,撑到几亿实际上也没有问题。我们这有的应用就到了亿级别,一 ...

貌似 SSD 很贵的啊,原来的公司为了节省成本就没有考虑用这个。

使用道具 举报

回复
论坛徽章:
15
生肖徽章2007版:猪
日期:2009-03-11 15:09:30优秀写手
日期:2013-12-18 09:29:11比亚迪
日期:2013-08-28 12:44:17复活蛋
日期:2013-06-19 15:03:392013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15奥运会纪念徽章:手球
日期:2012-08-28 17:54:31奥运会纪念徽章:柔道
日期:2012-08-14 16:26:23咸鸭蛋
日期:2012-08-14 16:26:232010广州亚运会纪念徽章:射击
日期:2012-08-14 16:26:23
13#
发表于 2013-1-21 10:05 | 只看该作者
mchdba 发表于 2013-1-18 23:32
什么业务啊,增长这么快啊,archive存储引擎的表都用上了呢,方便说下是用在哪些场景吗?

网络游戏,每年有新游戏,老游戏还在,注册用户成倍增加。

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
14#
 楼主| 发表于 2013-1-21 10:07 | 只看该作者
grantguan 发表于 2013-1-21 10:05
网络游戏,每年有新游戏,老游戏还在,注册用户成倍增加。

这个表的大规模增长的话,越来越大,如何保证insert、update、delete的效率呢?
万一有group by整个表的统计数目的情况呢?那不是更慢吗?

使用道具 举报

回复
论坛徽章:
15
生肖徽章2007版:猪
日期:2009-03-11 15:09:30优秀写手
日期:2013-12-18 09:29:11比亚迪
日期:2013-08-28 12:44:17复活蛋
日期:2013-06-19 15:03:392013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15奥运会纪念徽章:手球
日期:2012-08-28 17:54:31奥运会纪念徽章:柔道
日期:2012-08-14 16:26:23咸鸭蛋
日期:2012-08-14 16:26:232010广州亚运会纪念徽章:射击
日期:2012-08-14 16:26:23
15#
发表于 2013-1-21 10:15 | 只看该作者
mchdba 发表于 2013-1-21 10:07
这个表的大规模增长的话,越来越大,如何保证insert、update、delete的效率呢?
万一有group by整个表的 ...

所以online 根据业务需要keep 6个月,超过6个月archive 到历史表,超过1年移动到另外一台服务器,报表有专门的服务器,这样保证前台操作的流畅性。

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
16#
 楼主| 发表于 2013-1-21 15:50 | 只看该作者
grantguan 发表于 2013-1-21 10:15
所以online 根据业务需要keep 6个月,超过6个月archive 到历史表,超过1年移动到另外一台服务器,报表有专 ...

这也是一个不错的解决方案来着。

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
17#
 楼主| 发表于 2013-1-27 11:58 | 只看该作者
grantguan 发表于 2013-1-21 10:15
所以online 根据业务需要keep 6个月,超过6个月archive 到历史表,超过1年移动到另外一台服务器,报表有专 ...

那你这个历史表记录是2亿以上是吧,online的表只有几千万?

使用道具 举报

回复
论坛徽章:
15
生肖徽章2007版:猪
日期:2009-03-11 15:09:30优秀写手
日期:2013-12-18 09:29:11比亚迪
日期:2013-08-28 12:44:17复活蛋
日期:2013-06-19 15:03:392013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15奥运会纪念徽章:手球
日期:2012-08-28 17:54:31奥运会纪念徽章:柔道
日期:2012-08-14 16:26:23咸鸭蛋
日期:2012-08-14 16:26:232010广州亚运会纪念徽章:射击
日期:2012-08-14 16:26:23
18#
发表于 2013-1-28 09:54 | 只看该作者
mchdba 发表于 2013-1-27 11:58
那你这个历史表记录是2亿以上是吧,online的表只有几千万?

目前改为online 45 天有5千5百万
1年期的历史表有3.2个亿
超过1年的不知道具体数据了

使用道具 举报

回复
论坛徽章:
0
19#
发表于 2013-2-6 15:31 | 只看该作者
mchdba 发表于 2013-1-18 23:33
看到3个网友投票在2亿-4亿条上面,可以方便说说下什么场景下的数据能达到这个记录规模吗?

电信行业这个都不算啥,我以前做bi的时候一个wap日志每天就产生4亿数据。是每天就4亿!

使用道具 举报

回复
论坛徽章:
0
20#
发表于 2013-2-6 15:32 | 只看该作者
mchdba 发表于 2013-1-18 23:33
看到3个网友投票在2亿-4亿条上面,可以方便说说下什么场景下的数据能达到这个记录规模吗?

你好像没接触过大的数据 感觉上亿很大,如果你接触到电信行业就知道了。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表