楼主: pipihappy8888

【大话IT】小米双11:海量推送业务如何应对高并发负载?

[复制链接]
论坛徽章:
4
ITPUB 11周年纪念徽章
日期:2012-10-09 18:13:33itpub13周年纪念徽章
日期:2014-11-06 15:29:09蓝色妖姬
日期:2015-01-05 16:32:47秀才
日期:2015-10-08 17:57:58
11#
发表于 2014-11-18 10:44 | 只看该作者
1.小米推送服务的服务器端在数据存储上用到了哪些数据库?
sql and nosql,够笼统吧?


2.面对双十一大促,小米的推送消息量剧增,那小米推送(MiPush)服务到底是如何应对这种高并发负载的呢?稳定性又是如何保证的呢?采取了哪些应对方法?比如扩容、异步排队?
前两天给一个非技术行业的人讲技术,也是谈海量服务的话题。
高并发,异步排队这样的高深技术名词是没法讲懂的,我就举例了一个简单例子,搭传奇私服。一台机器再怎么优化就只能抗这些了;如要面对海量的用户,在各地各区域,管方就要搭建了很多私服——直接分散面对海量服务。但是在后台又在做同步工作。有些技术是没有后台数据同步的,有些是有数据同步的。
说到这个话题,我提炼就三个字,【搭私服】,你们所有的技术都在围绕,如何搭建更多的私服。所有的花头都大同小异。

3.小米推送服务的软件系统经历了两次重构,一是将开发语言从Erlang转为了Java,请问这有什么好处?而是对调用频繁的业务添加Cache,请发挥您的想象谈谈Cache的实际应用。
cache是直接放在内存的数据,比从磁盘访问更快。cache是非常有效的优化办法,例子太多了。

4.安全性也是小米推送服务重点考虑的一个因素,小米在推送服务中是如何确保安全新的呢?
我很少相信安全性,不是你处于不安全,就是我处于不安全。要谈确保,似乎口气太大了

使用道具 举报

回复
论坛徽章:
2
暖羊羊
日期:2015-03-04 14:54:572015年新春福章
日期:2015-03-06 11:59:47
12#
发表于 2014-11-18 10:47 | 只看该作者
小米推送服务共发出9.65亿条消息,平均每分钟发送67万条

1、每秒钟也就才11000条消息。如果横向扩展的N倍的话,可能一台机器每秒也就11000/N 不到。
2、而且对于这些订单,基本都是唯一的记录。在获取信息上,都非常快。
3、订单方面的数据,都是每天进行归档,当天的表里没有多少数据。
4、从客户方面来看,订单信息,也不是下单瞬间,立马消息到达客户。


不知道说的对不对

使用道具 举报

回复
论坛徽章:
62
马上加薪
日期:2014-02-19 11:55:142011新春纪念徽章
日期:2011-02-18 11:43:332010广州亚运会纪念徽章:田径
日期:2011-02-17 18:03:352011新春纪念徽章
日期:2011-01-25 15:42:562011新春纪念徽章
日期:2011-01-25 15:42:332011新春纪念徽章
日期:2011-01-25 15:42:152011新春纪念徽章
日期:2011-01-25 15:41:502011新春纪念徽章
日期:2011-01-25 15:41:012010广州亚运会纪念徽章:三项全能
日期:2010-11-15 13:36:51ITPUB9周年纪念徽章
日期:2010-10-08 09:34:02
13#
发表于 2014-11-18 11:38 | 只看该作者
华夏小卒 发表于 2014-11-18 10:47
小米推送服务共发出9.65亿条消息,平均每分钟发送67万条

1、每秒钟也就才11000条消息。如果横向扩展的N倍 ...

不算啥,偶们的设计的系统每秒都要处理50,000比交易

使用道具 举报

回复
论坛徽章:
10
2010新春纪念徽章
日期:2010-03-01 11:06:22ITPUB十周年纪念徽章
日期:2011-11-01 16:24:04ITPUB 11周年纪念徽章
日期:2012-10-09 18:09:192013年新春福章
日期:2013-02-25 14:51:242014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09itpub13周年纪念徽章
日期:2014-09-28 10:55:55懒羊羊
日期:2015-03-04 14:52:112015年新春福章
日期:2015-03-06 11:58:18
14#
发表于 2014-11-18 15:23 | 只看该作者
弱弱地问一句:小米推送服务,它送啥呢,txt?图片?这个推送服务跟双11有什么关系?

使用道具 举报

回复
论坛徽章:
7
2014年新春福章
日期:2014-02-18 16:49:31马上有钱
日期:2014-02-18 16:49:31技术图书徽章
日期:2014-04-04 13:33:56懒羊羊
日期:2015-02-09 17:00:14喜羊羊
日期:2015-03-04 14:54:422015年新春福章
日期:2015-03-06 11:59:47秀才
日期:2015-07-03 17:00:53
15#
发表于 2014-11-18 15:32 | 只看该作者
1.小米推送服务的服务器端在数据存储上用到了哪些数据库?
推送内容的结构应该是比较简单的,用key、value的方式存储就好了,所以我觉得使用nosql的可能性比较大。

使用道具 举报

回复
论坛徽章:
27
数据库板块每日发贴之星
日期:2010-06-17 01:01:07迷宫蛋
日期:2011-07-07 15:25:46紫蛋头
日期:2011-08-10 10:31:56ITPUB十周年纪念徽章
日期:2011-09-27 16:33:28ITPUB十周年纪念徽章
日期:2011-11-01 16:25:222012新春纪念徽章
日期:2012-02-07 09:59:35ITPUB知识分享者
日期:2012-02-20 17:49:25铁扇公主
日期:2012-02-21 15:02:40ITPUB年度最佳BLOG写作奖
日期:2012-03-13 17:09:53ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48
16#
发表于 2014-11-18 16:26 | 只看该作者
问题局限在小米 技术本身, 外围人员比较难回答吧 ,只能猜测。

使用道具 举报

回复
论坛徽章:
0
17#
发表于 2014-11-18 16:28 | 只看该作者
这个数据???

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
18#
发表于 2014-11-18 17:08 | 只看该作者
jieforest 发表于 2014-11-17 23:57
聊聊吧。

1.小米推送服务的服务器端在数据存储上用到了哪些数据库?

1.小米推送服务的服务器端在数据存储上用到了哪些数据库?
   我觉得也应该是MongoDB或者Redis的。

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
19#
发表于 2014-11-18 17:11 | 只看该作者
3.小米推送服务的软件系统经历了两次重构,一是将开发语言从Erlang转为了Java,请问这有什么好处?而是对调用频繁的业务添加Cache,请发挥您的想象谈谈Cache的实际应用。

memcache或者redis?

使用道具 举报

回复
论坛徽章:
27
优秀写手
日期:2013-12-18 09:29:09ITPUB季度 技术新星
日期:2012-08-15 14:50:13嫦娥
日期:2013-03-04 09:47:05数据库板块每日发贴之星
日期:2011-09-08 01:01:01数据库板块每日发贴之星
日期:2011-09-11 01:01:01数据库板块每日发贴之星
日期:2011-09-10 01:01:02数据库板块每日发贴之星
日期:2011-09-09 01:01:01ITPUB十周年纪念徽章
日期:2011-11-01 16:26:59ITPUB 11周年纪念徽章
日期:2012-09-28 17:34:422013年新春福章
日期:2013-03-04 09:50:49
20#
发表于 2014-11-18 17:20 | 只看该作者
2.面对双十一大促,小米的推送消息量剧增,那小米推送(MiPush)服务到底是如何应对这种高并发负载的呢?稳定性又是如何保证的呢?采取了哪些应对方法?比如扩容、异步排队?


用集群吧,比如2000台应用服务器+2000个mysql实例,进入单个服务器和实例的压力就非常少了。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表