楼主: pipihappy8888

【IT名人堂】专访阿里资深专家强琦:独家揭秘阿里双11高并发负载背后的核心技术

[复制链接]
认证徽章
论坛徽章:
4
2012新春纪念徽章
日期:2012-01-04 11:54:262013年新春福章
日期:2013-02-25 14:51:242014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
发表于 2014-12-1 14:53 | 显示全部楼层
4#的兄弟敢于说真话而且是实话!赞同!全中国的妇女成就了一个马云!人多力量大!真正的技术,他们会拿出来共享吗?

使用道具 举报

回复
论坛徽章:
0
发表于 2014-12-1 15:56 | 显示全部楼层
wolfop 发表于 2014-11-29 19:47
不吹牛会死啊,双11日交易量只有银联或者广东移动在线计费日交易量的1/20竟然给我吹处理那么大的数据。上次 ...

都是搞技术的。
这里计算的并不是最源头的业务数据。
是集群处理的数据量。包括中间数据。
很简单,如果中间有计算是做笛卡尔积的,数据会极大的膨胀。
有些数据的sql长达1000行。
这里统计的并不是数据源。

使用道具 举报

回复
论坛徽章:
0
发表于 2014-12-1 15:58 | 显示全部楼层
tompson1983 发表于 2014-12-1 11:29
吹了半天就讲了MRM的技术东西,而且讲的一知半解,还来专家,。其他水分十足。dt...

如果mapreduce当年用不到百字给你讲,你会明白么?
如果想了解详细的,明年会有paper出来。

使用道具 举报

回复
论坛徽章:
37
现代
日期:2015-05-18 20:02:332014年世界杯参赛球队: 美国
日期:2014-08-08 22:20:352014年世界杯参赛球队: 尼日利亚
日期:2014-08-08 22:20:352014年世界杯参赛球队: 阿根廷
日期:2014-08-08 22:20:352014年世界杯参赛球队: 阿尔及利亚
日期:2014-08-08 22:20:35itpub13周年纪念徽章
日期:2014-09-30 14:29:38itpub13周年纪念徽章
日期:2014-09-30 14:39:51itpub13周年纪念徽章
日期:2014-10-08 15:22:13itpub13周年纪念徽章
日期:2014-10-08 15:22:13itpub13周年纪念徽章
日期:2014-10-08 15:22:13
发表于 2014-12-1 16:17 | 显示全部楼层

使用道具 举报

回复
求职 : 数据库管理员
认证徽章
论坛徽章:
8
优秀写手
日期:2014-10-15 06:00:14马上有房
日期:2014-11-12 15:19:532015年新春福章
日期:2015-03-04 14:55:132015年新春福章
日期:2015-03-06 11:59:47喜羊羊
日期:2015-03-16 11:00:26秀才
日期:2015-08-03 12:41:59秀才
日期:2016-01-13 12:14:26秀才
日期:2016-02-18 10:08:14
发表于 2014-12-1 17:11 | 显示全部楼层
关于吹牛,肯定不会把核心技术告诉你吧

关于这个话题,正在思考学oracle的人何去何从

使用道具 举报

回复
论坛徽章:
76
山治
日期:2019-03-27 22:55:03秀才
日期:2016-01-25 15:02:04双子座
日期:2016-01-19 20:35:54秀才
日期:2016-01-13 12:14:26秀才
日期:2015-12-25 15:31:10秀才
日期:2015-12-18 09:28:57秀才
日期:2015-12-14 14:56:09秀才
日期:2015-12-14 14:51:16秀才
日期:2015-11-30 09:13:06处女座
日期:2015-11-27 12:27:01
发表于 2014-12-1 17:45 | 显示全部楼层
本帖最后由 wolfop 于 2014-12-1 18:02 编辑
lamport_qi 发表于 2014-12-1 15:56
都是搞技术的。
这里计算的并不是最源头的业务数据。
是集群处理的数据量。包括中间数据。

哦,不是吧图片访问了1000次就计算1000次流量,而是把join的临时数据也算上。
照这个算法,RDBMS处理的数据量=IO量乘以压缩比?
这果然和另外一个推论完全吻合,ODPS平台按照公开资料有5000台服务器,按照6小时能处理100PB计算,每台服务器每秒吞吐量
100*1024*1024/5000/6=0.97GB/s。这个速度差不多也到了是PC服务器内置盘在读写混合下IO极限了。果然就是
服务器的IO极限吞吐量×集群节点数量×时间
拿出手的案例不过每天9亿条,2TB新增数据,这真让别人用流计算+RDBMS每天1200亿条数据的案例感觉毫无压力。
SQL长达1000在分析类系统并不少见,阿里的所谓大数据平台开放给别人做挖掘和分析被第一吐槽的就是SQL性能不行。

使用道具 举报

回复
论坛徽章:
0
发表于 2014-12-2 10:38 | 显示全部楼层
专业吹牛30年

使用道具 举报

回复
论坛徽章:
0
发表于 2014-12-2 11:42 | 显示全部楼层
很有道理,支撑!呵呵

使用道具 举报

回复
认证徽章
论坛徽章:
244
2015年新春福章
日期:2015-05-28 10:58:322015年新春福章
日期:2015-03-19 09:32:472015年新春福章
日期:2015-03-06 11:58:182015年新春福章
日期:2015-05-21 11:46:522015年新春福章
日期:2015-05-22 13:32:002015年新春福章
日期:2015-06-25 14:26:362015年新春福章
日期:2015-07-01 17:15:212015年新春福章
日期:2015-07-01 17:15:212015年新春福章
日期:2015-07-01 17:12:082015年新春福章
日期:2015-05-18 13:50:34
发表于 2014-12-2 13:46 | 显示全部楼层
很喜欢这里的批判与夸张冲突的帖子。。。增长了思路,也明白点东西

使用道具 举报

回复
认证徽章
论坛徽章:
5
2014年新春福章
日期:2014-02-18 16:41:11马上有车
日期:2014-02-18 16:41:112015年新春福章
日期:2015-03-04 14:19:112015年新春福章
日期:2015-03-06 11:57:31秀才
日期:2016-03-24 09:10:24
发表于 2014-12-2 15:05 | 显示全部楼层
标题党

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

SACC2019中国系统架构师大会

【数字转型 架构演进】SACC2019中国系统架构师大会,7折限时优惠重磅来袭!
2019年10月31日~11月2日第11届中国系统架构师大会(SACC2019)将在北京隆重召开。四大主线并行的演讲模式,1个主会场、20个技术专场、超千人参与的会议规模,100+来自互联网、金融、制造业、电商等领域的嘉宾阵容,将为广大参会者提供一场最具价值的技术交流盛会。

限时七折期:2019年8月31日前


----------------------------------------

大会官网>>
TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表