【IT名人堂】专访阿里资深专家强琦：独家揭秘阿里双11高并发负载背后的核心技术

jasperjohn

4#的兄弟敢于说真话而且是实话！赞同！全中国的妇女成就了一个马云！人多力量大！真正的技术，他们会拿出来共享吗？

lamport_qi

wolfop 发表于 2014-11-29 19:47
不吹牛会死啊，双11日交易量只有银联或者广东移动在线计费日交易量的1/20竟然给我吹处理那么大的数据。上次 ...

都是搞技术的。
这里计算的并不是最源头的业务数据。
是集群处理的数据量。包括中间数据。
很简单，如果中间有计算是做笛卡尔积的，数据会极大的膨胀。
有些数据的sql长达1000行。
这里统计的并不是数据源。

lamport_qi

tompson1983 发表于 2014-12-1 11:29
吹了半天就讲了MRM的技术东西，而且讲的一知半解，还来专家，。其他水分十足。dt...

如果mapreduce当年用不到百字给你讲，你会明白么？
如果想了解详细的，明年会有paper出来。

gongwenbo1210

dbcloudy

关于吹牛，肯定不会把核心技术告诉你吧

关于这个话题，正在思考学oracle的人何去何从

wolfop

lamport_qi 发表于 2014-12-1 15:56
都是搞技术的。
这里计算的并不是最源头的业务数据。
是集群处理的数据量。包括中间数据。

哦，不是吧图片访问了1000次就计算1000次流量，而是把join的临时数据也算上。
照这个算法，RDBMS处理的数据量=IO量乘以压缩比？
这果然和另外一个推论完全吻合，ODPS平台按照公开资料有5000台服务器，按照6小时能处理100PB计算，每台服务器每秒吞吐量
100*1024*1024/5000/6=0.97GB/s。这个速度差不多也到了是PC服务器内置盘在读写混合下IO极限了。果然就是
服务器的IO极限吞吐量×集群节点数量×时间
拿出手的案例不过每天9亿条，2TB新增数据，这真让别人用流计算+RDBMS每天1200亿条数据的案例感觉毫无压力。
SQL长达1000在分析类系统并不少见，阿里的所谓大数据平台开放给别人做挖掘和分析被第一吐槽的就是SQL性能不行。

zqyy

专业吹牛30年

perrin1

很有道理，支撑！呵呵

xkf01

很喜欢这里的批判与夸张冲突的帖子。。。增长了思路，也明白点东西

alfah

标题党