【IT名人堂】专访阿里资深专家强琦：独家揭秘阿里双11高并发负载背后的核心技术

yjxbravo · 发表于 2014-12-15 20:22

有的时候，只是你有没有机会去做的问题

阿里真正的秘诀就是它的数以万台的服务器

给银行移动做系统的都是些小公司，人家还不是照样做出了每秒交易量是支付宝几十倍的系统（比如银联的系统，银联系统用的计算机数量比支付宝少多了）

NinGoo · 发表于 2014-12-19 19:09

本帖最后由 NinGoo 于 2014-12-19 19:26 编辑

wolfop 发表于 2014-11-29 19:47
不吹牛会死啊，双11日交易量只有银联或者广东移动在线计费日交易量的1/20竟然给我吹处理那么大的数据。上次 ...

双11日交易量只有银联或者广东移动在线计费日交易量的1/20

数据这么精确，看起来是银联或者广东移动的内部人士，那么请问下银联和广东移动计费具体的日交易量和日交易笔数大概是多少？是一套交易系统处理的，还是分布在不同的交易系统做本地处理再集中结算？

如果从技术的角度来说，需要比较的应该是交易笔数。看交易量，不同的业务场景的笔单价差别还是蛮大的，至少银联跨行转账和取款相对交易来说要大很多。

从网上搜索到的数据，银联“其中就单日交易情况看，长假前一天的9月30日以及10月1日国庆当天，交易笔数分别达到7458万笔和7218万笔，分列近年各节假日交易笔数第一和第二峰值”（出处：http://corporate.unionpay.com/in ... file_116362456.html）

而支付宝“天猫双十一购物节11日零时正式开幕，支付宝方面透露，第一个小时支付宝完成的付款笔数已达6283万笔，完成了去年全天1.88亿笔约三分之一的量。”（出处：http://www.cs.com.cn/xwzx/jr/201410/t20141008_4528906.html，注意这里是付款笔数，系统中创建的交易笔数是要超过这个数的）

不知道1/20是怎么得出来的？

交易系统的挑战不仅仅在于全天的交易量，更多在凌晨瞬间的几秒钟，这个尖峰，到目前为止，我还没有看到确切的有比支付宝更高的交易系统的记录，如果谁有，希望能够当面请教下，学习下。

是不是吹牛，数据说话。要讨论技术就讨论技术，预设一个态度，在技术论坛上这种语气回帖，有什么意思？

至于说到ODPS处理的数据量怎么来的，欢迎真正NB的同学加入我们，实际的干上几年，是不是吹牛，相信会更有说服力的。

NinGoo · 发表于 2014-12-19 19:14

本帖最后由 NinGoo 于 2014-12-19 19:22 编辑

yjxbravo 发表于 2014-12-15 20:22
有的时候，只是你有没有机会去做的问题

阿里真正的秘诀就是它的数以万台的服务器

给银行移动做系统的都是些小公司，人家还不是照样做出了每秒交易量是支付宝几十倍的系统（比如银联的系统，银联系统用的计算机数量比支付宝少多了）

请问哪家银行（或者银联）每秒交易量时支付宝几十倍？具体数据在哪里？支付宝每秒交易量时多少？几十倍系统的每秒交易量时多少？（交易量不是指金额，指笔数，真正对交易系统带来压力是笔数而不仅仅是金额，这个应该认同吧？）

wolfop · 发表于 2014-12-19 19:54

NinGoo 发表于 2014-12-19 19:09
双11日交易量只有银联或者广东移动在线计费日交易量的1/20

数据这么精确，看起来是银联或者广东移动的 ...

把老百姓用卡日均交易笔数偷换成总交易笔数，呵呵。你自己都知道还有跨行转账和取款等等其他交易。
瞬间交易笔数，这次就是双11秒杀瞬间交易笔数导致了后期严重的不一致和取消订单，这事情你不会打算否认吧？
阿里自己内部的人都漏嘴，平均双11一天的平均交易数量不过2000多/s。
ODPS数据量=总磁盘的吞吐量乘以时间，NB的算法，自叹吹牛水平严重不如。
有本事拿个象样子的案例来吹啊，一天2亿条记录也到处吹。

wolfop · 发表于 2014-12-19 20:05

NinGoo 发表于 2014-12-19 19:09
双11日交易量只有银联或者广东移动在线计费日交易量的1/20

数据这么精确，看起来是银联或者广东移动的 ...

另外再告诉你一个数字，一个大的省级运营商的每天语音话单数量是用10亿到百亿来计的。真正的实时计费要求话务接续的过程中，在线计费必须300ms内完成DCC协议的响应，一条话单生成过程中会产生多次预计算、冻结、反算、实时销帐等交易。你自己去算算实际交易1天能到多少。
更不用说加上数据流量的实时计费。

NinGoo · 发表于 2014-12-20 18:12

本帖最后由 NinGoo 于 2014-12-20 18:18 编辑

wolfop 发表于 2014-12-19 19:54
把老百姓用卡日均交易笔数偷换成总交易笔数，呵呵。你自己都知道还有跨行转账和取款等等其他交易。
瞬间 ...

把老百姓用卡日均交易笔数偷换成总交易笔数，呵呵。你自己都知道还有跨行转账和取款等等其他交易。

不是偷换，是真的不知道总交易笔数是多少，只能从网上搜索这样的公开数据。如果你知道，能透露下具体的粽交易笔数的量级么？在7458万的基础上要再加上多少？另外请教下，用卡交易和跨行转账／取款是不是同一套交易系统？

瞬间交易笔数，这次就是双11秒杀瞬间交易笔数导致了后期严重的不一致和取消订单，这事情你不会打算否认吧？
我还真不清楚你说的这个事什么情况，什么叫“后期严重的不一致和取消订单”，具体的案例出处在哪里，占比有多严重？

阿里自己内部的人都漏嘴，平均双11一天的平均交易数量不过2000多/s。
首先，讨论技术和系统压力，说平均值我只能呵呵了。。。
其次，什么叫内部的人说漏嘴？去年双11的1.88亿笔支付是公开数据，一天下来平均就是每秒2175，你可以自己算出来
零点峰值和平均值，在双11是非常大的。具体的数字我不清楚，但今年鲁肃有公开的说法，每分钟285万笔，即使不算秒峰值，这一分钟的平均峰值也是47500/s 出处在这里：http://tech.sina.com.cn/i/2014-11-11/doc-icczmvum9777295.shtml

ODPS数据量=总磁盘的吞吐量乘以时间，NB的算法，自叹吹牛水平严重不如。
有本事拿个象样子的案例来吹啊，一天2亿条记录也到处吹。

我不知道你说的一天2亿条记录到处吹是什么情况？具体案例在哪里？2亿条当然不值得吹，谁在吹我都替他脸红。光是我这个团队做的一个产品，每天处理的增量原始数据都是几百亿条了，都还没敢到外面吹呢。

要讨论技术问题，就认真的讨论，不是说阿里技术有多牛，真正牛的是业务，技术只是不能成为业务的瓶颈而已。

NinGoo · 发表于 2014-12-20 18:27

本帖最后由 NinGoo 于 2014-12-20 18:33 编辑

wolfop 发表于 2014-12-19 20:05
另外再告诉你一个数字，一个大的省级运营商的每天语音话单数量是用10亿到百亿来计的。真正的实时计费要求 ...

另外再告诉你一个数字，一个大的省级运营商的每天语音话单数量是用10亿到百亿来计的。真正的实时计费要求话务接续的过程中，在线计费必须300ms内完成DCC协议的响应，一条话单生成过程中会产生多次预计算、冻结、反算、实时销帐等交易。你自己去算算实际交易1天能到多少。
更不用说加上数据流量的实时计费。

移动的BOSS是个好例子，确实也是个多年做出来的牛B系统。如果熟悉其中的情况，欢迎也能到各个技术大会上好好吹吹，相信搞技术的都会很期待。移动在这套系统上的投入，也是多年来花了大成本的。反正在网上尝试想找更具体的数字，也没太找到。不过要说省级运营商每天语音话单数量到百亿，我还是有点存疑，一个省按1亿人口算，平均每人每天通话10通，我觉得不太合理，即使按10亿，每人每天1通电话也有点偏高，当然，我没有具体的数据，只是瞎猜。

一条话单生成过程中会产生多次预计算、冻结、反算、实时销帐等交易。你自己去算算实际交易1天能到多少。

这个问题，前面讨论的交易笔数，都是业务层面的笔数，不是换算到数据库的transaction。如果要换算到数据库层面的交易笔数，一条淘宝交易也有很多个状态的，比如拍下，付款，发货，确认收货，而且还涉及到淘宝的交易库，支付宝的交易库，支付宝的账户库等等。早些年双11的时候，系统压力扛不住的时候，也有做过短暂停止卖家做确认发货操作的降级方案来确保买家下单的体验的事情。

光拿一个最终的业务数字来说技术，有时候容易各说各话。一个session，一个采访，能讲的东西是有限的。如果真的是想讨论技术问题，先心平气和下，相互了解下更多的背景，不是更好么？带着语气在帖子里说话，没什么意思的。

wolfop · 发表于 2014-12-20 20:00

NinGoo 发表于 2014-12-20 18:12
把老百姓用卡日均交易笔数偷换成总交易笔数，呵呵。你自己都知道还有跨行转账和取款等等其他交易。[/back ...

一天增量几百亿条的数据要用几千台服务器，这性价比真差。呵呵

wolfop · 发表于 2014-12-20 20:03

NinGoo 发表于 2014-12-20 18:27
另外再告诉你一个数字，一个大的省级运营商的每天语音话单数量是用10亿到百亿来计的。真正的实时计费要求 ...

淘宝交易就别和我扯了，其性能完全是建立在最终一致性，假库存，或者说不要一致性的基础上的。
也就支付宝能和运营商的在线计费这种强一致性要求的去比较。

NinGoo · 发表于 2014-12-21 00:09

本帖最后由 NinGoo 于 2014-12-21 00:16 编辑

你从哪里看出一天增量几百亿用了几千台机器的？我说的是我团队的一个产品，只是在ODPS上很小的一个业务而已。

看到一个数字就按照自己的意思脑补出预设的结论，就你这逻辑完全是抬杠而不是讨论问题。

此贴到此为止，不再回了。爱抬杠你就继续抬吧。