【IT名人堂】专访阿里中间件高级专家沈询：只做最好的分布式数据库

wolfop

这个架构，实在不明白，这种垂直分割在早年的运营商CRM/BOSS建设中已经被证明是不好的方式，又吹的天上。
具体的技术问题
1）消息中间件的是否有持久性？没有的话如何保证后面的执行？
2）即便有持久性，本质还是搞BASE，持久化到消息中间件就完成了，真正的数据库不保证变更，查询到的信息不准确。难怪淘宝的库存永远是假的也要假下去
3）跨库一致性如何实现？不保证？还是敢用XA？如果单个库失效怎么办？
4）更糟糕的情况，单个库数据损坏，要从备份恢复，如何保证其内部数据和其他sharding库一致？

rainerWJY

wolfop 发表于 2015-2-4 23:20
这个架构，实在不明白，这种垂直分割在早年的运营商CRM/BOSS建设中已经被证明是不好的方式，又吹的天上。
...

问题很好，我尝试做一些回答。 电信 CRM / BOSS系统，我们在云上也有一套，使用的就是DRDS分布式数据库\ONS分布式消息系统等上述系统，项目实施非常成功，两个月左右就完成了。

小结提前：

小结一下：
数据库告诉您的强一致性解决方案，只是众多方案中效率最低的一种。是否展现出一致性结果，是按照业务的实际需要来决定的。
因此，是否使用数据库的强一致性，与系统给用户所提供的功能展现，是两个层面的事情，不使用数据库强一致，也能给用户展现强一致的结果，反之，就算用了数据库给你提供的强一致手段，也有可能做出不一致的结果。
其实在银行这类似乎应该是强一致的系统中，其实你也不可能让每个ATM机都链接到主数据库上去做事务操作，类似的，跨行转账也是非一致性操作，用数据库也做不了。那难道人家银行还不活了？：）

-------------------------
说明放后

1. 消息是否有持久性？ 能保证持久性的。他与传统领域内的各类消息系统最大的差别就在于其近乎无限的扩展能力。
2. 您应该是了解ACID和BASE的一些概念的人，那么应该也了解CAP。在让用户感觉整体系统非常缓慢，以至于无法使用(A延迟、系统可用性)、与让程序员容易操作与处理(C强一致性)。互联网企业是优先选择用户体验的。所以互联网应用普遍上比传统运营商目前使用的系统，性能更好，用户体验更快速，也更少出现系统崩溃。 而传统企业使用互联网架构后，也立刻可以获得本质的提升（如最近的12306）。这就是系统架构使用互联网技术改造后，系统整体互联网化所迸发出的惊人效果。
3. 是个很好的问题，解决的好与坏，取决于写程序的人能否具备并发编程的相关知识，在海量数据处理，并发编程已经深入到每一个程序员心里的今天，这在我们几千个用户的实际实践中，已经有大量的成功案例了：）
4. 因为3的原因，4 这个问题不存在。

如果觉得对自己能力有自信，您可以来淘宝、支付宝工作个一两年看看，相信您的眼界会更开阔一些：）

wolfop

rainerWJY 发表于 2015-2-5 09:54
问题很好，我尝试做一些回答。 电信 CRM / BOSS系统，我们在云上也有一套，使用的就是DRDS分布式数据库\O ...

得了吧，用BASE的方式是因为强一致性用凑合的办法没法解决。这种需要强一致性的应用下，而在应用设计上属于极其不负责的方式，更不不是什么创新，早年中行也用过这种烂招数，在ATM存钱后当天查询余额不变，第二天才变，就是为了提高所谓的“用户体验”。所谓的用户体验不过是互联网的东西丢一点无所谓，不准确无所谓。
别给我扯跨行转账，跨行转账有完整的冲正流程，是面对不同管理实体采用的不得已的办法。如果你连事务都不要，用RDBMS干嘛？
你的云上的CRM/BOSS，也就虚拟运营商那点可怜的用户量。DRDS，那个就是著名的为了优化写性能变成写本地SSD镜像就确认成功的设计吧？远程异步写，问本地宕机后如果起不来，用远程数据，怎么保证RPO=0？
12306，你要脸不要，用了阿里的虚拟机跑gemfire，本质是利用内存数据网格分散查询压力，关你阿里的互联网架构屁事。
阿里早年是做1吹10，现在果然是做1吹100。所谓的阿里互联网架构本质上两招
1）放弃一致性
2）因为1），所以能拼命sharding。
要强一致性的支付宝，还用OCEANBASE的单节点写来保证强一致性，这会儿怎么不扯不用一致性了？

wolfop

rainerWJY 发表于 2015-2-5 09:54
问题很好，我尝试做一些回答。 电信 CRM / BOSS系统，我们在云上也有一套，使用的就是DRDS分布式数据库\O ...

此外，别顾左右言他，你根本没回答我的问题，就知道东拉西扯。你的本质无非就是说，基础架构做不了的，都是应用来做。
最好以后阿里吹的时候客观一点，我们的基础架构没法保证可用性、一致性等等。
都需要用应用解决，呵呵呵

rainerWJY

wolfop 发表于 2015-2-5 14:52
得了吧，用BASE的方式是因为强一致性用凑合的办法没法解决。这种需要强一致性的应用下，而在应用设计上属 ...

您在说的恰恰都是我说过的，看来您也认同 “应用层是可以通过更好的设计来做到强一致“这个概念的
至于，是不是负责，是不是创新，这些我想你跟我说了都是不算的。不过因为您没参与过12306，我参与过，您没参与过云化的电信crm+billing，我参与过。 您没有参与过的互联网金融，我也参与过。 这些问题，我们都解决过，也都有成熟的方案。 所以您如果用这些场景来举例子说明互联网应用做不出某种效果，那最后很可能反而没有很好地立场。

最终，互联网的金融服务，你的钱也没有丢过。而您所使用的那些所谓的分布式事务方案，却会发生您自己说过的”更糟糕的情况，单个库数据损坏，要从备份恢复，如何保证其内部数据和其他sharding库一致？” 。 ：）

您所不理解的东西，正是您知识盲点所在。
虚心使人进步，一起加油：）

wolfop

rainerWJY 发表于 2015-2-5 15:48
您在说的恰恰都是我说过的，看来您也认同 “应用层是可以通过更好的设计来做到强一致“这个概念的
至于 ...

扯淡，什么应用层可以通过更好的设计来做到强一致。这是没办法的办法，把基础平台应该能提供的东西尽量扔给应用做。别给我扯你参加过什么这个那个，本身的技术问题不回答，顾左右言他。我也没提任何所谓的分布式事务方案，你自己脑补的？
搞一个所谓的消息中间件来骗外行人能解决一致性问题。

rainerWJY

wolfop 发表于 2015-2-5 17:18
扯淡，什么应用层可以通过更好的设计来做到强一致。这是没办法的办法，把基础平台应该能提供的东西尽量扔 ...

听起来好像 ， 您有个能完美解决一致性，成本便宜，又能解决可用性和扩展性的方案了呢~~ 请大大教我 ~

“骗” “扯淡” 这些词汇 不是非常文明，我嘛倒不是很在意，不过希望您在以后跟其他人聊天的时候还是要少用。

毕竟，看起来，我们就在用这些骗人的方法，改善了一个又一个应用的用户体验了呢。

我自觉没那么牛，只能一个一个的应用做过去，让这些应用的用户体验更好，能够服务好更多人而已。

wolfop

rainerWJY 发表于 2015-2-5 17:35
听起来好像 ， 您有个能完美解决一致性，成本便宜，又能解决可用性和扩展性的方案了呢~~ 请大大教我 ~
...

我没有，现有的计算机硬件和通信架构也不可能允许有这么完美的东西存在，所以我也不会吹我做到了。
不象某些公司的有些人，张口就胡说八道，什么都有完美的解决方案。

rainerWJY

wolfop 发表于 2015-2-5 17:49
我没有，现有的计算机硬件和通信架构也不可能允许有这么完美的东西存在，所以我也不会吹我做到了。
不象 ...

哦 ~ 那看来 您开始说我们也做不到，说我说的都扯淡。。

后来发现原来我们真的能做到，于是您换了炮位，开始说我们虽然做得到，但却只是“不得不”这么做。

其实最后，我向您请教，却发现，原来您也做不到啊。。


那。。。既然我们做不到的您也做不到，而我们能做到的事您却做不到。。。

难道还不是您的知识体系有些地方有需要提升的地方嘛？

没事，这个事情需要亲身经历才行，欢迎来看看这些公司们都是怎么做这些您看起来做不到的事情的：）

wolfop

rainerWJY 发表于 2015-2-5 18:03
哦 ~ 那看来 您开始说我们也做不到，说我说的都扯淡。。

后来发现原来我们真的能做到，于是您换了炮位 ...

还嘴硬，自己根本做不到就会说"我们都有解决方案"，完全符合阿里做1吹100的风格。真正的技术问题你也不敢回答没法回答，只会"我们有解决方案"，装B谁不会啊？

技术就是技术，你也就只会嘴硬吹牛。2014年双11由于一致性引起的问题和投诉还少么？别在这里装不知道，不过估计你也就只会装。