在实时分析海量数据方面，内存数据计算能否取代传统关系型数据库？欢迎入内讨论！

wolfop · 发表于 2012-8-29 23:29

1、内存数据库与传统数据库有哪些相同和不同的地方，各有什么优缺点？
内存结构完全不同，MMDB以优化内存访问为重点，传统数据库以优化磁盘访问和持久化为重点。优缺点也很明显，MMDB一般缺乏持久性，但是起码解决了IO读的问题，但是受限于内存大小，根本没法面对PB级别的数据库。传统磁盘RDBMS正好相反，不受内存大小限制。其实传统磁盘数据库也在不断的提升内存处理效率，比如ORACLE 11GR2的in-memory parallel execution，当然这个功能在DB2 DPF中一直就有，而TD的较新版本也不象以前那样只缓存执行计划，不缓存数据。

2、内存数据管理能够与列存储能否很好的进行融合？
这个无所谓，本来就没矛盾。
3、大数据来袭，在企业中，联机事务处理系统（OLTP）和联机分析处理系统（OLAP）划分的界限越来越小，对于需要从海量数据库中进行实时计算和快速得到响应的需求如何去实现？未来的海量数据管理方向是什么？请谈谈您的想法。
这个和内存计算基本没太大关系。OLTP和OLAP混合负载的良好支持是需要一种超越传统要么share disk要么share nothing的数据库集群结构。不好意思，现在没有一种MMDB能做到。反而传统磁盘数据库有突破。

4、内存计算技术能够在成本，应用程序，更快更好的决策方面带来哪些新的变化？
局限于数据量极小的情况，而且对于OLAP支持，IO读取速度虽然很重要，但是没有scale-out的能力，CPU处理速度成为了最大的瓶颈。
5、您看好内存数据管理吗？为什么？
这个说不上看好看好，就像问看好CISC还是看好RISC，看好share disk还是share nothing一样，最后的结果是两者互相借鉴对方，实现融合才是王道。

lawrenceliang · 发表于 2012-8-30 10:13

anlinew 发表于 2012-8-29 15:32
我觉得HANA并没有跳出关系数据库的范畴，只是其引入了内存计算、列式存储等技术通过避免IO、改变传统计算方 ...

同意

lawrenceliang · 发表于 2012-8-30 10:16

haitao 发表于 2012-8-29 16:46
内存数据计算？
既然是海量了，还敢内存？那要多少钱？可行吗？

硬件发展那么快，现在内存都是T量级的，想想10几年前，我们用的512K的内存。。。

将传统数据库放到内存也是个技术活，也不是放上去就叫内存数据库的

lawrenceliang · 发表于 2012-8-30 10:22

buptdream 发表于 2012-8-29 20:07
http://tech.hexun.com/2011-11-24/135629182.html

要看一手资料啊，翻译害死人。。。

SAP好像也没说5-10年取代传统数据库，有个目标只是争做数据库市场no2，还是很敬畏oracle的，但是sap自己的产品肯定会推荐内存数据库，至少不会受制于传统数据库

lawrenceliang · 发表于 2012-8-30 10:33

wolfop 发表于 2012-8-29 23:22
既然是海量，现有的RAM怎可能放的下？PB级别的DW，用全内存做给我看看？
SAP无非是吹牛，HANA到现在还不具 ...

pb级别的数据仓库有多少企业部署了呢？IBM部署的最大的数据仓库120PB，动用了20万块硬盘，这肯定不是一般企业能做到的，另一方面估计很少企业有这需求。

haitao · 发表于 2012-8-30 10:41

lawrenceliang 发表于 2012-8-30 10:16
硬件发展那么快，现在内存都是T量级的，想想10几年前，我们用的512K的内存。。。

将传统数据库放到内存 ...

就是因为它是技术活，所以我们要绕开
利用tmpfs就不是个技术活，只要内存真的够，任何dba都能做，而效果一样（io速度极大提高）
之所以没普及，不是技术而是内存贵

lawrenceliang · 发表于 2012-8-30 10:51

haitao 发表于 2012-8-30 10:41
就是因为它是技术活，所以我们要绕开
利用tmpfs就不是个技术活，只要内存真的够，任何dba都能做，而效果 ...

规避disc io的瓶颈至少内存数据的优势之一

请教：怎么利用tmpfs来优化传统数据呢？这个看起来至是个基于内存的文件系统，那样对数据的处理还是在硬盘的数据中。

wolfop · 发表于 2012-8-30 11:04

lawrenceliang 发表于 2012-8-30 10:33
pb级别的数据仓库有多少企业部署了呢？IBM部署的最大的数据仓库120PB，动用了20万块硬盘，这肯定不是一般 ...

你说的没错，很多制造业，SMB等等的DW就在GB级别。但是问题在于，既然要吹是海量处理，别到实际又说数据又有多大呢？自打嘴巴。
互联网、通信行业大量100TB以上级别的DW，这种级别的DW，现在都不可能用内存计算来解决。

wolfop · 发表于 2012-8-30 11:06

lawrenceliang 发表于 2012-8-30 10:51
规避disc io的瓶颈至少内存数据的优势之一

请教：怎么利用tmpfs来优化传统数据呢？这个看起来至是个基 ...

几乎所有的MPP架构的数据库在做DW都没遇到IO瓶颈，这个时候暴露出来的瓶颈是CPU。在没SCALEOUT之前，基于纯内存的DW只适合解决非海量的情况。

〇〇 · 发表于 2012-8-30 14:33

1、内存数据库与传统数据库有哪些相同和不同的地方，各有什么优缺点？

内存数据库主要还是用来需要快速响应的地方，计算不但是内存的事，还有cpu的事，随着ssd等速度越来越快，即使数据不在内存读出也不费事。
现在内存数据库的功能比传统数据库还是少。有些场合无法胜任。

传统数据库负担太重，什么都干，总有一些干不好的地方。这些干不好的东西应分给内存数据库或其他NOSQL。