查看: 15154|回复: 61

在实时分析海量数据方面,内存数据计算能否取代传统关系型数据库?欢迎入内讨论!

[复制链接]
认证徽章
论坛徽章:
86
秀才
日期:2015-09-21 09:46:16目光如炬
日期:2014-07-28 06:00:03马上有钱
日期:2014-06-16 15:55:42马上有房
日期:2014-06-16 15:55:422014年世界杯参赛球队: 伊朗
日期:2014-06-13 11:29:242014年世界杯参赛球队:巴西
日期:2014-06-06 14:36:14马上有钱
日期:2014-04-04 13:51:21马上加薪
日期:2014-04-04 13:35:40马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02
发表于 2012-8-28 14:16 | 显示全部楼层 |阅读模式
软件巨头SAP首席信息官Oliver Bussmann在日前伯明翰召开的用户组大会上表示,公司将更加专注基于内存计算的HANA产品,从而在未来彻底取代关系数据库。
HANA使用基于内存计算的软件技术来实时分析海量数据,“预计未来5到10年,关系数据库将彻底消失,届时所有的SAP产品都将使用HANA,”Oliver Bussmann说道。
“内存计算的模式将能帮助企业分析数据的速度提升10万倍(相比传统关系数据库)。这也就意味着以前需要数小时的分析现在几秒钟内就可以完成。”

内存数据管理不仅仅是一项技术,也是软件开发的另一种思路。欢迎大家针对内存数据库管理话题进行讨论!

讨论话题:
1、内存数据库与传统数据库有哪些相同和不同的地方,各有什么优缺点?
2、内存数据管理能够与列存储能否很好的进行融合?
3、大数据来袭,在企业中,联机事务处理系统(OLTP)和联机分析处理系统(OLAP)划分的界限越来越小,对于需要从海量数据库中进行实时计算和快速得到响应的需求如何去实现?未来的海量数据管理方向是什么?请谈谈您的想法。
4、内存计算技术能够在成本,应用程序,更快更好的决策方面带来哪些新的变化?
5、您看好内存数据管理吗?为什么?

活动时间:
8月28日~9月13日

活动奖励:针对以上任意一个问题跟帖回答,我们会在讨论结束后,随机抽选5名讨论最积极的会员赠送《 内存数据管理(第二版) 》著作一本!
shu.jpg

内容简介:
试想您住在美国的一个大城市里。现在,想象一下每次您需要一杯水时,您不是去厨房取,而是需要先开车到机场,接着坐上飞机飞到德国,然后在那拿起一杯水。从现代CPU 的角度来看,访问内存数据就如同从厨房取一杯水。而访问计算机硬盘中的数据就好比飞到德国去取一杯水。在过去,主存的成本高昂,于是必须飞到德国去取水。然而,过去几年,主存每 MB 的成本显著降低,最终使得从厨房取一杯水成为有成本效益且更加便利的选择。
这种访问时间上的巨大差别对于企业级应用有重大影响。在过去由于花费时间过长而未曾考虑过的事情现在已经成为可能,这有助于企业将之前以臆测和猜测为主的工作转变为切实的洞察力。
本书中所述的内存计算革命不仅仅是指将数据存储于内存中,以便更快地进行访问。我们还阐述了 IT 行业其他两大趋势的融合:(a)多核CPU 的出现以及软件并行化的必要性(b) DRAM 访问延迟造成的阻塞,要求软件巧妙地平衡CPU和内存活动;需要利用以上两点以真正挖掘潜在性能优势。我们介绍的内存数据管理愿景的另一个重要方面是,底层数据库中数据存储方式的变化。这与我们所关注的企业级应用的关系尤为密切。内存数据管理的作用就在于将所有这些联系在一起。

试读地址:
论坛徽章:
4
奥运会纪念徽章:射箭
日期:2012-07-20 08:53:47奥运会纪念徽章:帆船
日期:2012-07-26 15:46:49夏利
日期:2013-09-04 11:34:22林肯
日期:2013-10-14 14:23:47
发表于 2012-8-28 16:45 | 显示全部楼层
预计未来5到10年,关系数据库将彻底消失
这句话 我觉得 讨论性更大,原因是 我怕失业啊,呵呵
现在这内存数据库和非关系型数据库都在 放言关系型数据库将消失, 不知道真的还是假的啊
我现在更关心的是假如真消失的那一天DBA们该如何面对挑战

使用道具 举报

回复
认证徽章
论坛徽章:
86
秀才
日期:2015-09-21 09:46:16目光如炬
日期:2014-07-28 06:00:03马上有钱
日期:2014-06-16 15:55:42马上有房
日期:2014-06-16 15:55:422014年世界杯参赛球队: 伊朗
日期:2014-06-13 11:29:242014年世界杯参赛球队:巴西
日期:2014-06-06 14:36:14马上有钱
日期:2014-04-04 13:51:21马上加薪
日期:2014-04-04 13:35:40马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02
发表于 2012-8-28 16:56 | 显示全部楼层
nb2sfc 发表于 2012-8-28 16:45
预计未来5到10年,关系数据库将彻底消失
这句话 我觉得 讨论性更大,原因是 我怕失业啊,呵呵
现在这内存 ...

内存计算在某些海量数据的实时计算方面优势非常明显,DBA不仅仅需要了解数据库,也需要了解一些新的技术和架构。

使用道具 举报

回复
论坛徽章:
15
生肖徽章2007版:猪
日期:2009-03-11 15:09:30优秀写手
日期:2013-12-18 09:29:11比亚迪
日期:2013-08-28 12:44:17复活蛋
日期:2013-06-19 15:03:392013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:08:15奥运会纪念徽章:手球
日期:2012-08-28 17:54:31奥运会纪念徽章:柔道
日期:2012-08-14 16:26:23咸鸭蛋
日期:2012-08-14 16:26:232010广州亚运会纪念徽章:射击
日期:2012-08-14 16:26:23
发表于 2012-8-28 17:04 | 显示全部楼层
只要数据还在就需要DBA,别担心,不断充实自我,跟上技术进步才是关键

使用道具 举报

回复
论坛徽章:
4
奥运会纪念徽章:射箭
日期:2012-07-20 08:53:47奥运会纪念徽章:帆船
日期:2012-07-26 15:46:49夏利
日期:2013-09-04 11:34:22林肯
日期:2013-10-14 14:23:47
发表于 2012-8-28 17:05 | 显示全部楼层
buptdream 发表于 2012-8-28 16:56
内存计算在某些海量数据的实时计算方面优势非常明显,DBA不仅仅需要了解数据库,也需要了解一些新的技术和 ...

也就是说,现在的内存数据库和其他的非关系型数据库 其实都有各自的优势,也都在和关系型数据库抢市场,关系型数据库消失 还是个很遥远的事情吧,DBA越来越面向全能一些了是吧

使用道具 举报

回复
论坛徽章:
4
奥运会纪念徽章:游泳
日期:2012-07-28 15:39:12ITPUB 11周年纪念徽章
日期:2012-10-10 13:11:142014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
发表于 2012-8-28 17:32 | 显示全部楼层
计算机性能的瓶颈已经是都知道的事实了,如果数据存放内存,的确是很大的性能提升。
特别是在海量数据的背景下,效果相比传统关系型数据库是显而易见的。

使用道具 举报

回复
认证徽章
论坛徽章:
86
秀才
日期:2015-09-21 09:46:16目光如炬
日期:2014-07-28 06:00:03马上有钱
日期:2014-06-16 15:55:42马上有房
日期:2014-06-16 15:55:422014年世界杯参赛球队: 伊朗
日期:2014-06-13 11:29:242014年世界杯参赛球队:巴西
日期:2014-06-06 14:36:14马上有钱
日期:2014-04-04 13:51:21马上加薪
日期:2014-04-04 13:35:40马上有房
日期:2014-02-18 16:42:022014年新春福章
日期:2014-02-18 16:42:02
发表于 2012-8-28 17:32 | 显示全部楼层
nb2sfc 发表于 2012-8-28 17:05
也就是说,现在的内存数据库和其他的非关系型数据库 其实都有各自的优势,也都在和关系型数据库抢市场,关 ...

是 的。我们公司都采用了内存计算的技术,确实计算能力非常强悍。

使用道具 举报

回复
论坛徽章:
4
奥运会纪念徽章:游泳
日期:2012-07-28 15:39:12ITPUB 11周年纪念徽章
日期:2012-10-10 13:11:142014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
发表于 2012-8-28 17:35 | 显示全部楼层
OLAP 或者BI 对于积累的海量历史数据,需要在用户能够忍受的时间范围出结果,或许只有内存数据计算才能达到这样的要求吧。

使用道具 举报

回复
论坛徽章:
4
奥运会纪念徽章:游泳
日期:2012-07-28 15:39:12ITPUB 11周年纪念徽章
日期:2012-10-10 13:11:142014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
发表于 2012-8-28 17:36 | 显示全部楼层
nb2sfc 发表于 2012-8-28 16:45
预计未来5到10年,关系数据库将彻底消失
这句话 我觉得 讨论性更大,原因是 我怕失业啊,呵呵
现在这内存 ...

只不过数据从硬盘移到内存,数据还是那些数据,没DBA怎么行呢?

使用道具 举报

回复
论坛徽章:
16
ITPUB9周年纪念徽章
日期:2010-10-08 09:32:262013年新春福章
日期:2013-04-08 17:42:48紫蛋头
日期:2013-03-18 12:34:29双黄蛋
日期:2013-03-11 13:04:122013年新春福章
日期:2013-02-25 14:51:24奥运纪念徽章
日期:2012-11-15 10:00:34复活蛋
日期:2012-10-31 14:26:15ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48奥运会纪念徽章:蹦床
日期:2012-09-10 10:35:46奥运会纪念徽章:花样游泳
日期:2012-09-01 12:56:56
发表于 2012-8-28 18:55 | 显示全部楼层
1、内存数据库与传统数据库有哪些相同和不同的地方,各有什么优缺点?

   传统的数据库(关系数据库)是数据存放到磁盘中,在需要的时候,数据将会从磁盘读取到内存当中,
  再在内存中进行操作。涉及到大量的IO操作,因此IO优化也是传统的关系数据库优化的一个重点。
  内存数据库将数据存储到内存当中,所有的事务操作、处理直接在内存中进行。IO操作一直以来都是费时的过程,相比磁盘,内存的读写速度远远高于磁盘读取。因此内存数据库的操作效

率要远远大于关系数据库。
  受到服务器的硬件能力的限制,内存不是无限大的,一般服务器的内存也就几十G到几百G,对于上TB或者PB级别的数据库,完全CACHE到内存也不是现实。
  因此内存数据库比较适合小型数据库,或者作为关系数据库的CACHE层。
  关系数据库注重ACID特性,而且相比内存数据库,关系数据库经历了N年的发展,比较成熟。
  基于以上原因,内存数据库能替代传统数据库,而是作为两者的结合。
  


2、内存数据管理能够与列存储能否很好的进行融合?

可以。

3、大数据来袭,在企业中,联机事务处理系统(OLTP)和联机分析处理系统(OLAP)划分的界限越来越小,对于需要从海量数据库中进行实时计算和快速得到响应的需求如何去实现?未来的

海量数据管理方向是什么?请谈谈您的想法。

海量数据库中进行实时计算和快速得到响应的需求 --ORACLE EXADATA


个人感觉以后分布式数据库和内存数据库的结合可以应对未来海量数据库。


未来的海量数据管理方向可能是分布式处理+内存处理, 
Hadoop 的出现将会带来新的技术革命。


4、内存计算技术能够在成本,应用程序,更快更好的决策方面带来哪些新的变化?


很多性能的驱动要素,如冗余的物化数据视图,都只是为了优化分析查询的响应速度。
其弊端在于,企业必须通过支付大量的费用,维护这种冗余。而内存数据库主要在内存中进行
操作,避免了这些冗余的出现,降低了企业成本。
而且海量数据操作的速度能得以加快,系统的复制、备份、存档和升级速度都会自动加快,进而降低
成本。

使用用内存计算技术进行应用程序开发的经验来看,应用程序代码可减少多达75%。
企业不再需要协调所有层次,如高速缓存和物化,算法已深入至数据库,操作更接近所需的数据。
在用户与系统的交互方面,性能的提升和复杂度的降低能直接降低成本

5、您看好内存数据管理吗?为什么?

看好,内存计算和多核技术不仅可以提升企业级应用的性能,还可以提升业务价
值。采用内存计算不用写很多提升性能的代码,甚至都不用去做任何优化。减少了应用程序的复杂度。

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表