查看: 29734|回复: 48

【话题讨论】内存+关系型数据库能否引领潮流?(已公布获奖名单)

[复制链接]
认证徽章
论坛徽章:
127
茶鸡蛋
日期:2012-01-16 14:24:41鲜花蛋
日期:2012-06-06 14:48:18双黄蛋
日期:2013-01-07 21:07:482013年新春福章
日期:2013-02-25 14:51:24优秀写手
日期:2013-12-18 09:29:082014年新春福章
日期:2014-02-18 16:44:08马上有对象
日期:2014-02-18 16:44:08马上加薪
日期:2014-03-18 09:57:11马上有车
日期:2014-03-20 16:13:24马上有房
日期:2014-03-20 16:14:11
发表于 2014-5-16 17:42 | 显示全部楼层 |阅读模式

谈到内存数据库,您脑海里能蹦出哪些词?有人说,内存数据库多半用来跑分析应用,交易数据都存储在传统磁盘当中,想想看内存数据库是否只能容得下小型的数据集?究竟内存数据库适合哪些应用场景?


在大数据的冲击下,内存技术就如同一部神曲,开始了密集轰炸。它不再止步于华尔街交易系统等小众应用领域,摇身一变成为了目前主流的数据库技术。各大厂商都纷纷使出了杀手锏,Oracle12c引入了内存数据库,就连IBM最新推出的DB2 也在内存技术上下足了功夫,微软的SQL Server 2014更是在内存数据库技术方面发崭露头角.这是否意味着关系型数据库融合内存技术将会成为未来厂商致胜的利器?



如果我们在内存当中运行一个标准的交易型数据库,那么当系统出现故障或者机房突然断电了,那么就很有可能所有交易都丢失,所以很多人都觉得内存数据库并不适合用来作为交易系统的后台数据库,但有一家瑞典的银行选择了铤而走险,采用了内存数据库平台。每一笔交易都对内存数据进行更新,同时在内存日志中创建新的条目,然后再同步更新到一个恢复数据库当中,而这个恢复数据库使用的是MongoDB。内存+关系型数据库是否将成为未来的重要趋势?


尽管内存数据库成为了大数据和云时代的新宠,但或多或少让人还是有些不放心。一旦宕机了,该如何应对内存数据库的恢复?从存储角度来看,内存数据库又面临着哪些挑战?


     截止6月5日,针对以上任意问题回帖,我们将抽取11位网友赠送2014年最新世界杯徽章一枚。
美国.png 瑞士.png 希腊.png 德国.png 法国.png 比利时.png 意大利.png 荷兰.png
俄罗斯.png 巴西.png 阿根廷.png 厄瓜多尔.png 智利.png 克罗地亚.png 波黑.png 葡萄牙.png
乌拉圭.png 西班牙.png 澳大利亚.png 韩国.png 日本.png 伊朗.png 洪都拉斯.png 哥斯达黎加.png
墨西哥.png 喀麦隆.png 尼日利亚.png 阿尔及利亚.png 加纳.png 哥伦比亚.png 科特迪瓦.png yinggelan-big.gif
获奖名单:感谢大家的积极回帖,恭喜以下11位网友中奖!

duronshi
yanggq
wangwenan6
lively1982
koxwow
history_xcy
qxm123
shenyinghe
xin2v
寂静的烟
淡定的DBA





认证徽章
论坛徽章:
5
2014年新春福章
日期:2014-02-18 16:48:49马上加薪
日期:2014-02-18 16:48:492014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:362014年世界杯参赛球队: 希腊
日期:2014-06-20 16:01:12
发表于 2014-5-17 14:31 | 显示全部楼层
内存数据库有他自己不可超越的优点,可以适用于交易量急剧增长的瞬间;
是否选用那具体要看是什么行业:
比如制造业,制造过程的监控和管理,完全没必要从现在的PC+Oracle RAC切换到内存数据库;
互联网行业的技术已经成型了,大家都是在准备前端如何获取用户而不是关注你用什么数据库,我想mysql类的DB还是能在未来满足需求的!

使用道具 举报

回复
论坛徽章:
1
2014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36
发表于 2014-5-17 22:28 来自手机 | 显示全部楼层
个人觉得存储持久化根本不是限制内存数据库发展的瓶颈,像SAP HANA,都已做到了同步数据到硬盘,要想开发一个好的内存数据库,我觉得如何做个优秀的基于内存的计算引擎、如何装下几十几百T及更多数据等很重要

使用道具 举报

回复
论坛徽章:
183
2008版在线时间
日期:2010-06-01 00:01:32奥运纪念徽章
日期:2013-07-18 13:55:12大众
日期:2013-09-29 21:57:31大众
日期:2013-11-19 14:51:47凯迪拉克
日期:2013-12-06 09:40:33奔驰
日期:2013-12-10 08:41:56优秀写手
日期:2013-12-18 09:29:122014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36
发表于 2014-5-18 15:32 | 显示全部楼层
内存数据库的前景与展望
我觉得是很有前景的 为什么呢
oracle产品 ---- TimesTen 已经广泛用于电信行业
SAP的HANA --- 国内也开始用到了 如 立白 农夫山泉
优点:
在一个数据库中同时实现OLTP和OLAP的高性能,使用内存列式数据库技术
可以解决:
以磁盘为中心的计算造成巨大的计算瓶颈
I/O 瓶颈导致延迟及CPU的低效利用
关系型数据库为OLTP设计的,而单一的数据存储的方式无法高效满足分析需求
80% 的 OLAP查询使用不到20%的获取的行数据

内存数据库,混合处理交易和分析类事务,可以迅速实时的处理和分析海量数据  并且 SAP 的 ERP产品完全可以基于 HANA部署 而不再需要oracle数据库
还可以动态扩展
众多的有点
行/列存储,对象存储
压缩
分区到多台服务器节点
取消聚集表
只插入增量数据
数据压缩再加速内存极速访问  还是很牛逼的

内存本地化,把大数据量和计算量分散到不同处理器
并行处理,不同的服务器之间也共享同一组数据
容灾性,单一的服务器的DOWN机将不影响任何计算 ----  可以做到 类似 DG的效果奥!!!
比如HANA
单表-8千5百万条数据库记录
- 2毫秒统计完成 - 1秒完成全部的计算累加计算 SUM/MIN/AVG等 全表扫描,无任何优化(无索引,分区等)

使用道具 举报

回复
论坛徽章:
3
双黄蛋
日期:2012-02-29 11:03:35茶鸡蛋
日期:2013-01-09 10:59:002014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36
发表于 2014-5-18 19:31 | 显示全部楼层
从硬件角度看,内存和硬盘存储的界限应该是越来越模糊,总有一天会在硬件上根本解决今天讨论的问题。

从软件系统设计角度看,内存数据库仍然是升级版的“缓存系统”用来提升交易响应速度,技术上不能视为很大的变革性的东西,但操作上是很实用的方案;数据安全也不会是问题,可以用日志、多备等方案解决。

使用道具 举报

回复
论坛徽章:
3
ITPUB9周年纪念徽章
日期:2010-10-08 09:32:272013年新春福章
日期:2013-02-25 14:51:242014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36
发表于 2014-5-18 21:43 | 显示全部楼层
其实不应该明确区分内存或者硬盘,我觉得发展方向是内存和硬盘的融合,也就是内存有硬盘的特点或者硬盘有内存得速度,今后的发展方向应该是二者各取所需逐步整合

使用道具 举报

回复
认证徽章
论坛徽章:
10
2014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36喜羊羊
日期:2015-03-18 09:30:06美羊羊
日期:2015-03-18 09:30:06懒羊羊
日期:2015-03-18 09:30:06沸羊羊
日期:2015-03-18 09:30:06慢羊羊
日期:2015-03-18 09:30:062015年新春福章
日期:2015-03-06 11:59:472015年新春福章
日期:2015-03-04 14:55:132014年世界杯参赛球队: 法国
日期:2014-06-13 11:24:50暖羊羊
日期:2015-03-18 09:30:06
发表于 2014-5-19 18:29 | 显示全部楼层
-----------------------------------------------------------------------
对于内存数据库嘛,我觉得现在考虑的太多是数据的处理速度,并发度,执行时间,这个问题就和 是不是归档模式一样 要么提高效率 要么就是加快速度 但是不能保证安全和数据恢复。
没准以后 会做出 和dg一样的内存数据库  这边的内存写了 那边同步完成以后,这边才可以继续执行,双备份嘛。。哈哈

使用道具 举报

回复
论坛徽章:
1
2014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36
发表于 2014-5-20 17:50 | 显示全部楼层
最近刚做的项目里面就用到了内存数据库。
关系型的内存数据库也是有的,timesten这样的不存在数据是否安全的问题,不用担心断电的影响,在内存中运行也是很安全可靠的。
还有key-value的内存数据库,数据一样安全可靠。转换成sql语句查询也不是很麻烦,当然只是基本的查询,不能真的像sql语句那样去做复杂关联,即便能做的,也很麻烦,效果未必会好。这毕竟就不是他擅长的是事情。
至于楼上有人说的八千多万的数据做sum运算只要几毫秒的我表示怀疑。

使用道具 举报

回复
论坛徽章:
22
问答徽章
日期:2014-01-06 16:50:41秀才
日期:2015-10-26 09:55:08秀才
日期:2015-11-11 09:48:44秀才
日期:2015-11-11 10:22:49秀才
日期:2015-11-12 17:43:40秀才
日期:2015-12-14 15:02:13秀才
日期:2016-01-21 13:42:39秀才
日期:2016-01-25 14:55:31秀才
日期:2016-02-18 10:08:14秀才
日期:2016-03-24 09:20:52
发表于 2014-5-21 11:22 | 显示全部楼层
内存数据库HANA,目前项目已经上线了。
几十GB的数据表查询只需分分钟
不过现在内存数据库大多用于OLAP,OLTP应用起来效果提升受限制(个人认为瓶颈在写日志上面,为防止数据丢失,写日志是最直接的方法,恢复=备份+日志)
随着硬件成本的降低及硬件性能的提高传统数据库和内存数据库的差异会越来越小

使用道具 举报

回复
论坛徽章:
20
2014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36秀才
日期:2015-10-19 15:36:25ITPUB14周年纪念章
日期:2015-10-26 17:24:11秀才
日期:2015-12-14 14:51:16秀才
日期:2015-12-14 14:56:09秀才
日期:2016-01-05 09:35:58秀才
日期:2016-01-21 13:37:04秀才
日期:2016-06-23 14:15:06山治
日期:2016-07-19 17:42:53秀才
日期:2015-10-19 15:31:25
发表于 2014-5-22 10:04 | 显示全部楼层
redis之类的内存数据库,本身就会向磁盘写入持久化数据啊,虽然IO确实会有问题,但是做主从双机备份嘛~

使用道具 举报

回复
招聘 : 系统架构师
认证徽章
论坛徽章:
370
秀才
日期:2015-08-13 09:04:39巨蟹座
日期:2015-09-10 09:03:46秀才
日期:2015-09-11 10:43:06摩羯座
日期:2015-09-20 17:10:27秀才
日期:2015-09-21 09:46:16秀才
日期:2015-09-21 11:16:42秀才
日期:2015-10-08 17:57:58天枰座
日期:2015-10-28 18:28:29秀才
日期:2015-11-11 09:48:44巨蟹座
日期:2015-09-09 14:25:25
发表于 2014-5-26 12:38 | 显示全部楼层
应该是大趋势吧,毕竟我们都开始用一些512GB RAM 机器了
PC服务器128GB的已经很常见了。

使用道具 举报

回复
求职 : Hadoop,大数据
论坛徽章:
14
蜘蛛蛋
日期:2011-12-31 14:06:37秀才
日期:2015-08-06 10:47:08itpub13周年纪念徽章
日期:2014-11-17 17:01:01马上有车
日期:2014-11-17 09:10:282014年世界杯参赛球队:巴西
日期:2014-06-12 16:34:36马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11茶鸡蛋
日期:2013-05-08 00:00:502013年新春福章
日期:2013-02-25 14:51:24咸鸭蛋
日期:2013-01-27 23:48:55
发表于 2014-6-5 17:56 | 显示全部楼层
就是为了解决IO,

说的掉电,那你现在的DB Server掉电怎么办?有日志文件,对吧,

内存数据库为什么就不可以有日志记录?

现在很多已经在做了,内存可以根据需要随意加减,一个64TB的数据库服务器,都是很常见。

前一个项目,就是提前估算好数据量、RowLength、等等。配了8TB的数据库。

要求的功能就是千万及的数据,1秒内出现

使用道具 举报

回复
论坛徽章:
737
季节之章:春
日期:2015-07-31 17:16:29ITPUB季度 技术新星
日期:2014-07-17 14:37:00季节之章:秋
日期:2015-07-31 17:16:14季节之章:夏
日期:2015-07-31 17:16:29股神
日期:2014-10-15 09:23:31衰神
日期:2014-10-20 22:47:12季节之章:冬
日期:2015-07-31 17:16:14红钻
日期:2014-12-16 17:51:41洛杉矶湖人
日期:2016-09-23 08:18:15布鲁克林篮网
日期:2016-09-23 08:17:18
发表于 2014-5-16 18:57 | 显示全部楼层
zhichi。。。

使用道具 举报

回复
论坛徽章:
403
紫蛋头
日期:2012-05-21 10:19:41迷宫蛋
日期:2012-06-06 16:02:49奥运会纪念徽章:足球
日期:2012-06-29 15:30:06奥运会纪念徽章:排球
日期:2012-07-10 21:24:24鲜花蛋
日期:2012-07-16 15:24:59奥运会纪念徽章:拳击
日期:2012-08-07 10:54:50奥运会纪念徽章:羽毛球
日期:2012-08-21 15:55:33奥运会纪念徽章:蹦床
日期:2012-08-21 21:09:51奥运会纪念徽章:篮球
日期:2012-08-24 10:29:11奥运会纪念徽章:体操
日期:2012-09-07 16:40:00
发表于 2014-5-16 22:39 | 显示全部楼层
从存储角度来看,内存数据库又面临着哪些挑战?
内存大了也不好管理

使用道具 举报

回复
认证徽章
论坛徽章:
82
2013系统架构师大会纪念章
日期:2015-07-31 17:48:20探花
日期:2015-08-17 14:58:32榜眼
日期:2015-08-17 14:59:28进士
日期:2015-08-17 15:00:55举人
日期:2015-08-17 15:00:55秀才
日期:2015-08-19 09:36:37秀才
日期:2015-08-20 08:50:41嫦娥
日期:2015-08-21 09:11:54秀才
日期:2015-08-24 09:48:07进士
日期:2015-08-17 14:58:18
发表于 2014-5-17 09:11 | 显示全部楼层
备份与灾难恢复是无法绕过的问题,
才想:如果IO能够提高到足够的程度,是否还有这么多的场景需要内存数据库呢?

使用道具 举报

回复
论坛徽章:
1
 2014年世界杯参赛球队: 德国
日期:2014-06-13 11:30:35
发表于 2014-5-17 11:55 | 显示全部楼层
来了解一哈

使用道具 举报

回复
论坛徽章:
0
发表于 2014-5-17 14:42 | 显示全部楼层
内存数据库,个人感觉关键点还是在数据的持久性无法保障,常规数据库的瓶颈还是出在IO上,现在很火热的LSI技术就很值得关注。

使用道具 举报

回复
论坛徽章:
15
ITPUB9周年纪念徽章
日期:2010-10-08 09:32:27马上有房
日期:2014-04-04 19:42:43马上有对象
日期:2014-02-18 16:44:082014年新春福章
日期:2014-02-18 16:44:08本田
日期:2014-01-16 21:44:06大众
日期:2013-12-14 09:29:562013年新春福章
日期:2013-02-25 14:51:24ITPUB 11周年纪念徽章
日期:2012-10-09 18:14:48奥运会纪念徽章:射箭
日期:2012-07-26 13:53:55奥运会纪念徽章:跆拳道
日期:2012-07-13 13:54:19
发表于 2014-5-17 20:19 | 显示全部楼层
支持5楼

使用道具 举报

回复
论坛徽章:
2
2011新春纪念徽章
日期:2011-02-18 11:42:49优秀写手
日期:2014-05-13 06:00:14
发表于 2014-5-17 22:56 | 显示全部楼层
数据量问题?内存不足换页问题?

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 
京ICP备09055130号-4  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表