楼主: anlinew

[精华] RAC更适合跑OLTP还是OLAP?

[复制链接]
论坛徽章:
151
2014年新春福章
日期:2014-04-17 11:38:13奥运会纪念徽章:皮划艇静水
日期:2012-07-31 15:42:58奥运会纪念徽章:田径
日期:2012-07-10 16:21:10奥运会纪念徽章:跆拳道
日期:2012-06-20 22:07:29奥运会纪念徽章:皮划艇静水
日期:2012-06-16 02:55:21奥运会纪念徽章:曲棍球
日期:2012-06-13 10:09:19蛋疼蛋
日期:2012-05-19 23:20:41迷宫蛋
日期:2012-05-16 17:35:25版主2段
日期:2012-05-15 15:24:11双黄蛋
日期:2012-03-19 19:34:04
21#
发表于 2008-11-20 10:17 | 只看该作者
目前世界上成功的RAC案例几乎都是基于OLAP方案的,AMAZON,YAHOO等等,这也说明RAC在OLAP系统上确实有其独到之处,这个我上面我说了很多。

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
22#
 楼主| 发表于 2008-11-20 10:18 | 只看该作者
原帖由 blue_prince 于 2008-11-20 10:11 发表
OLAP里面的确IO是主要的瓶颈,但是单机的话你要扩展IO能力,除了主机的CPU、内存配置要高以外,你可能要装很多很多的HBA卡来提升IO能力,因为HBA卡也有瓶颈。像HP和ORACLE联合创造单机的DW记录,后端接了1000台HP MSA 1000存储,为了处理这么多存储的IO能力,那么主机上需要配置非常多的HBA卡才能达到效果。当然为了测试创造纪录这个你想怎么整都可以怎么整,但是实际使用你总得考虑成本吧,这些可是用钱堆起来的。
RAC的话我可以弄一大批PC SERVER堆积起来,现在PC SERVER的处理能力非常强劲,已经不逊色于P550,P570之类的小型机了,但是成本都是低得多。而且PC SERVER的配件也比小型机便宜得多,我可以在PC SERVER上配置足够的CPU、内存、HBA卡来提升运算能力和IO处理能力,这样无论从水平扩展和垂直扩展的角度来说都是比单机更适合。

ok
就是说确认了IO是主要瓶颈
假设HBA卡是IO瓶颈的瓶颈了怎么办:
1、主机增加HBA
2、RAC增加node

选哪个?

使用道具 举报

回复
论坛徽章:
86
ITPUB元老
日期:2005-02-28 12:57:002012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20咸鸭蛋
日期:2012-05-08 10:27:19版主8段
日期:2012-05-15 15:24:112013年新春福章
日期:2013-02-25 14:51:24
23#
发表于 2008-11-20 10:23 | 只看该作者
原帖由 anlinew 于 2008-11-20 10:08 发表

以你的经验来看对12个node的RAC所能达到的计算性能与用其投入的一半或1/3所能买到的高性能node的计算性能相比情况会如何?


不管你使用哪种主机,存储大家可以都是一样的,所以只探讨 主机问题:

一台顶级pc server价格在12万左右,但是相同io和处理能力的小型机可能需要接近100万。

使用道具 举报

回复
论坛徽章:
86
ITPUB元老
日期:2005-02-28 12:57:002012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20咸鸭蛋
日期:2012-05-08 10:27:19版主8段
日期:2012-05-15 15:24:112013年新春福章
日期:2013-02-25 14:51:24
24#
发表于 2008-11-20 10:27 | 只看该作者
原帖由 anlinew 于 2008-11-20 10:18 发表

ok
就是说确认了IO是主要瓶颈
假设HBA卡是IO瓶颈的瓶颈了怎么办:
1、主机增加HBA
2、RAC增加node

选哪个?


当一个节点的io足够大,并行sql一跑里面稍微有点计算(比如一些函数计算)的时候 cpu可能就满了。
由于一台主机的 插槽是受限的,要满足网卡和hba卡的共同需求,以及考虑io能力问题,所以对于pc server来说hba卡一般在4块就可以了。

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
25#
 楼主| 发表于 2008-11-20 10:28 | 只看该作者
原帖由 biti_rainy 于 2008-11-20 10:23 发表


不管你使用哪种主机,存储大家可以都是一样的,所以只探讨 主机问题:

一台顶级pc server价格在12万左右,但是相同io和处理能力的小型机可能需要接近100万。

12万的PC server 所能处理的IO 指标能到多少?

使用道具 举报

回复
论坛徽章:
86
ITPUB元老
日期:2005-02-28 12:57:002012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20咸鸭蛋
日期:2012-05-08 10:27:19版主8段
日期:2012-05-15 15:24:112013年新春福章
日期:2013-02-25 14:51:24
26#
发表于 2008-11-20 10:31 | 只看该作者
原帖由 anlinew 于 2008-11-20 10:28 发表

12万的PC server 所能处理的IO 指标能到多少?


对于 4hba(4Gb)卡的io能力,我们的测试中是   1.4GB/S
实际工作场景下,我们的期望是每台能分担到 600MB/S

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
27#
 楼主| 发表于 2008-11-20 10:32 | 只看该作者
原帖由 biti_rainy 于 2008-11-20 10:27 发表


当一个节点的io足够大,并行sql一跑里面稍微有点计算(比如一些函数计算)的时候 cpu可能就满了。
由于一台主机的 插槽是受限的,要满足网卡和hba卡的共同需求,以及考虑io能力问题,所以对于pc server来说hba卡一般在4块就可以了。

我上面并行测试的iostat信息里
并行为3的时候可以看到user%要更高一些
实际上是因为有两个笛卡尔级的计算,这样的计算量不算小吧,而cpu仍然是很空闲

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
28#
 楼主| 发表于 2008-11-20 10:38 | 只看该作者
原帖由 biti_rainy 于 2008-11-20 10:31 发表


对于 4hba(4Gb)卡的io能力,我们的测试中是   1.4GB/S
实际工作场景下,我们的期望是每台能分担到 600MB/S

假设4node,你们的存储能到2400MB/s?

使用道具 举报

回复
论坛徽章:
91
乌索普
日期:2017-09-18 17:30:37鲜花蛋
日期:2012-12-21 19:41:32ITPUB 11周年纪念徽章
日期:2012-10-09 18:06:20奥运会纪念徽章:网球
日期:2012-07-05 15:32:53奥运会纪念徽章:垒球
日期:2012-06-30 09:56:29紫蛋头
日期:2012-03-24 14:38:25咸鸭蛋
日期:2012-03-22 16:53:432012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:092012新春纪念徽章
日期:2012-02-13 15:12:09
29#
发表于 2008-11-20 10:38 | 只看该作者
希望有更多的大牛来讨论这个帖子,使偶们受到多方经验的教诲。

使用道具 举报

回复
论坛徽章:
86
ITPUB元老
日期:2005-02-28 12:57:002012新春纪念徽章
日期:2012-01-04 11:49:542012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:202012新春纪念徽章
日期:2012-02-13 15:13:20咸鸭蛋
日期:2012-05-08 10:27:19版主8段
日期:2012-05-15 15:24:112013年新春福章
日期:2013-02-25 14:51:24
30#
发表于 2008-11-20 10:42 | 只看该作者
原帖由 anlinew 于 2008-11-20 10:32 发表

我上面并行测试的iostat信息里
并行为3的时候可以看到user%要更高一些
实际上是因为有两个笛卡尔级的计算,这样的计算量不算小吧,而cpu仍然是很空闲


4c 4core 的 server,并行我们可以尽量开到足够高,比如8,根据具体情况来决定。如果是测试,100多MB的io和1GB以上的io差异是很大的。我们p590  16cpu,一个并发64的sql,有like存在的时候可以将cpu跑到接近100%。


同时一台机器也可能不会只跑一个任务,可能多个任务在跑的,有一些是pl/sql的计算

当然,真实场景下,总是io更容易成为瓶颈,但这不足以支撑   小型机性能的不断提升可以解决问题  和  小型机性能的不断提升价格更便宜

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表