楼主: xxxxxxm_xm

由于数据库存在的盘阵访问速度慢,造成数据库在处理较大作业时,常常实例中止

[复制链接]
论坛徽章:
6
2010新春纪念徽章
日期:2010-03-01 11:06:222011新春纪念徽章
日期:2011-02-18 11:42:47ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
11#
发表于 2008-4-15 10:48 | 只看该作者
原帖由 xxxxxxm_xm 于 2008-4-15 08:30 发表
to gy1982329 :
请教一下:如果我的盘阵有5张盘,应如何划分RAID组,在各个RAID组中分配哪些文件?


1。首先对于选择raid组类型,我认为就要看你的需要,每种raid类型都有自己的优点和缺点,下面是一些关于raid的资料你可以看看。

RAID 常识
  
RAID,为Redundant Arrays of Independent Disks的简称,中文为廉价冗余磁盘阵列。在1987年由美国柏克莱大学提出RAID(Redundant Arrayof Inexpensive Disks)理论,作为高性能的存储系统,巳经得到了越来越广泛的应用。RAID的级别从RAID概念的提出到现在,巳经发展了多个级别,有明确标准级别分别是0、1、2、3、4、5等。但是最常用的是0、1、3、5四个级别。其他还有6、7、10、30、50等。RAID为使用者降低了成本、增加了执行效率,并提供了系统运行的稳定性。

标准的RAID写操作,包括如:RAID4或RAID5中所必需的校验计算,需包括以下几个步骤:

(1)以校验盘中读取数据

(2)以目标数据盘中读取数据

(3)以旧校验数据,新数据及已存在数据,生成新的校验数据

(4)将新校验数据写入校验盘

(5)将新数据写入目标数据盘

当主机将一个待写入阵列RAID组中的数据发送到阵列时,阵列控制器将该数据保存在缓存中并立即报告主机该数据的写入工作已完成。该数据写入到阵列硬盘的工作由阵列控制器完成,该数据可继续存放在Cache中直到Cache满,而且要为新数据腾出空间而必须刷新时或阵列需停机时,控制器会及时将该数据从Cache写入阵列硬盘中。

这种缓存回写技术使得主机不必等待RAID校验计算过程的完成,即可处理下一个读写任务,这样,主机的读写效率大为增加。当主机命令将一个数据写入硬盘,则阵列控制器将该数据写入缓存最上面的位置,只有新数据才会被控制器按Write-Back Cache的方式最后写入硬盘。

RAID级别

NRAID:

硬盘连续使用。NRAID 意思是不使用RAID功能。它使用硬盘的总容量组成逻辑碟(不使用条块读写)。换句话说,它生成的逻辑碟容量就是物理碟容量的总和。此外,NRAID 不提供资料的备余。

JBOD:

JBOD 的含意是控制器将机器上每颗硬盘都当作单独的硬盘处理,因此每颗硬盘都被当作单颗独立的逻辑碟使用。此外,JBOD并不提供资料备余的功能。

使用道具 举报

回复
论坛徽章:
6
2010新春纪念徽章
日期:2010-03-01 11:06:222011新春纪念徽章
日期:2011-02-18 11:42:47ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
12#
发表于 2008-4-15 10:48 | 只看该作者
RAID0:RAID 0 - Disk Stripping without parity (常用)

又称数据分块,即把数据分成若干相等大小的小块,并把它们写到阵列上不同的硬盘上,这种技术又称“Stripping”(即将数据条带化),这种把数据分布在多个盘上,在读写时是以并行的方式对各硬盘同时进行操作。从理论上讲,其容量和数据传输率是单个硬盘的N倍。N为构成RAID0的硬盘总数。当然,若阵列控制器有多个硬盘通道时,对多个通道上的硬盘进行RAID0操作,I/O性能会更高。因此常用于图象,视频等领域,RAID0 I/O传输率较高,但平均故障时间MTTF只有单盘的N分之一,因此RAID0可靠性最差。


RAID1:RAID 1 - Disk Mirroring(较常用)

又称镜像。即每个工作盘都有一个镜像盘,每次写数据时必须同时写入镜像盘,读数据时只从工作盘读出,一旦工作盘发生故障立即转入镜像盘,从镜像盘中读出数据。当更换故障盘后,数据可以重构,恢复工作盘正确数据,这种阵列可靠性很高,但其有效容量减小到总容量一半以下,因此RAID1常用于对容错要求极严的应用场合,如财政、金融等领域。


RAID (0+1):

结合了RAID 0 和 RAID 1 — 条块化读写的同时使用镜像操作。 RAID (0+1) 允许多个硬盘损坏,因为它完全使用硬盘来实现资料备余。如果有超过两个硬盘做RAID 1,系统会自动实现RAID (0+1)。

RAID2:

又称位交叉,它采用汉明码作盘错校验,采用按位交叉存取,运用于大数据的读写,但冗余信息开销太大(校验盘为多个),已被淘汰。

RAID3:RAID 3 - Parallel Disk Array

为单盘容错并行传输。即采用Stripping技术将数据分块,对这些块进行异或校验,校验数据写到最后一个硬盘上。它的特点是有一个盘为校验盘,数据以位或字节的方式存于各盘(分散记录在组内相同扇区的各个硬盘上)。当一个硬盘发生故障,除故障盘外,写操作将继续对数据盘和校验盘进行操作。而读操作是通过对剩余数据盘和校验盘的异或计算重构故障盘上应有的数据来进行的。RAID3的优点是并行I/O传输和单盘容错,具有很高可靠性。缺点:每次读写要牵动整个组,每次只能完成一次I/O。


RAID4:

与RAID3相似,区别是:RAID3是按位或字节交叉存取,而RAID4是按块(扇区)存取,可以单独地对某个盘进行操作,无须像RAID3那样,哪怕每一次小I/O操作也要涉及全组,只需涉及组中两块硬盘(一块数据盘,一块校验盘)即可,从而提高了小量数据I/O速度。缺点:对于随机分散的小数据量I/O,固定的校验盘又成为I/O瓶颈,例如:事务处理。作两个很小的写操作,一个写在drive2的stripe1 上,一个写在drive3的stripe2上,它们都要往校验盘上写,所以发生争用校验盘的问题。

RAID5:RAID 5 - Striping with floating parity drive(最常用)

是一种旋转奇偶校验独立存取的阵列方式,它与RAID3,RAID4不同的是没有固定的校验盘,而是按某种规则把奇偶校验信息均匀地分布在阵列所属的硬盘上,所以在每块硬盘上,既有数据信息也有校验信息。这一改变解决了争用校验盘的问题,使得在同一组内并发进行多个写操作。所以RAID5即适用于大数据量的操作,也适用于各种事务处理,它是一种快速、大容量和容错分布合理的磁盘阵列。当有N块阵列盘时,用户空间为N-1块盘容量。

RAID3、RAID5中,在一块硬盘发生故障后,RAID组从ONLINE变为DEGRADED方式,但I/O读写不受影响,直到故障盘恢复。但如果DEGRADED状态下,又有第二块盘故障,整个RAID组的数据将丢失。


 

RAID技术的应用

DAS --direct access storage device直接访问存储设备

DAS是磁盘存储设备的术语,以前被用在大、中型机上。使用在PC机上还包括硬盘设备DAS的最新形式是RAID。“直接访问”指访问所有数据的时间是相同的。

NAS --Network Attached Storage 网络附加存储设备

一种特殊目的的服务器,它具有嵌入式的软件系统,可以通过网络对个种的系统平台提供文件共享服务

SAN --Storage Area Networks 存储区域网

一种高速的专用网络,用于建立服务器、磁盘阵列和磁带库之间的一种直接联接。它如同扩展的存储器总线,将专用的集线器、交换器以及网关或桥路互相连接在一起。 SAN 常使用光纤通道。一个 SAN 可以是本地的或者是远程的,也可以是共享的或者是专用的。SAN 打破了存储器与服务器之间的束缚,允许你独立地选择最佳的存储器或者是最佳的服务器,从而提高可扩性和灵活性

RAID0+1和RAID1+0区别
一   RAID0+1

RAID0+1 不可以两边RAID0中各坏一块硬盘,但可以在单边同时坏掉单边的两块硬盘。
原因:假如DISK1  A1,DISK A2,DISK3  B1, DISK  B2
          A(A1,A2) B (B1,B2)
      1.A中和B中的任何一块硬盘同进坏了,则都破坏了RAID0技术。所有整
         个硬盘数据被破坏。因此不允A和B中的任何一个块硬盘同时损坏.
         2.当中A中所有硬盘坏了,因为B中的RAID0的格式保持完整,因做的是
         RAID0+1,I不影响数据的完整性.所以允许A中所有磁盘损坏.同理B也是
         这样.

二   RAID1+0

RAID1+0可以两边RAID1中各坏一块硬盘,但不能同时坏掉单边的两个硬盘。
原因:1.A中的任何一个硬盘都可以坏,因为做的是RAID1格式,同时B中的任何一
        个硬盘的数据也可坏,因为也做的是RAID1的格式.所以允许A和B中的任
        何一块硬盘同时损坏,即不影响数据的完整性.
         2.A中(B中)的两块同时硬盘损坏,从图中可以看到,数据无法保持完整性.所
        以不允许单边的两块硬盘同时损坏.

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
13#
发表于 2008-4-15 10:57 | 只看该作者
原帖由 xxxxxxm_xm 于 2008-4-14 12:11 发表
win下oracle9i,由于数据库存在的盘阵访问速度慢,造成数据库在处理较大作业时,常常实例中止,显示“无法读取文件”、“O/S-Error: (OS 170) 请求的资源在使用中”等信息。
请问这种情况,如暂不更换硬件,有没其他方法处理。
如果进行大作业时,盘阵访问速度太慢,造成控制文件等暂时无法读写,能不能通过增加读写重试的次数来解决?

具体错误信息是什么?
再慢也不至于导致os error吧

使用道具 举报

回复
论坛徽章:
6
2010新春纪念徽章
日期:2010-03-01 11:06:222011新春纪念徽章
日期:2011-02-18 11:42:47ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
14#
发表于 2008-4-15 10:58 | 只看该作者
2。至于如何分配oracle的物理文件到各盘思路是这样的:
首先确定你的多重复用的文件种类,并把他们的多重覆用的数量和平时的读写操作频率进行分析。

例如:redo log  和 arch redo log 他们是随着事物的操作不断被哦访问的,所以对于他的多重覆用就要这样做,假如你多重覆用了4个redo log那么在选择每个成员的存储地方的时候,就要把他们分配到独立的disk上,这点好理解吧。如果你用的是rman用控制文件记录改变那么你的控文件也存在这样的问题,还有访问量最大的表等等。你需要自己做个统筹,因为业务不同,你的oracle内环境也有所不同。总之思想就是让一次对数据库的访问,是每一个raid都动起来,协同工作。这样才能解决i/o瓶颈问题。
     具体这里面东西细节很多,需要经验。你可以自己多试下。

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
15#
发表于 2008-4-15 11:02 | 只看该作者
原帖由 gy1982329 于 2008-4-15 10:58 发表
2。至于如何分配oracle的物理文件到各盘思路是这样的:
首先确定你的多重复用的文件种类,并把他们的多重覆用的数量和平时的读写操作频率进行分析。

例如:redo log  和 arch redo log 他们是随着事物的操作不断被哦访问的,所以对于他的多重覆用就要这样做,假如你多重覆用了4个redo log那么在选择每个成员的存储地方的时候,就要把他们分配到独立的disk上,这点好理解吧。如果你用的是rman用控制文件记录改变那么你的控文件也存在这样的问题,还有访问量最大的表等等。你需要自己做个统筹,因为业务不同,你的oracle内环境也有所不同。总之思想就是让一次对数据库的访问,是每一个raid都动起来,协同工作。这样才能解决i/o瓶颈问题。
     具体这里面东西细节很多,需要经验。你可以自己多试下。

多重复用是?

使用道具 举报

回复
论坛徽章:
6
2010新春纪念徽章
日期:2010-03-01 11:06:222011新春纪念徽章
日期:2011-02-18 11:42:47ITPUB十周年纪念徽章
日期:2011-11-01 16:24:042014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
16#
发表于 2008-4-15 11:04 | 只看该作者
就是日志组啊!  还有控制文件组!  等等

[ 本帖最后由 gy1982329 于 2008-4-15 11:06 编辑 ]

使用道具 举报

回复
论坛徽章:
194
红宝石
日期:2014-05-09 08:24:37萤石
日期:2014-01-03 10:25:39奥运会纪念徽章:羽毛球
日期:2008-07-01 10:46:06奥运会纪念徽章:马术
日期:2008-07-07 17:43:24奥运会纪念徽章:射箭
日期:2008-07-25 18:07:39奥运会纪念徽章:皮划艇激流回旋
日期:2008-07-30 10:02:57奥运会纪念徽章:花样游泳
日期:2008-09-26 13:02:43奥运会纪念徽章:排球
日期:2008-12-03 11:23:272010新春纪念徽章
日期:2010-01-04 08:33:082010年世界杯参赛球队:澳大利亚
日期:2010-02-26 11:08:44
17#
发表于 2008-4-15 11:18 | 只看该作者
我遇到的问题柜子的cache没有打开。
我的建议优化sql。
不熟悉ibm的东西,不知道IO的性能如何。

使用道具 举报

回复
招聘 : Java研发
论坛徽章:
71
马上加薪
日期:2014-02-19 11:55:14蜘蛛蛋
日期:2012-12-26 18:16:01茶鸡蛋
日期:2012-11-16 08:12:48ITPUB 11周年纪念徽章
日期:2012-10-09 18:05:07奥运会纪念徽章:网球
日期:2012-08-23 14:58:08奥运会纪念徽章:沙滩排球
日期:2012-07-19 17:28:14版主2段
日期:2012-07-07 02:21:02咸鸭蛋
日期:2012-03-23 18:17:482012新春纪念徽章
日期:2012-02-13 15:13:512012新春纪念徽章
日期:2012-02-13 15:13:51
18#
发表于 2008-4-15 11:24 | 只看该作者
原帖由 lfree 于 2008-4-15 11:18 发表
我遇到的问题柜子的cache没有打开。
我的建议优化sql。
不熟悉ibm的东西,不知道IO的性能如何。

db层会有楼主说的error信息?

使用道具 举报

回复
论坛徽章:
194
红宝石
日期:2014-05-09 08:24:37萤石
日期:2014-01-03 10:25:39奥运会纪念徽章:羽毛球
日期:2008-07-01 10:46:06奥运会纪念徽章:马术
日期:2008-07-07 17:43:24奥运会纪念徽章:射箭
日期:2008-07-25 18:07:39奥运会纪念徽章:皮划艇激流回旋
日期:2008-07-30 10:02:57奥运会纪念徽章:花样游泳
日期:2008-09-26 13:02:43奥运会纪念徽章:排球
日期:2008-12-03 11:23:272010新春纪念徽章
日期:2010-01-04 08:33:082010年世界杯参赛球队:澳大利亚
日期:2010-02-26 11:08:44
19#
发表于 2008-4-15 11:47 | 只看该作者
我google
O/S-Error: (OS 170)

不知道是否与异步读写有关,我先看看先。
http://wwwwwfco.itpub.net/post/5073/38717

使用道具 举报

回复
论坛徽章:
194
红宝石
日期:2014-05-09 08:24:37萤石
日期:2014-01-03 10:25:39奥运会纪念徽章:羽毛球
日期:2008-07-01 10:46:06奥运会纪念徽章:马术
日期:2008-07-07 17:43:24奥运会纪念徽章:射箭
日期:2008-07-25 18:07:39奥运会纪念徽章:皮划艇激流回旋
日期:2008-07-30 10:02:57奥运会纪念徽章:花样游泳
日期:2008-09-26 13:02:43奥运会纪念徽章:排球
日期:2008-12-03 11:23:272010新春纪念徽章
日期:2010-01-04 08:33:082010年世界杯参赛球队:澳大利亚
日期:2010-02-26 11:08:44
20#
发表于 2008-4-15 11:51 | 只看该作者

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表