【话题讨论】深入探讨存储如何划分、使用

vage

讨论一个题目，存储划分。
      虽然SSD来势凶凶，但传统硬盘，仍以其物美价廉、性能稳定等著多优点，继续占据主流位置。而存储的划分，依然是DBA面临的一大问题，今天想请大家讨论一下存储划分、使用方面问题。存储如何划分、使用，不可能有放之四海而皆准的方式，不同场景、不同应用，对应的RAID方式、条带大小等等都有不同，希望各位过来人畅所欲言，为新人、小白们提供一个参考。

讨论主题：
假如有台存储共有50块500G的硬盘，在OLTP和OLAP下，存储将如何划分，具体我们可以围绕以下三点讨论：
1、RAID组如何划分，为什么。
2、使用LV还是ASM，或是其他方案，为什么。
3、LV或ASM层AU、条带、Chunk等如何设置，为什么。
4、其他的经验或秘诀，

讨论时间：2013.5.17--2013.5.31

活动奖励：讨论结束后将会抽取3位回答认真的会员赠送蓝色 U形枕 一个


guoyJoe   mike79    shao

arron刘

欢迎大家回复

songmingliang

占位

vage

我先来抛砖引玉：
1、RAID组如何划分，为什么。
OLTP下：当然是RAID10了，如果是50块硬盘的话，分成3个16块盘的RAID10，剩下两块盘做热备盘。
OLAP下，RAID5、RAID10都可以，如果追求空间使用率更高，哪就RAID5。RAID5的写惩罚可能会导致写性能不如RAID10。虽说OLAP下写不如OLTP多，但OLAP通常要有大量数据加载。而且在计算报表中间有可能也会有大量写，我管理过的最忙的一套数据仓库，每天归档最高接近6T。因此写性能如果不高，也会影响OLAP整体的效率。如果不差钱，我觉得OLAP搞成RAID10更好。

2、使用LV还是ASM，或是其他方案，为什么。
如果我来选择，我会选择ASM。因为我对ASM比较了解，而对LVM机制、原理不了解。但LVM已经流行、广范使用十几年，稳定性深入人心，很多大企业使用LVM的还是很多。
我们的核心库，都是使用LVM，还没有升级到ASM。
使用方式，比如有RAID1、RAID2、RAID3共三个RAID组，RAID1有LUN1、LUN2，RAID2有LUN3、LUN4，RAID3有LUN5、LUN6。将LUN1、LUN3、LUN5加到一个VG中，再在这个VG中创建多个跨三个LUN的LV，每个LV不大，10G、20G左右，然后将每个LV直接做为祼设备使用。
这样做的目的，就是保证每个数据文件的空间，被分布在存储所有RAID组、所有磁盘中。

如果用ASM的话，最终目的和LVM一样，也是要让每个数据文件的空间，被分布在存储所有RAID组、所有磁盘中。11G中，可以将LUN1至LUN6全部建到一个大DG中，当然分成多个也可以。比如有一个10G的数据文件，ASM会以AU为单位，将这10G空间，分散到LUN1到LUN6中。如果是10G的ASM，就要注意了，建立DG时磁盘顺序要这样：LUN1,LUN3,LUN5,LUN2,LUN4,LUN6，因为10G是按顺序依次使用的。如果按LUN1、LUN2这样的顺序，数据的分散度不如1、3、5、2、4、6这样更均匀。

ASM其实也很稳定的，主要是要尽量减少Rebalance操作的次数。我所遇到过的ASM DG损坏故障，基本都是在Rebalance时发生的。当然不是每次Rebalance都会有问题，我们曾经向一套OLAP系统大小50T的DG中增、减LUN，Rebalance了快一周，成功完成，没有问题（版本是10G）。只是要了解，Rebalance是有风险的，能不做就不做。

3、LV或ASM层AU、条带、Chunk等如何设置，为什么。
我主要说一下ASM层，OLAP下我建议大AU，条带不用管，用默认值就好。可以考虑4M、8M的AU。8M AU其实并不算特别大的，要知道在区大小为AutoAllocate的表空间下，当段大小大于64M时，一个区就是8M。其实8M的区大小是很常见的，特别是在SYSTEM表空间中，8M大小的区，比比皆是。

OLTP下，我在这届的数据库大会上有总结，大并发的插入，可以考虑改变条带大小，使用小条带。除这种情况外，使用默认的条带设置即可，不会对性能有影响。AU大小，1M，或4M、8M都无所谓，对性能没有太大影响，也可以考虑使用稍大的AU，因此大AU并不会降低OLTP的性能，对于OLTP中偶而出现的大扫描操作，大AU可以提升性能。

vage

是不是太难了点， ，没有哪个优化大并发插入下的Buffer Busy Waits！热啊

leeecho

我遇到的情况，大部分的场景都是一个raid组，因为磁盘都很少。
11g都是使用asm，另外如果扩容，直接扩展一个asm dg不往dg里面增加磁盘，防止Rebalance。

guoyJoe

占位，稍后回答！
一、先上几个图
：




二、文字描述：
回头再写。。。。

mike79

这个帖子不够热，主要还是问题不够具体，估计这儿做系统管理员的没有数据库管理员多。这种存储划分通常是系统管理员的事。


RAID组怎么划分
首先确认业务数据量有多大。50块500G的盘，裸容量也就25T不到，并不算很大。
然后考虑怎么划RAID，包括RAID组中有几块盘，RAID级别，Spare磁盘等等。有些存储，例如IBM的DS8000，RAID组中有几块盘是固定的，就是8块。EMC DMX也是类似。这可以作为一个参考，一个RAID组中的磁盘数量不要太多，不超过10块。我通常是RAID10就8块，RAID5就8~10块。
RAID级别其实没什么的，数据量够就RAID10，数据量不够就RAID5。至于OLTP还是OLAP考虑得倒是不多。其实通常也是这样，OLTP数据量小，OLAP数据量大。Spare磁盘看是什么存储。仍然以DS8000为例，它的Spare磁盘是系统自己保留的，你根本就没法改。中端存储，我通常是1~2个磁盘笼子保留1个Spare磁盘

LVM还是ASM
以系统是AIX为例
如果是RAC，那就跑ASM没得说。如果是单机，我考虑用LVM+JFS2(CIO)方式。用裸设备的好处是性能，但是管理麻烦。我们遇到过这种情况，裸设备开太大了，结果利用率低又没法回收，如果用文件系统就没这个问题了。用裸设备的话，加个LV建表空间还要系统管理员来做。用文件系统的话，只要文件系统足够大，数据库管理员自己就能建表空间了。用JFS2的一个顾虑是一旦文件系统挂了，所有文件就都无法访问了。

至于条带、chunk什么的，这些都太细节了。对性能有影响，但是不会很大，尤其是对OLTP系统。
AIX中每个VG都有一个LTG Size，就是说VG中每块磁盘每次IO最大能吞吐的数据量。现在的磁盘通常是1M，以前是256K。LV做条带化，建议是LTG Size的整数倍，比如4M。但是LV做条带化的麻烦是今后LV要扩容。比如LV跨了4块盘，那么扩容时4块盘上都要有空间，加盘也要4块盘。我在AIX5.3上遇到个bug，LV做条带化，结果LP不是均分到所有PV上。这个到现在还没解决。所以如果系统层面不做条带化能满足性能的话，就不要做条带化了。计算做条带化，也不要跨太多的PV，8个就足够了。

syzxlyx

我记得好像划分raid组时组内磁盘不能太多，否则性能达不到最优。而且组内容量大了，整个保护级别也就下降了。当然，容量是个要考虑的问题。

边-城

1、我们大概是十几块盘一个raid组，做RAID10，中端存储，一套存储公用两个hot spare。对可用性要求比较高，每套数据库同时写两个存储。 底层采用ASM normal冗余。