如何选择一个高性能的磁盘阵列

zqp561022

如何选择一个高性能的磁盘阵列

    RAID是廉价冗余磁盘阵列（Redundant Array of Inexpensive Disk）的简称。用RAID的好处简单的说就是：安全性高，速度快，数据容量超大。

    目前人们逐渐认识了磁盘阵列技术。磁盘阵列技术可以详细地划分为若干个级别0-5 RAID技术，并且又发展了所谓的 RAID Level 10, 30, 50的新的级别，某些级别的RAID技术可以把速度提高到单个硬盘驱动器的400%。磁盘阵列把多个硬盘驱动器连接在一起协同工作，大大提高了速度，同时把硬盘系统的可靠性提高到接近无错的境界。这些“容错”系统速度极快，同时可靠性极高。

　　很多人很慎重地选用容错的磁盘阵列，但是很不幸，数据还是毁了，因为，磁盘驱动器同时坏了两个〈以上〉。到底是谁害了这些磁盘驱动器？很可能就是用来保护他们的磁盘阵列柜
　
　　一个 SCSI 硬盘的平均故障间隔时间〈MTBF, Mean Time Between Failure〉，都在数万小时以上，在正常使用情况下，要坏掉一个硬盘已经很不容易了；在同一系统内，两个磁盘驱动器同时坏掉的机率，更是微乎其微。但是，如果把磁盘驱动器放在布满杀手的环境内，就另当别论了。

　　构建一个磁盘阵列储存系统，可靠度远比速度来的重要。因此，不但要选一个高性能的阵列控制器，更要慎重地挑一个高可靠度的磁盘阵列柜。因为，宝贵的数据不是存在数组控制器里，而是存放在磁盘驱动器里；而磁盘驱动器又是放在磁盘阵列柜内。所以，要仔细挑选一个可靠的磁盘阵列柜，来当磁盘驱动器的神盾，千万不要挑一个磁盘驱动器杀手！

磁盘阵列柜的设计挑战

由于磁盘驱动器的技术以及传输接口的技术不断的发展，磁盘阵列系统的设计随时都面临新的挑战，以便符合与日俱增的要求。一个优质的磁盘阵列柜，必须在设计阶段，就要考虑到其规格必须符合科学合理的架构、稳定高效的性能、良好的散热系统等需求，提供：
l        先进的系统设计架构
l        高性能的磁盘阵列控制器
l        稳定、高容量、容错的电源供应系统
l        可靠、高性能、容错的冷却系统 　
l        能够克服震动的机械结构
l        支持SCA2 热抽换接头之被动背板 　
l        一体成型、无主动组件之磁盘载盒 　
l        数组柜环境监控与警示功能 　
l        直接热抽换且方便的维护操作功能 　
l        最佳的空间利用
l        智能介质扫描技术

　　以下我们就针对这些规格和功能，提供一些建议。

1、先进的系统设计架构
       目前市面上所见到的磁盘阵列内部系统连接架构主要有两种：
A、        无线缆连接架构（Cable-less）
       所谓Cable-less结构的磁盘阵列，是指磁盘阵列内部全部采用模块化设计，所有组件——RAID控制器、I/O信道板、硬盘托架、电源模块、冷却风扇、液晶面板等都是通过背板和PCBA模块以“金手指”方式插结，模块与背板之间无任何连接线缆（包括电源线和SCSI线缆）。这种先进的连接结构的阵列具有如下优点：
l        系统性能更稳定，传输速率更快速；
l        故障发生率降到最低；
l        避免了数据信号因SCSI线缆或接头材质不良而引起的信号串扰，从而带来的系统不稳定；
l        解决了因线缆的连接问题而对系统造成的不稳定；
l        调试、安装、维护更加简单、方便。
        真正采用这种先进架构的磁盘阵列品牌有同有NetStor 系列和普桦豪威Simbolo系列，其他品牌皆为有线缆连接架构
B、        有线缆连接架构（Cable）
所谓有线缆（Cable）结构的磁盘阵列，现在也大多采用模块化的设计结构，但是模块与背板之间不是以“金手指”方式连接，而是通过SCSI线缆连接，时间长了，会出现接触不良或系统不稳定的现象。
常见品牌：台湾建联、普桦豪威的其他系列、3S、Stardom、亚美联的Estor、浪潮、联想等

2、高性能的磁盘阵列控制器
磁盘阵列的高性能很大程度上，依赖于磁盘阵列控制器的配置，关键主要有以下几点：
l        CPU的区分；
l        总线架构及带宽；
l        IOPS;
l        高速缓存大小。
A、CPU的区分
目前常见的磁盘阵列的控制器CPU类型分为两种：一是采用POWER PC的CPU;另一种是采用Intel的CPU.两种CPU对于普通的磁盘阵列来说，都可以满足应用；但是，对于高端的光纤磁盘阵列而言，POWER PC的CPU更能发挥其缓存优势，性能更高。

B、总线架构及带宽；
控制器一般都具有独立的总线，针对实际使用环境中各种I/O大小、随机、顺序读写等进行相应的设置，易形成系统瓶颈；常见的磁盘阵列大多为单总线架构，其带宽为：533MB/S,如：建联、普桦豪威、Stardom、亚美联、联想、浪潮等。
双总线架构：采用双ASIC结构设计，针对实际使用环境中各种I/O应用可进行相应的优化设置，双总线设计为磁盘备份、SAN架构数据存储、非线性编辑、视频点播等应用提供了更高的传输速率，从根本上解决了总线带宽带来的系统瓶颈问题。目前只有同有NetStor DA9000系列阵列是双总线结构,总线带宽为：1066MB/S。

C、IOPS
IOPS为控制器每秒钟读写缓存的次数，该参数虽然不是实际的读写硬盘的次数，但是它的大小也是磁盘阵列性能的一个主要反映，大多数磁盘阵列的IOPS都不一样，其数值越高，理论上其读写性能越强，常见阵列IOPS为：（摘至各家网站）
浪潮NS8800 :                            15,000/单控，双控：20000
建联DA6000或DA8400系列：              15，000/单控，双控：20000
StardomFC2502:                          100,000
EDI 6600FF                              100,000
亚美联Estor SAN FC2502:                100,000
DFT ES1600                              100,000
LSI E2400                               100,000
联想SureFibre 400R-J                   100,000
     SureFibre 600                      100,000
     SureFibre 820                      110,000
     SureFibre 920                      148,000
       DELL CX200                               40,000
            CX400                               60,000
            CX600                              150,000
       HP   surestore VA7110                    12,000
            Surestore VA7410                    12,000
            MA8000                              24,000/双控
            EMA12000                            24,000/双控
            EMA16000                            24,000/双控
            XP128                               450,000
      同有NetStor DA9000                       160,OOO

D、        高速缓存大小
浪潮NS8800 :                            最大512MB，标配256MB
建联DA6000或DA8400系列：              最大512MB，标配256MB
StardomFC2502:                          最大512MB，标配128MB
亚美联Estor SAN FC2502:                最大512MB，标配128MB
EDI 6600FF                              最大512MB，标配128MB
DFT ES1600                              最大512MB，标配256MB
LSI E2400                               最大512MB，标配256MB
联想SureFibre 400R-J                   最大512MB，标配256MB；双控1GB
     SureFibre 600                      最大512MB，标配512MB；双控2GB
     SureFibre 820                      最大1GB，标配512MB; 双控2GB
     SureFibre 920                      最大1GB，标配512MB; 双控2GB
       DELL CX200                              最大1GB，标配512MB;                  
            CX400                              双控2GB
            CX600                              双控2GB
       HP   surestore VA7110                    双控2GB
            Surestore VA7410                    双控2GB
            MA8000                              双控2GB
            EMA12000                            双控2GB
            EMA16000                            双控2GB
            XP128                               双控2GB
      同有NetStor DA9000                       最大1GB，标配512MB; 双控2GB


3、稳定、高容量、容错的电源供应系统

　　如果各位仔细看看磁盘驱动器的规格书，您会发现磁盘驱动器马达启动时，需要很大的启动电流〈约2A〉，约为平常读写时〈约0.66A〉的 3 倍；磁盘驱动器在 SEEK 时，需要很大的瞬间电流〈约2.1A〉，约为读写时〈约0.66A〉之 3 倍。因此，电源供应系统必须能提供足够、稳定之瞬间电流，否则会造成磁盘驱动器无法启动，甚至造成数据写入错误〈此为导致 RAID 磁盘驱动器被 RAID 控制器判定为 Down，但磁盘驱动器送回原厂测试却无故障之原因〉。当磁盘驱动器转速越来越快，SEEK 速度也越来越快时，电源供应器必须提供足够的容量，以因应将来扩充的需求。

　　 具备容错，热抽换、负载分享之双电源供应器，是不可或缺的，更重要的是，如果电源供应器发生故障，要能不必下螺丝就能热抽换电源供应〈使用螺丝起子解螺丝会造成震动及摇摆，会损害工作中之磁盘驱动器〉。有了双电源供应器，更要具备两组电源输入，一个接到市电，一个接到 UPS。如此，无论突然断电，或 UPS 故障，都不会造成 RAID 当机。

　　好的电源供应系统，还须具备交流电压与频率自动选择及调整，以适用不同电压及频率，更重要的是，要能克服电压及频率不稳之状况。在用电尖峰时段，市电电压可能降到100伏特以下，而在非用电尖峰时段，市电电压可能升到120伏特以上，因此电源供应系统必须能够容忍这些电压变化，提供磁盘驱动器稳定的电压和电流，否则可能造成磁盘驱动器故障，甚至数据写入错误。磁盘阵列柜的电源供应系统，最好能够提供从90到260伏特无段自动调整，如此，无论插到哪种插座，市电品质如何变化，都不会影响磁盘阵列的功能。

4、可靠、高性能、容错的冷却系统

　　 在许多案例中，我们发现冷却系统设计不完善的磁盘阵列柜，只能装设7200转的磁盘驱动器，若使用10,000 转的磁盘驱动器，系统就会过热。现在，Seagate 已经推出15,0000转的磁盘驱动器了，如何挑选一个具备可靠、高性能、容错之冷却系统的磁盘阵列柜，就更显得重要了。

　　 一般磁盘阵列柜之设计，在每个磁盘驱动器载具上加装小风扇，整个系统再装数个大风扇，用边吸边吹的方式散热，不但散热效果不好，而且是产生磁盘驱动器故障的潜在因素：它带来的危害有以下这些：

产生大量气流将粉尘吹入系统，污染磁盘驱动器及风扇本身造成故障。
采用一般PC用小风扇，且数量多〈转动机械零件越多，故障机率越高〉，系统可靠度因而巨幅降低，一旦有一个小风扇故障，相关磁盘驱动器便无法获得足够散热而故障。
　　一个优质磁盘阵列柜之冷却系统的设计，必须完全符合热力学理论之全方位冷却：热传导、热对流及热辐射之三相散热方式，才能更有效率、可靠度更高：
    磁盘驱动器载盒必须采用黑色、高导热系数之金属〈如铝合金〉，并与载盒紧密接触固定，如此可以最快最有效地将磁盘驱动器之热能传导至整个载盒，然后以最大辐射面积与最佳辐射颜色〈黑色〉，将热能辐射至机体内空气中，再以中央系统涡轮抽风机将热空气以对流方式排出
    磁盘驱动器载盒不能使用风扇，及其它任何主动组件，以免本身故障而损及磁盘驱动器
系统采用中央抽风排热设计，须使用两个以上之工业用涡轮抽风机〈不可用一般PC用风扇〉，以提高可靠度与排热效率。由于工业用涡轮抽风机本身可以防止轴承被粉尘污染，且抽气效率极高，可将机体内热空气抽出，并在机体内产生很大的相对低压，冷空气便可由经过精密设计之对流孔，均匀地进入机体内，达到最佳对流散热效果
中央系统涡轮抽风机必须具备热抽换功能，且能够自动温控转速，以达到最佳之排热性能与能源使用效率 ，只需一部涡轮抽风机就足以维持系统散热之最低限度。工业用涡轮抽风机之出气口面积只有一般PC用风扇1/10，因此即使有任何风扇因故停止运转，也不致影响整个系统之热对流结构

5、防震机械结构

　　 由于磁盘阵列的特性，当存取阵列中的数据时，阵列中所有的磁盘驱动器的磁头，都几乎在同时，往同一个方向SEEK，又几乎同时在相同的位置煞车，其惯性动量非常之大。因此造成很大的震动问题。如果磁盘阵列柜的机械结构不能克服这些震动问题，轻则造成Re-Seek，严重的话，会导致碟面受损，数据遗失。

　　一个好的磁盘阵列柜的机械结构设计，必须克服上述震动问题：

    磁盘驱动器以刚性方式固定于磁盘驱动器载盒〈不使用任何塑料或其它韧性支柱〉：塑料或其它韧性支柱会变成震动的放大器，让磁盘驱动器震得更厉害。刚性方式固定，可以透过经由模态分析〈Model Analysis〉设计之阵列柜，避开自然共振频率〈Natural Resonance Frequency〉以及强迫共振频率〈Forced Resonance Frequency〉，将系统震动降至最低，得到最佳性能，不会因震动造成磁头偏移而需重新寻轨定位 (re-seek)。
磁盘驱动器载盒必须为一体成型之刚性合金制造，且紧密稳固地固定在机箱内。如果是以卡榫或螺丝方式接合，其防震效果可想而知，非常不理想。

6、支持SCA2接口的被动背板

　　 前面提到，磁盘阵列系统最重要的是可靠度，因此所有具备主动组件〈包含电子组件和机械组件〉都必须安装在可热抽换的模块上，以便发生故障时可以随时更换。一般来说，被动组件是不会坏的，除非暴力相向。

　　 磁盘阵列柜中，除了背板〈Backplane〉之外，其它所有模块都可以是可热抽换的。因此，背板上不可以有任何主动组件，以免有任一组件发生故障，必须停机更换，而且，一般来说，使用者是无法自行更换背板的。

　　磁盘阵列柜背板的另一个重要规格，是必须使用SCA2 接头，以支持热抽换〈Hot-Swap〉。我们都知道，把磁盘驱动器从系统中拔出或插入，会造成很大的突波讯号，可能影响正在工作的Bus，甚至损坏磁盘驱动器接口组件，因此必须要有特殊的设计，来降低并防止突波可能造成的损害。

　　SCA2 接头的设计，是采用长、中、短等不同长度的接脚，将前期电源和地线、主电源、总线信号线等，依照先后顺序接触〈插入时〉或分离〈拔出时〉，如此可以将磁盘驱动器线路缓慢充电，将其电位提升以降低其与总线间之电位差，以减低突波讯号，保护电子接口组件以及避免干扰工作中的总线。

7、一体成型，无主动元件的磁盘载盒

　　 在实际的案例中，我们常发现用户把磁盘载盒送修，因为磁盘载盒蜂鸣器一直叫、风扇卡住不转了．．．，当然，磁盘驱动器也可能因此而毁了〈因为风扇不转而造成磁盘驱动器过热，唉，水能载舟，亦能覆舟〉。这就是磁盘载盒设计不良所造成的。

　　一个好的磁盘载盒设计，必须没有使用任何可动机械或主动电子组件，亦即，不要有小风扇，也不要任何控制线路。如此，磁盘载盒本身就是金刚不坏之身，不会造成故障，更不会成为磁盘驱动器杀手。

　　 同时，磁盘驱动器的固定方式，也是一门学问。除了前述要将磁盘驱动器直接且紧密地固定在磁盘载盒上，以达到热传导散热之外，磁盘驱动器最好是倒挂式固定。如果采取一般正面式固定，则磁盘驱动器所产生的热，传导至磁盘载盒之后，又辐射出来产生热空气，再往上升，刚好用来烤磁盘驱动器的线路板和组件〈本是同根生，相煎何太急？〉，会加速组件的老化。如果采取倒挂式固定，则传导到磁盘载盒的热，会辐射到磁盘驱动器上部空间，由对流气流带走，不会烘烤到磁盘驱动器线路组件。

　　为求达到最佳热辐射散热效果，磁盘驱动器载盒之表面，最好漆上黑色，因为黑色是最容易吸收热能，也是最容易辐射出热能的颜色。磁盘驱动器载盒的材质，必须具备高导热系数的特性，如铝合金辨识理想的材料，导热系数高，加工也方便。

　　而如前述，磁盘驱动器载盒必须是一体成型的刚性金属合金制造，以达到最佳震动克服性能。我们非常不建议采用组合式磁盘载盒，一般这些组合式磁盘载盒，都是由一个架子和一个盒子组成；架子上有风扇和热抽换控制电路，固定在机壳上，再接Cable；磁盘驱动器则装在盒子，透过转接接头连到架子上。如此，不但造成前述震动问题，而且一旦架子的风扇或电子

8、阵列柜环境监控与示警功能

　　磁盘阵列柜中所有主动组件或机械组件，以及内部环境温度，都必须能够监控且有适当的警示和通报功能：
    阵列控制器必须能支持S.M.A.R.T.，以便预测可能发生的磁盘驱动器故障。妥善利用S.M.A.R.T. 功能，能够预先准备好备用磁盘驱动器，以便在第一时间把不稳的磁盘驱动器更换掉，如此可以把风险系数降至最低。
    环境状态监控器必须能随时监视机柜内部温度，以及控制排设装置转速，以达到最佳冷却及能源利用效率。同时异常状况必须以两种以上方式通报，至少包含在数组柜本身的声音与视觉灯光警示，以及远程通报。
     电源供应器的输入与输出，也必须随时监控。同时异常状况必须以两种以上方式通报，至少包含在数组柜本身的声音与视觉灯光警示，以及远程通报。
　　另外，非常重要的一点是，环境监视控制器本身也是主动组件，也可能发生故障，因此，磁盘阵列柜的环境监控器，必须能够支持热抽换功能。

9、直接热拔插且方便的维护操作功能

　　在磁盘阵列柜中，所有可能发生故障的组件，包括主动电子组件、可动机械组件，都必须能够支持热抽换功能。不能抽换的组件，就必须是不会故障的被动组件。

　　具备可热抽换功能，大家都知道，但是，要如何才能更方便、更安全地作热抽换，可是一门学问。一个提供方便维护、安全热抽换的磁盘阵列柜，至少需具备以下功能：
所有可热抽换的组件，都必须能由外部直接抽换，而不必先移除其它组件，如此才不会造成任何风险。试想，如果一个风扇坏了，你得先把一个电源供应器移除，才能抽换坏的风扇，你必须保证剩下那个电源供应器不会出问题，否则，你就挂了。
所有的热抽换动作，都不需要将手或工具伸进机体内部，去拆解螺丝或拔接头。把工具伸进机体内，可能误触线路造成短路，整个系统可能因此损坏或当机；把手伸入机体内，可能会触电，人一触电，反应是无法预期和控制的，可能会把整个磁盘阵列柜甩到五公尺远。
所有的热抽换动作，都不需要使用任何工具。在操作中的系统上使用工具是非常危险的，用力转螺丝会造成机体摇动，磁盘驱动器会受损；金属工具也可能会造成短路。
所有可热抽换的组件，都不可使用螺丝固定，因为如果不小心，螺丝很可能会掉进机体内，造成短路。如果一定要用螺丝，也要使用具有卡榫的螺丝，在解下后仍然能够安全地卡在组件上，不会有脱落的危险。

10、最佳的空间利用

　　在机架式系统中，空间的利用以及散热气流的需求，是非常重要的因素。同样可容纳七台磁盘驱动器，一个只要占 3U 空间的磁盘阵列柜，当然比一个要占 6U 空间的磁盘阵列柜要来得有效率。

要能达到最佳化的空间利用，除了磁盘阵列柜的体积要小之外，散热气流的需求也是决定性因素。一个只应用到单向对流散热方式的磁盘阵列柜，需要很大的气流需求才能达到散热效果，因此既使体积小，也不能在一个机架中装设太多磁盘阵列柜，否则散热气流就会不够。如果磁盘阵列柜采用高效率的三相散热〈热传导、热辐射、热对流〉系统，就只需要小量的气流，便足以发挥散热效果，因此可以在机架中高密度地装置磁盘阵列柜，大大地提高空间使用效率，当然也大大地降低了成本。这对大型企业、ISP、以及主机代管业者来说，是非常有经济效益的规格。

11、智能介质扫描技术
　
一般磁盘阵列都具备介质扫描技术，介质扫描会检查磁盘，当发现磁盘坏掉时，会发出相应的报警信息，告诉管理人员磁盘已经损坏。但是，当磁盘出现坏块时，大多数磁盘阵列往往很难保证数据的完整性。
台湾Infortrend公司生产的提供的最新的磁盘阵列控制器具有了智能介质扫描技术，该技术不只是实现介质扫描功能，还能检测目前存在的坏块，如果在扫描过程中遇到坏块，这些坏块中的数据将被重新读出并自动的保存到好的扇区中。同时，如果在重建过程中在另一块硬盘中由遇到坏块，该坏块的LBA(逻辑坏块地址)将被显示出，在没有受影响的扇区部分重建继续进行，以挽救绝大部分已存在的数据。
所以，有计划的执行介质扫描可以保证已经检测过的块的状态并且降低以后数据丢失的可能性。当然，前提是选用安装由台湾Infortrend公司生产的最新的磁盘阵列控制器的磁盘阵列也就成为首选。
目前，采用台湾Infortrend公司生产的最新的磁盘阵列控制器的生产厂家主要是同有公司，明年会陆续增加几家。
注：现有的采用台湾Infortrend公司提供的控制器的磁盘阵列厂家（同有除外），全部不具备智能介质扫描功能。

保护您的数据，要从保护您的磁盘驱动器开始；要保护您的磁盘驱动器，就要挑一个可靠、稳定的磁盘阵列柜。要知道您的宝贵数据，不是存在 CPU，也不是存在主机板，也不是存在控制卡，而是存放在磁盘驱动器里。所以，挑选磁盘阵列柜，是件很慎重的事情，而是要很挑剔地找一个磁盘驱动器的神盾，可别找一个杀手。




angy 14:01:57
POWER PC是IBM的芯片类型，肯定比INTEL强
SCA2是一种接口技术
热插拔技术，也就是说我们的硬盘能够热插拔，就是因为这个SCA2的接口技术

angy 14:03:52
SCA（Single Connector Attachment）。

  SCA分为两种SCA-I及SCA-II，SCA-I是较早的规格已经不使用了，现在都是使用SCA-II，SCA-II教SCA-I多出较好的功能如接头固定勾槽，让硬盘接触更紧密才可保证的稳定，另一功能就是先接触后脱离（First make，Last break）这种功能可以保证信号不互相干扰，这个功能是SCA-II最重要的也是SCA-I所没有的。

披发头陀

嗯，不错，就是数据有点老