大家hadoop存储怎么规划，有做RAID吗

wujx_1984

RAID0没有冗余，可以做啊

myhome1998

恩，datanode存储采用JBOD很好。不用RIAD啥的

zhaopingzi

没必要做raid,做了raid反而影响性能，同时也不经济。

zhaopingzi

靠，才发现是挖出来的

zhangxw0325

zhaopingzi 发表于 2014-3-21 10:04
没必要做raid,做了raid反而影响性能，同时也不经济。

实际测试表明，做RAID 集群性能比单块盘快得多，RAID5或RAID0 能到1G/S以上的读写速度，单块盘资源不到100M/s的速度，HIVE大数据查询速度做RAID要快一倍

luoyoumou

HDFS已经有块副本数实现冗余，所以，再在各Data node节点做RAID，除了浪费你的磁盘空间外，鸟用没有。

luoyoumou

不做RAID，　一块磁盘一个挂载点，比如我有12块磁盘，我可以分别挂载到 /disk1，/disk2，...，/disk12
如果是Hadoop 2.0版本的话，我甚至可以配置单个节点最多允许异常磁盘（磁盘不能读、写，Hadoop将视为该磁盘异常)的个数，
就是说超过这个值，Hadoop相关进程(datanode，nodemanager) 才会崩溃

<property>
        <name>dfs.datanode.failed.volumes.tolerated</name>
        <value>1</value>
        <description>
        The number of volumes that are allowed to fail before a datanode stops offering service. By default any volume failure will cause a datanode to shutdown.
        @@ datanode
        </description>
</property>

Charele

zhangxw0325 发表于 2014-9-30 12:18
实际测试表明，做RAID 集群性能比单块盘快得多，RAID5或RAID0 能到1G/S以上的读写速度，单块盘资源不到10 ...

100M到1G???

没有这么夸张吧

zhangxw0325

Charele 发表于 2014-10-3 18:53
100M到1G???

没有这么夸张吧

12块盘完全没问题，只要不是RAID卡太垃圾

春风醉

RAID是硬件层面，Hadoop是软件层面，根本就不是一个事。