【话题讨论】如何评估大数据应用的存储系统

leonarding · 发表于 2013-2-2 10:33

1、Hadoop能否完全替代传统的数据存储和处理？
感觉目前各有各的优势，做个一个比较分享一下
RSBMS是关系型数据库模式

1.二维模式，由行列组成

2.非常强调事务原子性，例如用户提出一个请求，DB完整的去执行，如果报错就全部回滚

3.适合存储结构性规范性数据，强调数据的一致性，必须所以数据都同步后才能继续

4.现在流行列式存储在处理大批量加载大批量检索OLAP系统上效果更佳，而且优势很多比如数据即索引数据在存储的时候就被排序了，列式存储可以把同类型的数据放在一起压缩，因为有共性压缩比较大

5.支持表的复杂关联查询，如果业务涉及到复杂逻辑关系我想RDBMS会更适合

6.水平扩展是弱势，就算有RAC当节点多的时候也会碰触天花板的

7.无法满足非结构性数据的处理，例如音频视频 so on

答：hadoop非关系型的一种概念，下面不仅说了hadoop的一些特点，也简单介绍了nosql的一些特点

1.四大类：key values ，列存储，文档，graph

2.大部分都是采用分布式存储结构，大数据来临的时候，先拆分成小块分布的放在不同的机器上，当用户检索的时候来归纳起来，例如现在非常流行的Hbase就是基于HDFS文件系统

3.Nosql强调数据批处理，快速处理，非常适合非结构性数据，而且数据与数据之间是一种松散的关系，也就是低ACID，一般不提供多表关联查询

4.分布式架构，优秀的水平扩展能力，倡导廉价PC server搭建大规模的分布式存储系统

5.根据业务，深度定制自己的sql语句