【话题讨论】如何使用HBASE处理数据更安全？

小豆呐呐 · 发表于 2012-10-31 10:16

HBase是一个分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式。HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统。

讨论话题：
1、HBASE在开发方面，与一般的关系型数据库相比有哪些优势或劣势？
2、如果企业用HBASE来处理海量数据，是否是一个比较合理的解决方案？
3、有很多人提出HBas在丢数据、不能读写、DDL失败等方面的问题很严重，目前HBASE在这些方面是否有合理的解决方案？

欢迎大家就以上的问题点发表自己的观点看法，任意交流任意讨论！

活动时间：2012-10-31——2012-11-23

活动奖励：
1、每位热心参与讨论的会员可获赠666pub币。
2、讨论最激烈最有价值的、参与最积极的5位会员将可获一枚彩蛋徽章，期待您的参与！

获奖名单如下：
chszs
LuiseDalian
gaolu1234
buptdream

buptdream · 发表于 2012-10-31 10:22

HBase是一个分布式的、面向列的开源数据库，HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop 项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式。 HBase使用和Bigtable非常相同的数据模型。用户存储数据行在一个表里。一个数据行拥有一个可选择的键和任意数量的列。表是疏松的存储的，因此用户可以给行定义各种不同的列。HBase主要用于需要随机访问，实时读写你的大数据（Big data)

buptdream · 发表于 2012-10-31 10:26

如果HBase单个节点出现故障，Zookeeper会通知master主进程，master会将HLog日志进行拆分，分发到其他RegionServer上进行数据恢复。HBase对于单点故障的容错能力还是不错的，但是如果发生多点故障，现有的基本容错功能是远远不够的(会造成数据丢失)。
HBase 0.90以后开始支持Replication机制，该机制设计的主导思想是基于操作日志(put/get/delete)做数据同步，这点很像MySQL基于Binary Log做statement-based replication。
如下图所示，客户端的put/delete操作会被RegionServer写入本地的HLog中去，与此同时每个RegionServer会将Hlog放入对应znode上的Replication队列，HBase集群会有一个独立的线程，根据固定大小的buffer值，将HLog内容推送到Slave Cluster集群中的某个RegionServer上(当前版本只支持单个Slave Cluster复制)，并在将当前复制的偏移量保存在ZooKeeper上，整个过程是异步完成的。