【话题讨论】如何使用HBASE处理数据更安全？

bayuhui

没用过HBase，进来了解下

buptdream

baifng 发表于 2012-11-1 10:05
对HBase不是很了解,据说对网卡的能力要求很高。

多个点的数据传输要求比较高，所以网卡最好是千兆

leonarding

buptdream   很积极 向上嘛 鼓励 每贴 都能看到 身影

yannqi

1、就分类来说，HBase属于NoSQL中的KV存储，当然也属于大数据存储。还有一个特性是列式存储，对于稀疏表数据的存储占的空间比关系数据库要小得多。不支持SQL，不支持函数，不支持关联查询……，额滴神呀，DBA没办法用呀，对于熟悉SQL的开发人员是个障碍。如果你有老的数据库应用，想移植过来的话还不如新开发来得简单。
2、企业要用，额滴神呀！hbase基于hadoop的，如果你确定你的公司有强大的hadoop、hbase维护团队，你可以用，否则，免了，出了问题找谁解决呀！互联网公司用它也是无关紧要的业务场景，down了1个小时也没什么关系。电信、银行、支付宝这些跟钱挂钩的谁敢用？
3、作为kv存储来用还是可以的，查询速度还挺快。关键业务如果要用，需要注意regionserver的单点、多点故障怎么解决。

chszs

HBase是Hadoop生态圈的核心组件之一，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。

HBase是Google Bigtable的开源实现（用现在的话说就是山寨），类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理Bigtable中的海量数据，HBase同样利用Hadoop MapReduce来处理HBase中的海量数据；Google Bigtable利用 Chubby作为协同服务，HBase利用Zookeeper作为对应。

1、HBASE在开发方面，与一般的关系型数据库相比有哪些优势或劣势？
与传统关系型数据库相比，HBase的优点是分布式，易扩展，高性价比，运维成本低都是它的优点。HBase可以支持海量数据的存储，至少是TB级以上的数据，否则体现不出HBase的优势。

2、如果企业用HBASE来处理海量数据，是否是一个比较合理的解决方案？
应该说HBase是一个低成本的解决方案，由于成本低，所以相对来说技术支持力度很弱，需要投入的研发资源相对要多一些。

3、有很多人提出HBas在丢数据、不能读写、DDL失败等方面的问题很严重，目前HBASE在这些方面是否有合理的解决方案？
丢数据、不能读写、DDL失败这些问题是用户对HBase使用、掌握程度还不够所致，如果技术实力到了，对源码打补丁，可以自行修复这些Bug。

LuiseDalian

1、HBASE在开发方面，与一般的关系型数据库相比有哪些优势或劣势？
答：
优势：
快速，通常来说，它比一般的关系型数据库快5倍左右
很高的可扩展性 – 轻轻松松就可实现PB级的存储
有一个很好的模式
有很完善的Java API
存储格式是Json的，这对Java来说非常好处理，对javascirpt亦然。
运维起来非常方便，你不用专门为它安排一个管理员。
它有一个非常活跃的社区他的版本控制非常清楚。
有好的前景，MongoDB 背后的公司（10gen）已经准备好了明天在 MongoDB 上面的投入的资金了

劣势：
应用经验缺乏，我们都没有相关NoSQL 产品的使用经验。
项目相对来说还比较新。
和以往的存储相比，数据的关系性操作不再存在。

2、如果企业用HBASE来处理海量数据，是否是一个比较合理的解决方案？
答：目前对于大型项目来讲，除搜索引擎和门户网站外，还不会考虑采用HBASE来管理数据。

3、有很多人提出HBas在丢数据、不能读写、DDL失败等方面的问题很严重，目前HBASE在这些方面是否有合理的解决方案？
答：任何新生事物都要允许它有一个发展的过程，对于本问题提到的这些问题，都是HBASE曾经内在的Bug所至于，这点HBASE并不否认。
      对于BUG,当然有合理的解决了，就是修复它罢。

gaolu1234

讨论话题：
    1、HBASE在开发方面，与一般的关系型数据库相比有哪些优势或劣势？
优势就是大数据量，或者叫海量数据，我觉得怎么也要  多少个T 才能称海量吧。如果是oltp ， 海量数据在线维护，那这个方案本身就有问题。
如果是数据仓库， 那边 share everything的结构 怎么也干不过 hbase 的 。


    2、如果企业用HBASE来处理海量数据，是否是一个比较合理的解决方案？
cloudrea 公司的 安装包就很好。 文档方面 官方有的。 如果 要用hbase ，那对使用者的技术要求很高。
间接对 使用者公司要求也高，如果 这个公司比较烂，留不住人， 那用hbase 的 可能很小。
跟用户的需求有关，如果用户有这个需求，那就是合理的。 如果没有，那就是不合理的。


    3、有很多人提出HBas在丢数据、不能读写、DDL失败等方面的问题很严重，目前HBASE在这些方面是否有合理的解决方案？

hbase 是使用 一行 写入完成作为一个原子事务，其他不提供任何的 锁/隔离级别 / 读一致性 等特性。 简单来说，就是一个提供了基本的读写的 数据库，其他的都没有，都要依靠 使用者二次开发。 所以对使用者 的要求包括了 开发能力，这个跟其他商业/开源数据库有根本的区别。
这个就看使用者的要求了。

性能方面，现在还在测试， 这个跟硬件有关。因为hbase 是基于分布式系统，对 底层硬件 要求就是多台，尽可能多， 千兆网。  对单台机器要求不高。

我们目标是实现 每秒 一万条写入速度。

目前 写惯了 sql的 dba ，改行写 java代码了。 重新作为 苦逼的程序员了。

小豆呐呐

gaolu1234 发表于 2012-11-15 10:18
讨论话题：
    1、HBASE在开发方面，与一般的关系型数据库相比有哪些优势或劣势？
优势就是大数据量，或 ...

低调小马哥

大数据量很好的解决方案，而且现在搞这个很有前途，做的人很少，而且用这个的都是大企业，有机会要好好把握

dukope

给币先，不给不厚道

公司准备在用，不太懂，先进来瞅瞅，hbase好东西啊...