生产环境只用HBASE，性能会如何？

striker_cn

个人觉得，hbase适用于海量数据的实时查询， row key不要设置的太复杂， 不然单条件查询的速度会很慢，可以考虑hbase+solr， row key保持唯一， 索引在solr中存储， 查询时从solr中查row key, 从hbase中查询明细数据。

苏上人

striker_cn 发表于 2014-9-3 15:15
个人觉得，hbase适用于海量数据的实时查询， row key不要设置的太复杂， 不然单条件查询的速度会很慢，可以 ...

那如果你用SOLR存索引  你是把数据插入到HBASE里就建索引吗  这么不是牺牲了插入到HBASE表里的速度吗    还是你每天早上定时把昨天的数据用SOLR作索引  这样的速度快吗  请教下你实际把HBASE的索引存到SOLR里么

striker_cn

苏上人 发表于 2014-9-3 15:27
那如果你用SOLR存索引  你是把数据插入到HBASE里就建索引吗  这么不是牺牲了插入到HBASE表里的速度吗     ...

阿里的方案是用消息队列， 同时分发给hbase和solr， 可以百度文库“支付宝平台及应用”
我觉得用批量就可以， 分两步， 第一步导数据到hbase, 第二步建立索引。 或者用hbase的协处理器，但协处理没有测试过。

苏上人

striker_cn 发表于 2014-9-3 15:37
阿里的方案是用消息队列， 同时分发给hbase和solr， 可以百度文库“支付宝平台及应用”
我觉得用批量就可 ...

是在导入数据到HBASE的时候同时建立索引 还是每天早上跑昨天的数据建索引啊  hbase的协处理器我也没用到   你用SOLR建索引测试了吗  效果咋样啊  对100G的HBASE的数据用SOLR建索引大概要耗时多久啊

striker_cn

苏上人 发表于 2014-9-3 15:44
是在导入数据到HBASE的时候同时建立索引 还是每天早上跑昨天的数据建索引啊  hbase的协处理器我也没用到  ...

我们的项目中计划是导入数据完再建索引， 因为这样技术比较简单可控。 solr cloud的导入性能没有再测试， taobao，new egg啥的都在用， 我觉得不会有性能问题。 你可以测试一下导入的性能， 我也想参考一下。

苏上人

striker_cn 发表于 2014-9-3 15:55
我们的项目中计划是导入数据完再建索引， 因为这样技术比较简单可控。 solr cloud的导入性能没有再测试， ...

你的意思就是说把数据导入到HBASE里 然后在对HBASE里的每条数据的字段建索引  ？？？  那样能用使用solr 通过mapreduce建索引吗  我用lucence对hbase里的字段建索引  不能使用mapreduce  跑了18个小时才建了3亿条数据的索引 后来放弃了    不知道你用的SOLR能通过mapreuduce来建索引吗

striker_cn

苏上人 发表于 2014-9-3 15:59
你的意思就是说把数据导入到HBASE里 然后在对HBASE里的每条数据的字段建索引  ？？？  那样能用使用solr  ...

不需要每个字段都建索引吧？

solr本身组成solr cloud集群在加上mapreduce应该是没有问题的。在mapreduce里面发http请求不可以吗？

苏上人

striker_cn 发表于 2014-9-3 16:14
不需要每个字段都建索引吧？

solr本身组成solr cloud集群在加上mapreduce应该是没有问题的。在mapred ...

没试过啊  我自己在本机测试的用的LUCENCE  我去看看 SolrCloud  那玩意能支持mapreduce吗  要是不支持  建索引的速度很慢的   我们这傻傻的需求就是对所有的字段建索引

wkf46525

大猫人 发表于 2014-8-28 12:08
hbase 当然可以不使用hadoop，正如你所说hadoop是windows os,所以我也可以使用其他系统了！！！

Hbase的文件时基于hadoop的hdfs的，这样搭配性能最好，你非要用其他的也可以，但是性能就没有保证了
建议楼主可以用mongodb

yinwq0558

1,hadoop的文件系统成为HDFS
2,hbase是一个数据库系统，运行在hadoop上，数据存储在hdfs之上。类比oracle和windows、ntfs的关系
3,身份证号如果不同时期是唯一的，可以作为rowkey，最好加入时间串。
4,存储设计一个列族一个volume即可，多了影响读写效率
5,把oracle导出的数据每个字段使用分割符|或其他分割开成为一个字符串放在列的value里面即可。