HBase海量数据导入效率

chengxianke

用 sqoop导入如何啊？

java8964

You should use the Hbase PerformanceEvaluation script to evaluate your Hbase cluster before you do test using MapReduce.

To check if your Hbase can reach or close to the benchmark released by Hbase team.

Even the data is kind of old (Only to Hbase 0.19, and 5 years ago), but based on my experience, most of new set Hbase cluster cannot even be close to that benchmark.


http://wiki.apache.org/hadoop/Hbase/PerformanceEvaluation

haha_hyq

你好，你这个问题解决了吗？  我也是跟你一样的需求，也是金融数据来的，  能加下QQ吗？   你加下我吧 841884201

Detaillee

正在考虑使用hbase存储所有历史交易记录,预计数据量10亿以上~~,拟打算开放客户接入查询;
不知楼主hbase后来有无运用到生产??

苏上人

Detaillee 发表于 2014-10-10 22:18
正在考虑使用hbase存储所有历史交易记录,预计数据量10亿以上~~,拟打算开放客户接入查询;
不知楼主hbase后来 ...

你这个需求场景是啥样的  查询条件是啥 rowkey怎么设计的   现在国内能用HBASE的公司不多 HBASE的设计比较重要

sglhsay

可以了解下华为的大数据解决方案FusionInsight，对于这类金融类的历史明细查询解决的很好，正是基于hadoop的。

kkidd

倒入hbase用 bluck load