查看: 7679|回复: 2

[原创] 关于lzo和gzip的对比 for hbase

[复制链接]
论坛徽章:
11
2013年新春福章
日期:2013-02-25 14:51:24itpub13周年纪念徽章
日期:2014-11-06 15:29:09马上加薪
日期:2014-03-20 16:14:11马上有对象
日期:2014-03-20 16:14:11马上有钱
日期:2014-03-20 16:14:11马上有房
日期:2014-03-20 16:14:11马上有车
日期:2014-03-20 16:13:24马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11奥迪
日期:2013-11-14 14:08:42
跳转到指定楼层
1#
发表于 2014-1-14 10:32 | 只看该作者 回帖奖励 |倒序浏览 |阅读模式
本帖最后由 zhaopingzi 于 2014-1-14 11:09 编辑

官方文档说“相对于LZO,GZIP的压缩率更高”,但是我测试恰恰相反:
create 'USER_SERVICE_BDR',{NAME => 'cf', COMPRESSION => 'lzo'}
create 'USER_SERVICE_BDR_w',{NAME => 'cf'}

insert后相同的数据看:
$hadoop fs -du /hbase/
781258544   hdfs://h1:9000/hbase/USER_SERVICE_BDR
1484702084  hdfs://h1:9000/hbase/USER_SERVICE_BDR_w
论坛徽章:
11
2013年新春福章
日期:2013-02-25 14:51:24itpub13周年纪念徽章
日期:2014-11-06 15:29:09马上加薪
日期:2014-03-20 16:14:11马上有对象
日期:2014-03-20 16:14:11马上有钱
日期:2014-03-20 16:14:11马上有房
日期:2014-03-20 16:14:11马上有车
日期:2014-03-20 16:13:24马上有车
日期:2014-02-18 16:41:112014年新春福章
日期:2014-02-18 16:41:11奥迪
日期:2013-11-14 14:08:42
2#
 楼主| 发表于 2014-1-14 11:08 | 只看该作者
是我理解错了,后面的语句是不压缩的,gz压缩需要加个‘gz'

使用道具 举报

回复
论坛徽章:
407
紫蛋头
日期:2012-05-21 10:19:41迷宫蛋
日期:2012-06-06 16:02:49奥运会纪念徽章:足球
日期:2012-06-29 15:30:06奥运会纪念徽章:排球
日期:2012-07-10 21:24:24鲜花蛋
日期:2012-07-16 15:24:59奥运会纪念徽章:拳击
日期:2012-08-07 10:54:50奥运会纪念徽章:羽毛球
日期:2012-08-21 15:55:33奥运会纪念徽章:蹦床
日期:2012-08-21 21:09:51奥运会纪念徽章:篮球
日期:2012-08-24 10:29:11奥运会纪念徽章:体操
日期:2012-09-07 16:40:00
3#
发表于 2014-1-17 13:44 | 只看该作者
加了gz以后呢

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表