12
返回列表 发新帖
楼主: lazyscar

求助:Hadoop+Hbase+sqoop版本选择

[复制链接]
论坛徽章:
9
生肖徽章2007版:羊
日期:2009-08-24 09:30:46ITPUB9周年纪念徽章
日期:2010-10-08 09:32:252011新春纪念徽章
日期:2011-02-18 11:42:49SQL大赛参与纪念
日期:2011-04-13 12:08:17ITPUB十周年纪念徽章
日期:2011-11-01 16:23:262012新春纪念徽章
日期:2012-01-04 11:53:29ITPUB 11周年纪念徽章
日期:2012-10-09 18:07:31奥运纪念徽章
日期:2012-12-06 09:21:402013年新春福章
日期:2013-02-25 14:51:24
11#
发表于 2014-9-28 23:26 | 只看该作者

单位hadoop集群75个节点于8月9号成功从Apache 1.0.3升级到2.4.1 (8月13号2.5.0成功发布),
相关软件:hive 0.14.0 (该版本目前还没有发布,所以有些Bug,几乎10天左右就会感觉异常慢,目前还没找到具体原因)
sqoop 1.4
hbase 0.98.3

升级后,hadoop各方面非常正常;并行任务数从原来的15修改为32,吞吐量提高了一位,平均每个MR性能提升50%.

配置了机架感知,目前只配置了单个资源队列,没有开启资源抢占,没有开启Container批量分配。

还没有配置Kerberos

使用道具 举报

回复
论坛徽章:
9
2009新春纪念徽章
日期:2009-01-04 14:52:28祖国60周年纪念徽章
日期:2009-10-09 08:28:00ITPUB9周年纪念徽章
日期:2010-10-08 09:28:51蛋疼蛋
日期:2011-08-09 14:26:55ITPUB十周年纪念徽章
日期:2011-11-01 16:24:51ITPUB 11周年纪念徽章
日期:2012-10-09 18:09:19奥迪
日期:2013-09-12 15:57:042014年新春福章
日期:2014-02-18 16:43:09马上有钱
日期:2014-02-18 16:43:09
12#
发表于 2014-9-29 16:29 | 只看该作者
Kerberos基本能保证对用户的控制,包括至少写HIVE,或者HBASE的时候需要你指定你自己的princ,  要做到更好的控制,估计要用sentry/ACL

使用道具 举报

回复

您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

TOP技术积分榜 社区积分榜 徽章 团队 统计 知识索引树 积分竞拍 文本模式 帮助
  ITPUB首页 | ITPUB论坛 | 数据库技术 | 企业信息化 | 开发技术 | 微软技术 | 软件工程与项目管理 | IBM技术园地 | 行业纵向讨论 | IT招聘 | IT文档
  ChinaUnix | ChinaUnix博客 | ChinaUnix论坛
CopyRight 1999-2011 itpub.net All Right Reserved. 北京盛拓优讯信息技术有限公司版权所有 联系我们 未成年人举报专区 
京ICP备16024965号-8  北京市公安局海淀分局网监中心备案编号:11010802021510 广播电视节目制作经营许可证:编号(京)字第1149号
  
快速回复 返回顶部 返回列表