|
单位hadoop集群75个节点于8月9号成功从Apache 1.0.3升级到2.4.1 (8月13号2.5.0成功发布),
相关软件:hive 0.14.0 (该版本目前还没有发布,所以有些Bug,几乎10天左右就会感觉异常慢,目前还没找到具体原因)
sqoop 1.4
hbase 0.98.3
升级后,hadoop各方面非常正常;并行任务数从原来的15修改为32,吞吐量提高了一位,平均每个MR性能提升50%.
配置了机架感知,目前只配置了单个资源队列,没有开启资源抢占,没有开启Container批量分配。
还没有配置Kerberos
|
|