话题讨论：想成为Hadoop技术高手吗？

iongxiao · 发表于 2014-3-26 16:17

1、安装hadoop需要root权限，比如配置hadoop集群需要修改host文件等
配置core-site.xml等文件，我也使用的root权限

2、我觉得需要从磁盘、内存等方面考虑，还要考虑 replication 的数据副本的数量
3、目前这些技术对我来说都很新的内容
期待书。。。

释怀355 · 发表于 2014-3-26 17:29

我是一个初学者，说下我的认识吧
1.安装Hadoop时需要root权限，或者至少需要有sudo的权限。
2.至少应该考虑hadoop集群框架是怎样的，即哪个服务器作为master，哪些作为slave。
还有hdfs的数据备份方式，master的备份策略：是否使用Secondary NameNode，是否配置一个远程的NFS来备份NameNode的一些重要文件。
3.其他的都还没了解过
4.Yarn即MapReduce V2，是一个计算框架。
支持除MapReduce编程框架外的其他框架，所以可以运行非MapReduce应用。
Yarn的优势：
  a.分散了JobTracker的任务。资源管理任务由资源管理器负责，作业启动、运行和检测任务由分布在集

群节点上的应用主体负责。这样大大减缓了MapReduce V1中的JobTracker单点瓶颈和单点风险的问题，

大大提高了集群的扩展性和可用性。
  b.在MapReduce V2中应用主体是一个用户可自定制的部分，因此用户可以针对编程模型写自己的应用主

体程序。这样大大扩展了MapReduce V2的使用范围。
  c.在资源管理器上使用Zookeeper实现故障转移。当资源管理器故障时，备用资源管理器将根据保存在

Zookeeper中的集群状态快速启动。MapReduce V2支持应用程序指定监测点。这样能保证应用主体在失败

后能迅速的根据HDFS上保存的状态重启。这两大措施大大提高了MapReduce V2的可用性。
  d.资源管理统一组织成资源容器，而不像在MapReduce V1中Map池和Reduce池有所差别。这样只要有任务

请求资源，调度器就会将集群中可用资源分配给请求任务，而无关资源类型。这大大提高了集群资源的利用率。
5.对Mesos还不了解

tianya_2011 · 发表于 2014-3-26 17:45

高端大气上档次

oracle_cj · 发表于 2014-3-26 17:46

支持.....

大海里的骆驼 · 发表于 2014-3-26 23:54

我来讲讲我们公司Hadoop的应用吧 10台戴尔的64G内存的集群另外还有几台接口机器 hadoop我主要应用分三块一部分是mapreduce ，还有HIVE 还有HBASE mapreduce主要是用来数据清洗的当然你也可以用Python或者Perl或者AWK但是 mapreuce运算集群速度还是很快的而且mapreduce模型很简单用JAVA写模式都很固定的只要你往里套就行了然后就是HIVE 就是数据仓库做报表展示用的注意HIVE不能实时还有个就是HBASE 这个是实时查询用的 HBASE查询的时候一般只是要KEY来查询，所以KEY设置很关键，当然你也可以用value查询但是这样就慢了不能像用KEY查询毫秒级的我自己用的时间也少希望能和大家多交流交流